Narodil sa v Mošovciach neďaleko Martina. Pochádzal z roľníckej rodiny a trpel nezáujmom otca o humanitné vzdelanie. Po štúdiu na gymnáziu v Kremnici však aj napriek tomu pokračoval v Banskej Bystrici a na evanjelickom lýceu v Bratislave. Jeho gymnaziálne štúdium bolo sprevádzané finančnými ťažkosťami, a tak si naň musel zarábať ako súkromný učiteľ v bohatších rodinách.
Už počas štúdií sa Kollár zaujímal o slovanské jazyky a literatúru. Záujem o slovanské národy sa u neho prebudil aj vďaka príhody z detstva, keď zažil príchod Suvorovej ruskej armády bojujúcej proti Napoleonovi a na vlastné oči videl kozákov. Svoje zážitky a epizódy z detstva, mladosti a študentských čias neskôr vykreslil v spomienkach Paměti z mladších let života, ktoré boli publikované v roku 1863.
V roku 1817 odišiel na univerzitu do nemeckej Jeny, kde sa začal pripravovať na povolanie evanjelického kňaza. Okrem teológie sa tu venoval filozofii, histórii, estetike a prírodným vedám. V Nemecku sa stretol s významnými osobnosťami kultúry, napr. aj s Goethem. Zúčastnil sa slávnosti na hrade Wartburg pri príležitosti 300. výročia vystúpenia M. Luthera a zažil atmosféru nemeckého národného hnutia. Všimol si jeho temné stránky ako rozpínavosť, nadradenosť či podceňovanie iných etník a intenzívne si uvedomoval ohrozenie Slovanov v germánskom živle. V Nemecku navyše pôsobil na miestach, ktoré kedysi obývali Slovania, neskôr asimilovaní Germánmi.
V meste Lobeda pri Jene sa zamiloval do dcéry evanjelického pastora Frideriky Wilhelminy Schmidtovej, nazývanej Mína, ktorá sa stala predobrazom mýtickej bohyne Slávy a inšpiráciou pre jeho básnickú skladbu Slávy dcera (1824). Napriek opätovanej láske rodičia nesúhlasili so sobášom, pretože sa obávali odchodu dcéry do Uhorska. Kollár mal v Nemecku možnosť získať miesto kazateľa, ale i napriek láske k Friderike odišiel po štúdiách v roku 1819 späť na Slovensko. Friderika sa napokon stala jeho manželkou až po pätnástich rokoch odlúčenia, po smrti svojich rodičov. V roku 1819 odišiel do Pešti, kde tridsať rokov pôsobil ako evanjelický farár.
Podnetom Kollárovej básnickej tvorby bol jeho záujem o slovanskú minulosť, inšpirovaný Herderovou koncepciou dejín, ideálmi humanity a ideou slovanskej vzájomnosti. Vznešenosť týchto tematických okruhov sa v jeho diele spájala s autentickým subjektívnym zážitkom. Kollár sa venoval aj kazateľstvu, vydal zbierku kázní, ako aj zbieraniu ľudových piesní, ktoré publikoval v dvojzväzkovej zbierke Národnie spievanky čili Písně světské Slovákův v Uhrách (1834 — 1835), ktorá inšpirovala nastupujúcu generáciu romantikov.
Svoje názory na Slovanstvo teoreticky rozpracoval v diele O literární vzájemnosti mezi kmeny a nářečími slávskými (1836). Kollárova koncepcia vychádza z predstavy o jednom slovenskom národe, ktorý hovorí štyrmi hlavnými nárečiami: československým, poľským, ruským a srbochorvátskym. V intenciách týchto názorov ostro odmietol Štúrovo uzákonenie spisovnej slovenčiny a vystúpil proti nemu v diele Hlasové o potřebě jednotného spisovného jazyka pro Čechy, Moravany a Slováky (1846).
V roku 1849 sa stal univerzitným profesorom slovanskej archeológie vo Viedni, kde aj v roku 1852 zomrel. Na začiatku 20. storočia bolo jeho telo prevezené do Prahy na Olšanský cintorín.