Ezt követően segédlelkészként többek között Kecskeméten is töltött két esztendőt. 1835-ben, Szent István napja után érkezett az alföldi városba, ahol ötödmagával káplánkodott, de "az Ur mennybemenetele templomában, a plébánián s a hozzátartozó nyolcz leányegyházban 25.000-nél több hivőnek lelki gondozásában így is annyi dolga volt, hogy történelmi tanulmányaira alig szakíthatott időt. Az ország legnagyobb mezővárosának rendetlen, kövezetlen, sáros utczáin sétálni nem volt kedve és csak a kegyesrendieket kereste föl időnkint, hogy könyvtárukban adatokat kutasson pályamunkáihoz, amelyeken szorgalmasan dolgozott". A Gróf Nádasdy Tamás élete, némi tekintettel korára című, valamint Az ipar és kereskedés történetéről szóló akadémiai tanulmányait Kecskeméten írta.

Horváth Mihály pecsétje

Később Nagykátán és Nagyabonyban szolgált, mint káplán, majd gróf Keglevich Gábor, utóbb pedig gróf Erdődy Kajetán fiai mellett volt nevelő. Az ismeretlen vidéki kispap csakhamar jó nevet szerzett magának a történettudomány terén való szereplésével. Három akadémiai jutalmat nyert és az Akadémiának 1839-ben levelező, 1841-ben pedig vidéki rendes tagjává választották. 1844-től a bécsi Theresianumban a magyar nyelv és irodalom tanára lett. Óráin nagy hangsúlyt fektetett a magyar nyelv sajátosságainak a megismertetésére. 1847. január 23-án nagy feltűnést keltett Bécsben, a kapucinusok templomában József nádor fölött tartott gyászbeszédével. Még ugyanazon évben hatvani prépost-plébános lett (innen későbbi álneve: Hatvani Mihály).

A csanádi püspökké kinevező okirat

Az 1848–49. évi események Horváth Mihályt is elsodorták a csendes munkásság teréről. 1848 júliusában V. Ferdinánd király csanádi püspökké nevezte ki, a függetlenségi nyilatkozat után pedig vallás- és közoktatásügyi miniszter lett. A papi nőtlenség eltörlésének és az egyházi javak elkobzásának radikális követeléseit hangoztatta. A katolikus egyház kiközösítette, papi hivatalától eltiltotta, a haditörvényszék pedig utólag felségsértés vádjával halálra ítélte, és jelképesen fel is akasztatta. Csak jelképesen, mert addigra kalandos körülmények között megszökött az országból. Egy ideig Kecskeméten, azután Szeged környékén bujdosott, majd Brunszvik Teréz közbenjárására, mint báró Prónay Albertné inasa külföldre menekült. A bárónéval Lipcsén át Aachenbe ment, de az osztrák titkosrendőrség a nyomára akadt, egy fürdőablak rácsát elreszelve azonban meglépett üldözői elől. Útlevél nélkül szökött át a porosz–belga határon. Tizennyolc évig tartó száműzetése alatt lakott Párizsban, Montmorencyben, Genovában, Nizzában, Firenzében és Genfben, végül 1856-ban Brüsszelben telepedett le.

Elsősorban irodalmi munkásságának élt, külföldi levéltárakban kutatta a magyar okleveleket. Először 1865-ben kért engedélyt a hazatérésre, azonabn csak két évvel később, Eötvös Józsefnek, az Akadémia elnökének közbenjárása jöhetett ismét Magyarországra. Szülővárosa, Szentes azonnal képviselő-jelöltséget ajánlott neki, de akkor még nem kívánt a közügyekkel foglalkozni. Később Szeged követe lett, majd Deák Ferenc halála után az ő budapesti képviselői helyét vette át a parlamentben. A Magyar Történelmi Társulat, a Kisfaludy Társaság, az Országos Közoktatási Tanács és az MTA Történeti Osztályának elnöke volt. A király tanárnak hívta a trónörökös mellé, címzetes püspökké nevezte ki, és a vaskai javadalmas apátságot adományozta neki. Egészsége megromlása miatt nem sokkal később visszavonult és a csehországi Karlsbadba utazott gyógykezelésre. Ott hunyt el 1878. augusztus 19-én.