Savas rakstniecības gaitas uzsācis jau laikā, kad studējis Pēterburgas Katoļu garīgajā seminārā. Šajā laikā iesūtījis rakstus Franča Trasuna kalendāram "Daugavas katoļu kalendārs", nodarbojies ar folkloras vākšanu, kā arī darbojās garīgās literatūras sfērā.
Pirmais Kempa literārais darbs, kurš tika publicēts, bija pasaka "Par velnu brandvīna brūvētāju un zemnieku Vārguli" (Daugavas katoļu kalendārs, 1901).
1901. gadā sastādījis un izdevis lūgšanu un dziesmu grāmatu "Zalta altareits".
1903. gadā Kemps sāk izdod hektografētu žurnālu "Zvaigzne". Pēc neilga laika žurnāla izdošana tiek apturēta, kas pamatots ar to, ka hektografēta izdevuma sagatavošana aizņēma pārāk ilgu laiku un pieprasīja resursus un līdzekļus, kuri bija grūti pieejami lielos apjomos.
1904. gadā Kemps sastāda kalendāru "Daugava" 1905. gadam. Kemps ir bijis šī kalendāra redaktors un izdevējs līdz pēdējam tā izdevumam 1914. gadā.
1905. gadā Kemps sastāda un izdod ābeci "Lementars mozim barnim" (atkārtots izdevums 1908. gadā), iztulko un izdod Ignata Šustera (Ignaz Schuster) "Svata Vesture aba Vaca un Jauna Testamenta stosti".
1907. gadā Kemps iztulko uz izdod D. Bončkovska ticības mācības rokasgrāmatu vidusskolai "Eisō svātū vēsture".
1908. gadā sāk izdot un rediģēt žurnālu "Austra", kuras pirmajā numurā ievietojis savus stāstus "Meža sorgs" un "Uz Sibiri pa sapynu", kā arī dzejoli "Dainas un kūkles". Arī šo žurnālu drīzumā pārstāja izdot. Aptuveni šajā pašā laikā sāka iesūtīt savus rakstus laikrakstam "Drywa".
1909. gadā un 1910. gadā kultūras veicināšanas biedrība "Gaisma" izdod Kempa darbu "Eisa Latvijas vesture", kurš tiek izdots četrās burtnīcās.
1910. gadā viņš izdot grāmatu "Latgalieši", kuras mērķauditorija bija latvieši un ar kuru Kemps mēģinājis radīt izpratni par Latgali un latgaliešiem.
Kopš 1912. gada sāk iesūtīt savus rakstus un literāros darbus laikrakstam "Jaunas Zinias". 1914. gadā, līdz ar laikraksta redakcijas un tā līdzstrādnieku (t.s. Kempa) mobilizāciju Krievijas Impērijas armijā, turpmāk jauni avīzes numuri neiznāk.
Neskatoties uz dalību karā, turpināja iesūtīt rakstus laikrakstam "Drywa", lielāko rezonansi izsaukuši raksti par latgaliešu valodu "Skaista, teira runa" (1915) un "Voludas reforma" (1915-1916) , kuri tika publicēti ar pseidonīmu Reformators.
Pēckara gados bijis līdzstrādnieks tādos periodiskajos izdevumos kā "Straume", "Jaunō Straume", "Jaunais Vōrds", "Latgolas Škola" u.c.
1938. gadā izdevis grāmatu "Latgales likteņi" (atkārtots izdevums 1991. gadā), bet 1943. gadā saraksta darbu "Gersikas karaļa vaļsts", kas tiek izdots tikai 1992. gadā.
Izsūtījumā rakstījis par dažādiem Latgales vēstures jautājumiem, tomēr lielākā daļa manuskriptu un memuāri gājuši bojā ugunsgrēkā.
Lai gan joprojām nav izdots Kempa dzejas krājums, tomēr viņa dzejoļi ir atrodami tādās dzejas antoloģijās kā "Kūkle" (1914), "Latgalīšu Lyra" (1929), "Latviešu dzejas antoloģija 7 sējumos" (1972, 3. sējums) un "Latgalīšu dzejas antologija" (2001).
Proza
1901: Par velnu brandvīna brūvētāju un zemnieku Vārguli
1905: Kaidi brejnumi nūtejk pī tīsas
1908: Meža sorgs
1908: Uz Sibiri pa sapynu
1910: Mužika nauda un žida nauda
1914: Laimes maklātōji
1991: Gersikas karaļa vaļsts
Atmiņas
1938: Kai es gōju pogosta školā
1938: Agrōk un tagad
Raksti un pētījumi par vēstures jautājumiem
1909: Eisa Latvijas vēsture (I–III)
1910: Eisa Latvijas vēsture (IV)
1910: Latgalieši
1938: Latgales likteņi
Raksti par valodas jautājumiem
1915: Skaista, teira runa
1915: Voludas reforma (I–II)
1916: Voludas reforma (III–X)