Karl Fischer viet sitt liv til arbeidet med utbyggingen av folkebibliotekene i Norge.
Fischer ble født i Christiania, men familien flyttet ofte og han fikk sin skolegang både i hovedstaden, på Hamar og i Drammen. Han tok examen artium 1879, studerte deretter filologi ved universitetet i Kristiania og tok embetseksamen 1887. I studietiden var han aktivt med i Studentersamfundet. Han deltok også i Studenternes forening for fri undervisning, hvor han var formann 1890–92.
Fischers far var en tid eier av Tomb herregård i Østfold. Ved salget av denne trygget familien sin økonomi, og det gav bl.a. den unge Karl Fischer mulighet til å kunne foreta en del utenlandsreiser, bl.a. til Storbritannia, Italia og flere andre land i Sør-Europa samt Nord-Afrika. Disse reisene gjorde ham fortrolig med fremmede kulturer og gav ham god bakgrunn for senere innsats som journalist og politisk kommentator.
Sitt første møte med bibliotekarprofesjonen fikk Fischer 1885 som volontør ved Universitetsbiblioteket, som skulle bli hans arbeidsplass frem til 1910, fra 1898 med tittelen 3. amanuensis. Som bibliotekar var han engasjert i anskaffelsen av ny litteratur på fremmede språk, og han var selv en flittig bruker. Ved siden av arbeidet i biblioteket arbeidet han som lærer ved Otto Anderssens skole 1891–96, skrev utenriksartikler i Norske Intelligenssedler og bokanmeldelser i Aftenpostens søndagsutgave. 1898–1902 var han redaktør av Christiania Journalistklubs kalender For alle, og han redigerte også en kort tid tidsskriftet Ringeren.
Hans mangesidige virksomhet i grenselandet mellom journalistikk, folkeopplysning og bibliotekvesen brakte ham i forbindelse med H. Tambs Lyche og Jens Braage Halvorsen. Sammen utgav de boken Det Deichmanske Bibliotek, som dannet opptakten til betydelige reformer ved landets største folkebibliotek. Denne tremannsutredningen var et solid arbeid, hvor Fischer var den som trakk inn internasjonale forbilder.
1901 nedsatte Kirkedepartementet en komité, bestående av Fischer, J. V. Heiberg og Haakon Nyhus, til å vurdere den videre utvikling av biblioteksaken i Norge. Komitéarbeidet resulterte i innstillingen Folkebogsamlinger i Norge. Den foreslo mange reformer i driften av folkeboksamlinger, bl.a. opprettelse av en “sagkyndig i biblioteksager” i Kirkedepartementet. Aller viktigst var det at den bidrog til å vekke forståelse for betydningen av et utbygd nett av folkebiblioteker og en profesjonell koordinering av arbeidet.
Stillingen som biblioteksakkyndig var en bistilling, som Fischer overtok etter Nyhus 1905. Han beholdt den også etter at han 1910 ble utnevnt til stortingsbibliotekar, men da stillingen i departementet ble omgjort til heldagsstilling 1921, forlot Fischer sin stilling i Stortinget for helt å kunne ofre seg for arbeidet med folkebibliotekene. 1919 ble han oppnevnt til formann i en ny bibliotekkomité, som to år senere avgav Innstilling om bibliotekvesenets ordning. Denne innstillingen fremmet en rekke forslag om bl.a. regler for statsbidrag, endring i lov om pliktavlevering, opprettelse av en norsk bibliotekskole, lovfestede skoleboksamlinger, distribusjon av offentlige publikasjoner m.m. Forslagene kom dessverre i en tid preget av sterke innsparinger i offentlige budsjetter, og det var ikke lett å skulle fremme og forsvare reformer.
Fischer tok initiativet til det første norske bibliotekmøte 1908. Da Norsk Bibliotekforening ble stiftet 1913, etablerte han et nært samarbeid med den og ble 1938 utnevnt til æresmedlem. Ved hans død året etter ble det opprettet et Karl Fischers Fond til beste for stipendier for yngre bibliotekarer.
1907 startet Fischer tidsskriftet For folke- og barneboksamlinger, som 1916 endret tittel til For folkeoplysning. Han var bladets redaktør til 1933, da det endret tittel til Bok og Bibliotek. Bladet ble Fischers talerør i 27 år og vitner mer enn noe annet om hans ukuelige engasjement for biblioteksaken.
Til verdensutstillingen i Paris 1900 utarbeidet Fischer sammen med Sten Konow det offisielle verk La Norvège, som også kom i engelsk utgave. 1900–11 var han norsk redaktør av det danske Salmonsens konversationsleksikon, som hadde en rekke norske medarbeidere og la stor vekt på norsk stoff.
Karl Fischers utdannelse og interesser gjorde ham skikket for mange oppgaver innen norsk kulturliv. Han valgte å bruke sin tid og sine evner på bibliotekene og slet gjennom et langt liv utrettelig mot uforstand og motvilje i byråkrati og toneangivende kretser. Han var personlig en nøysom og beskjeden mann med enkle vaner, og den formue han arvet brukte han på dem som trengte det. Han hadde venner overalt i norsk og nordisk bibliotekvesen og ble ved sin død 1939 omtalt som “en sjelden nobel natur, rettenkende og hensynsfull”.