Som kirke- og undervisningsminister 1953–60 var Birger Bergersen en viktig aktør i det reformarbeidet i norsk skole som startet i midten av 1950-årene. Mindre kjent, men trolig mer enestående, var det internasjonale arbeidet han utførte i 1930-årene og etter krigen for å forsøke å redusere nedslaktingen av de store hvalbestandene i Sørishavet. Dette arbeidet førte over tid til opprettelsen av Den internasjonale hvalfangstkommisjon 1949, hvor Bergersen ble den første formann.
Han tok examen artium 1909 på Ragna Nielsens skole i Kristiania. 1910 arbeidet han som journalist i Social-Demokraten, og 1915 tok han lærerskoleeksamen. Han arbeidet ett år som lærer i folkeskolen i Kristiania, og begynte deretter å studere medisin, men flyttet etter to år over til Det matematisk-naturvitenskapelige fakultetet og tok cand.real.-eksamen 1925 med zoologi som hovedfag. Hans veileder under hovedfaget var Kristine Bonnevie.
Bergersens samlede studietid var lang, men de egentlige studiene fylte bare en del av denne tiden. Dels forsatte han å arbeide som journalist i Social-Demokraten, dels arbeidet han som konservator ved Paleontologisk museum og som assistent for Kristine Bonnevie, dels deltok han meget aktivt i studenterlivet, bl.a. som medlem av Studentersamfundets styre og formann i den sosialdemokratiske studentforening. Hans medstudent Bjørn Føyn beskrev ham slik i sine erindringer (1974): “Birger Bergersen er den mest sjarmerende og mangesidige mann jeg har kjent. Man kan snakke med ham om hva som helst: naturvitenskap, filosofi, politikk, historie, litteratur osv., på alle områder er han hjemme. Likedan når det gjelder mennesker: Jeg tror han ikke bare har kjent, men også vært venner med alle de kvinner og menn som har spilt en viktig rolle i vårt land i hans tid. I studietiden var han litt av en bohem og likte å vanke på kafeer. Da ville han gjerne ha følge og dro meg med. Her traff jeg flere av de kjente skikkelser i vårt kulturliv: Sigurd Hoel, Erling Winsnes, Herman Wildenvey, Arnulf Øverland, og flere andre. Alle var selvsagt Birgers beste venner.”
Birger Bergersens hovedfagsoppgave omhandlet utviklingen av hudtenner hos en gruppe fisk. Denne undersøkelsen, samt det forhold at han hadde studert anatomi som medisinerstudent og vikariert som konservator i paleontologi, var bakgrunnen for at han bare få måneder etter embetseksamen ble utnevnt til dosent i anatomi ved Norges tannlegehøyskole. Sin utdannelse supplerte Bergersen etter hvert ved en rekke studieopphold i bl.a. Sverige, Danmark, Frankrike og USA.
Heller ikke i denne perioden av livet ble det bare tid til fag. I boken Modningsår (1969) skriver han bl.a.: “Våren 1926 var jeg noen uker i Paris. Formålet med reisen var å kjøpe inn anatomiske modeller til Universitetets anatomiske institutt og til Norges tannlegehøyskole ... Da jeg kom til Paris, ble jeg møtt av Sigurd Hoel og Nordahl Grieg; de installerte meg i et stort loftsrom i hotel Delambre på Montparnasse, og jeg besluttet meg til å følge Wessels råd: 'at gavne og fornøie – hav stedse det for øie'.” Ukene ble ifølge boken fylt med nattlige fester med matematikere og kunstnere og, ikke minst, nordiske piker.
Det mer bohemaktige livet tok trolig slutt da Bergersen var omtrent 40 år gammel. Da giftet han seg, disputerte for doktorgraden og ble professor i anatomi ved Tannlegehøyskolen, alt i løpet av to år. Doktoravhandlingen omhandlet hudens (og følgelig pelsens) anatomi og utvikling etter fødselen hos enkelte selarter. Hoveddelen av arbeidet ble utført ved Veterinärhögskolan i Stockholm. Avhandlingen utgjorde kulminasjonen i Bergersens vitenskapelige forfatterskap. Senere publiserte han bare noen mindre paleontologiske arbeider om norske mammuttenner, og deretter bare populærvitenskapelige skrifter og undervisningsstensiler.
1926 var Bergersen blitt oppnevnt som medlem av en nyopprettet norsk-sovjetisk selfangstkommisjon. Den skulle ha som oppgave å fastsette kvoter for de to lands fangstflåter. Både kommisjonens arbeid og Bergersens bidrag til arbeidet ble vurdert som meget vellykket, og Bergersen forble medlem helt til 1958.
1936 opprettet arbeiderpartiregjeringen et norsk Hvalråd, som skulle gi råd om tildeling av kvoter til norske hvalfangstekspedisjoner. Birger Bergersen ble oppnevnt som formann og innehadde dette vervet helt til 1954. Som formann i Hvalrådet kom han med en gang med i det internasjonale arbeidet som på den tiden foregikk med det mål å redusere fangstene av store hval i Sørishavet til et bærekraftig nivå. Den pelagiske fangsten av blåhval i Sørishavet økte for alvor fra 1925, og Johan Hjort hadde tatt initiativet til internasjonale forhandlinger for å forsøke å få fangsten under kontroll, men uten særlig resultat. Birger Bergersens personlighet med hans utpregede sosiale evner passet godt til dette internasjonale forhandlingsarbeidet. Han ble raskt den ledende person i den kretsen av diplomater og forskere som forhandlet. Ifølge historikeren J. N. Tønnesen var Bergersen hovedansvarlig for utarbeidelsen av en rekke avtaleutkast; han var pådriver for en internasjonal hvalfangstkonferanse som ble avholdt i London 1937, og redigerte det endelige avtaleutkastet og den tilhørende protokollen som ble forhandlet frem året etter.
De største vanskelighetene for en bindende internasjonal avtale i 1938 var at hvalfangstlandene Tyskland og Japan ikke var villige til å undertegne. Denne vanskeligheten ble fjernet av krigen, og International Convention for the Regulation of Whaling ble undertegnet i Washington 2. desember 1946. Konvensjonen etablerte en International Whaling Commission, som hadde sitt første ordinære møte i Sandefjord 1950, med Bergersen som formann. – Sett i ettertid var hvalfangstkonvensjonen på mange måter svært fremsynt. Først 50 år senere ble det etablert tilsvarende internasjonale avtaler for vern og bærekraftig høsting av enkelte andre migrerende arter.
1938 ble Birger Bergersen valgt til rektor ved Tannlegehøyskolen. Vervet som rektor innehadde han formelt til 1945, og stillingen som professor til 1947, men reelt sett opphørte hans arbeid ved høyskolen allerede 1942, da han flyktet til Storbritannia via Stockholm. I London arbeidet Bergersen i det norske Forsynings- og gjenreisningsdepartementet, og etter krigen sendte regjeringen ham 1946 til Stockholm som norsk sendemann, fra 1947 med tittel av ambassadør. Hans sosiale evner og store og innflytelsesrike bekjentskapskrets i Stockholm fra den tiden han arbeidet der i 1920-årene, bidrog trolig til god kontakt mellom myndighetene i de to landene i den vanskelige gjenreisingsperioden.
1953 kom Birger Bergersen hjem fra Stockholm for å gå inn i Oscar Torps regjering som kirke- og undervisningsminister. Han var 62 år gammel og hadde ingen erfaring med politikk på riksplan (han hadde vært medlem av Oslo bystyre 1935–40 og 1945). Med Bergersen som statsråd startet en viktig reformperiode i norsk skole. I ettertid har svært mye av æren for reformene blitt gitt til hans statssekretær, Helge Sivertsen, som også ble hans etterfølger som statsråd. En slik fremstilling undervurderer trolig Bergersens bidrag betydelig. Bergersen brakte med seg fra Sverige ideer til skolereformer, og de svenske forbildene er tydelige i begge de to store reformene i norsk skole som ble gjennomført i den tiden han ledet departementet. Først kom Lov om forsøk i skolen (1954), som etablerte Forsøksrådet for skoleverket og åpnet for utprøving av nye undervisningsmetoder, fagkombinasjoner og organisasjonsformer. 1959 kom Lov om folkeskolen, som likestilte folkeskolen i by- og landkommuner, satte like eksamenskrav i regning for jenter og gutter, åpnet adgang for kommunene til å innføre obligatorisk 9-årig enhetsskole, og reduserte kirkens innflytelse over skolen ved at prestene ikke lenger automatisk var medlem av skolestyret, men bare hadde møterett når undervisningen i kristendomsfaget skulle behandles.
Det forhold at Bergersens ettermæle som skolepolitiker har kommet i skyggen av Sivertsens, kan ha sammenheng med at Bergersen, som Torp, på mange måter tilhørte Arbeiderpartiets mellomkrigsgenerasjon, mens Sivertsen tilhørte de unge. Bergersens sorti fra politikken var heller ikke særlig ærefull, mens Sivertsen i en periode ble betraktet som Gerhardsens kronprins. Bergersen var i hele sin statsrådstid usikker i sine relasjoner til Stortinget. Når han skulle holde innlegg eller svare på spørsmål, hadde han bestandig med seg flere rådgivere fra departementet, og konfererte hyppig med dem. I politiske kretser ble han også beskyldt for ikke å holde løfter. Bakgrunnen var nok som regel ikke bevisst løgn, men at Bergersen, med sin grunnholdning av godvilje, ofte lot de delegasjonene som oppsøkte ham, sitte igjen med et inntrykk av at saken ville bli løst slik delegasjonen ønsket. I siste fase av statsrådstiden hadde han også store alkoholproblemer, og Gerhardsen skiftet ham ut 1960 med skoledirektør Sivertsen på sin effektive, men ofte nokså brutale måte.
Som pensjonist skrev Bergersen to meget leseverdige bøker. Modningsår forteller bl.a. interessant om forhold i Sovjetunionen og USA i slutten av 1920-årene, og Hva USA skylder Hitler forteller om de intellektuelle emigrantene fra Tyskland til USA i 1930-årene.
Birger Bergersen var medlem av Det Norske Videnskaps-Akademi fra 1936 og av Det Kongelige Norske Videnskabers Selskab fra 1955.