Privat tannlegepraksis og eksperimentell rotbehandling utgjorde professor Birger Nygaard-Østbys faglig/vitenskapelige basis. Hans livsverk kom til å bli Odontologisk Forskningsinstitutt (OF), som innledet en ny epoke innen norsk odontologi.
Nygaard-Østby tok eksamen ved Statens Tandlægeinstitut 1927, i det første kull som gikk ut fra den nye bygningen i Geitmyrsveien. Etter noen år i privat praksis på Kløfta etablerte han seg 1933 på Vinderen i daværende Aker, hvor han skulle komme til å bli boende resten av sitt liv. Samme år ble han assistent på Konserverende avdeling ved Norges Tannlægehøiskole, hos professor Immanuel Ottesen, som inspirerte ham til å starte vitenskapelige studier.
På denne tiden hadde fokalinfeksjonslæren (generell sykdom forårsaket av lokal betennelse) en sterk posisjon, og mange tenner ble ofret på ren mistanke. Nygaard-Østby tok ikke standpunkt til læren som sådan, men ville gjerne se om det var mulig gjennom rotbehandling å fjerne betennelsestilstander i rotspissområdet. Etter omfattende litteraturstudier bestemte han seg for å belyse problemet eksperimentelt ved å ta ut selve rotspissområdet med en selvutviklet teknikk. I alt 30 pasienter med varierende antall friske eller skadede tenner ble behandlet, til dels også på proteseavdelingen med støtte av professor I. Krohn. Den videre bearbeidelsen og analysen av materialet ble utført i Praha hos professor K. Häupl, som til 1936 arbeidet i Oslo. Avhandlingen konkluderte med at det er mulig å fjerne rotbetennelser gjennom utrensking og rotfylling. Dette var et pionerarbeid, som 1939 ble honorert med den filosofiske doktorgrad og som siden kom til å danne grunnlaget for undervisning og praksis i endodonti både nasjonalt og internasjonalt.
Odontologisk forskning hadde kummerlige kår i etterkrigstiden, men da tippemidler ble stilt til rådighet, kunne NAVF 1951 åpne Odontologisk Forskningsinstitutt, med Nygaard-Østby som leder. Det ble satset på “problemer innen karies- og paradentoseforskningen”, og man søkte “å legge opp et forskningsprogram som gir mulighet for samarbeid (“team work”) samtidig som den enkelte forskers personlige interesse tilgodesees så langt råd er”. Resultatet ble et åpent og produktivt miljø.
Nygaard-Østby rekrutterte forskere med varierende bakgrunn og erfaring som hurtig gav instituttet et internasjonalt renommé. Gjennom en årrekke fikk det betydelig økonomisk støtte fra U.S. Public Health Service. 1963 ble det et universitetsinstitutt med styreren som professor (personlig professorat).
Nygaard-Østby holdt utallige foredrag og kurs og skaffet seg etter hvert mange internasjonale kontakter. Han engasjerte seg i mye av den faglige utvikling som foregikk og markerte klare, men også kontroversielle synspunkter. Han engasjerte seg tidlig i foreningsarbeid og kom etter hvert inn i en rekke tillitsverv og topposisjoner, bl.a. som visepresident i Den norske tannlegeforening 1947–49, president 1949–51 og redaktør for foreningens tidsskrift 1955–59.
Nygaard-Østby var en aktiv pådriver i arbeidet som førte frem til Nordisk institutt for odontologisk materialprøvning, hvor han spesielt kjempet for det biologiske aspektet. Vannfluoridering var han tidlig i 1950-årene skeptisk til, og de nye plastfyllingsmaterialene gikk han sterkt imot på basis av egne undersøkelser. Luftturbin-boremaskinene deltok han aktivt i utviklingen og lanseringen av, og han skapte og markedsførte flere nyttige hjelpemidler til rotbehandlingen. Han mottok en rekke utmerkelser for sitt arbeid, bl.a. et æresdoktorat ved Göteborgs universitet, og han ble utnevnt til ridder av 1. klasse av St. Olavs Orden 1971.
Amalgamsaken, der Nygaard-Østby stod sentralt blant kvikksølvforbindelsens forsvarere, kom til å bli en stor belastning for ham personlig. Det dreide seg i utgangspunktet om en kvalitetsvurdering, men på grunn av enkeltes uforsiktige uttalelser og uheldige sammentreff ble det en ufortjent stor sak med mange aktører. Etter en vanskelig tid gikk han imidlertid igjen inn i en ny produktiv periode, bl.a. engasjerte han seg i akupunkturens muligheter. Fra naturlig skepsis ble han under en demonstrasjonstur i Kina entusiastisk forkjemper, og senere fungerte han som reiseleder for en gruppe legers studietur til Kina.
Birger Nygaard-Østby – “N-Ø” blant kjente – var en meget energisk og fargerik person med stor viten og mange interesser og ideer. Han hadde en enestående evne til å komme i kontakt med mennesker og var full av gode historier, men han kunne også virke arrogant og egosentrisk. Han døde uventet og alene i sitt hjem 1977 av hjerneblødning.