Olav Kielland virket som dirigent gjennom store deler av 1900-tallet og gjorde en betydelig innsats for samtidsmusikken. Fra 1941 var han bosatt i Bø i Telemark, der han studerte folkemusikk og komposisjon. Hans verker er preget av hans interesse for norsk folkemusikk, særlig hardingfeleslåttene.
Kielland begynte sin musikkutdannelse som 12-åring og studerte klaverspill og senere musikkteori. Han tok examen artium ved Trondheim katedralskole 1919 og begynte deretter på arkitektstudiet ved Norges tekniske høgskole, men brøt over tvert 1921 og reiste til Leipzig, hvor han studerte ved musikkonservatoriet til 1923. Han avsluttet sine studier med de beste karakterer og drog så videre til studier i Paris. 1929 deltok han i Felix Weingartners Meisterkurs für Dirigenten i Basel.
Kielland debuterte som orkesterdirigent i Kristiania 1923. Året etter var han repetitør ved Casino Teater, og 1925–31 var han kapellmester ved Stora Teatern i Göteborg. I sesongen 1930–31 gjorde han slik suksess med Wagners Mestersangerne i Nürnberg at han fikk tilbud om å bli dirigent ved Kungliga Teatern (operaen) i Stockholm. Samtidig tilbød styreformannen i Filharmonisk Selskap i Oslo ham stillingen som Filharmoniens faste kapellmester og kunstneriske leder. Da Kielland hadde takket ja og var vel etablert i Oslo, hadde Filharmonien fått nytt styre. Etter mye frem og tilbake førte dette til at han ikke ble ansatt som kunstnerisk leder før 1933.
Helt fra Kiellands inntreden på den norske musikalske scene ble han gjenstand for strid. I Dagbladet rykket Johan Halvorsen ut med følgende: “La den unge talentfulle dirigenten Olav Kielland få arbeidsro. Jeg vil på det bestemteste protestere mot den uverdige og usaklige måte hvorpå Olav Kielland forfølges.” I Adresseavisen for 8. november 1933 var overskriften: “Forfølgelsen av Olav Kielland. Nå får det være slutt – Kraftig innlegg av Harald Sæverud.”
Som kunstnerisk leder for Filharmonisk Selskaps Orkester 1933–45 gjorde Kielland en helhjertet innsats for norske komponister og norsk samtidsmusikk. Verker av Eivind Groven, Fartein Valen, Harald Sæverud, Geirr Tveitt, Bjarne Brustad, David Monrad Johansen, Sparre Olsen og mange flere stod ofte på programmet.
Kielland høstet strålende kritikker når han gjestet utlandet. 12. mai 1926 skrev Juliette Autran i parisavisen Le Soir: “Med sine 25 år har Olav Kielland allerede en rutine som en kunstner med lang karriere. Han hadde i går anledning til å dirigere Societé des concerts du Conservatoire's orkester, det beste blant orkestre, og han viste seg oppgaven voksen. Hans dirigering er bred og omfattende, energisk og nøyaktig. Han gir seg hen uten forbehold og meddeler all den vitalitet som det musikkverk eier som han dirigerer.”
1939 ble Kielland forespurt om han ville dirigere New York-filharmonikerne på halvårsbasis, dvs. være et halvt år i New York og et halvt år i Oslo et ubestemt antall år fremover. Da krigen like etter brøt ut i Europa og Norge ble okkupert, klarte ikke familien Kielland å bryte opp før det var for sent.
For å komme bort fra okkupasjonsmakten flyttet familien 1941 til Bø i Telemark. Kielland ville benytte tiden til å studere og komme norsk folkemusikk og særlig hardingfela inn på livet. Helt til sin død 1985 ble han boende på småbruket Raudmyr i Øvre Bø.
I Kiellands komposisjoner merker en tydelig hans store kjærlighet til det norske tonespråket og slåttemusikken. Han har komponert flere store og små orkesterverk, hvorav fire symfonier, en pianokonsert, en violinkonsert, musikk til Ibsens Brand foruten sanger og klaverstykker.
Da Kielland 1946 ble anmodet om å vende tilbake og innta sin gamle stilling i Filharmonisk Selskaps Orkester, avslo han. 1946–48 reorganiserte han Trondheim Symfoniorkester, 1948–52 ledet han Musikkselskabet Harmonien i Bergen, og 1952 ble han bedt om å bygge opp symfoniorkesteret i Reykjavík på Island. Han ble på Island i tre år. Fra 1956 virket han som gjestedirigent i Paris, Berlin, London, New York, Brussel, København, Stockholm, Helsingfors, Göteborg, Reykjavík, Oslo, Bergen og Trondheim, og 1961 fikk han Statens kunstnerlønn. Han ledet også en rekke operette- og operaoppførelser på Nationaltheatret i Oslo.
Som dirigent var Kielland anerkjent dyktig, men likevel omstridt. Han var meget temperamentsfull og ble ofte betraktet som autoritær og vanskelig å samarbeide med, noe han selv tok seg nær av og oppfattet som tilløp til personforfølgelse.
Olav Kielland fikk Kongens fortjenstmedalje i gull 1939 og ble utnevnt til ridder av 1. klasse av St. Olavs Orden 1981. Han var også kommandør av den islandske Falkeorden.