Alf Rolfsen var den yngste av de såkalte “freskobrødrene” (Axel Revold og Per Krohg var de to andre). Hans hovedverk ble utsmykkingen av Vestre krematorium i Oslo. Han malte dessuten staffelibilder, særlig figurkomposisjoner og gruppeportretter, som alene ville sikret ham en fremskutt plass i norsk kunsthistorie, og han var i tillegg en betydelig kunstskribent.
Rolfsen vokste opp i Kristiania i en familie med sterke litterære interesser. Etter examen artium 1913 reiste han til København for å utdanne seg til arkitekt, men ble innskrevet på akademiet som malerstudent og var elev av Peter Rostrup Bøyesen 1913–16. Han debuterte på Efteraarsudstillingen i København 1916, studerte i Paris 1919–20, hvor han ble sterkt influert av André Derain, og holdt sin første separatutstilling i Kunstnerforbundet 1920, med bl.a. stilleben og interiører. Hans tidlige bilder var halvkubistiske og preget av dempede jordfarger, og kritikerne var stort sett positive.
Foruten mange senere opphold i Paris, med bl.a. givende samvær med dansken Georg Jacobsen og meksikaneren Diego Rivera, foretok Rolfsen også en rekke reiser til Italia. Han ble særlig opptatt av de store renessansemesteres malerier innen arkitektur, noe som kom til uttrykk i en av hans første artikler, Arkitektonisk maleri, en analyse av Michelangelos og Rafaels fresker i Vatikanet. Rolfsen fortsatte i alle år å skrive artikler og bøker om kunstteori og egen og andres kunst.
1922 fikk han oppdraget med å male fondveggen i ekspedisjonshallen i Telegrafbygningen i Kristiania. Han hadde fulgt Axel Revolds teknikk med freskene i Bergens Børs, og i det brede friselignende felt i fondveggen formidler han ideen om telegrafen som omspenner hele Norge, billedgjort med figurer i arbeid bl.a. med reising av telegrafmaster. Hans sans for kubismen hadde etter hvert utviklet seg mer i retning av nyklassisisme med vekt på det arkitektoniske. Rolfsen selv karakteriserte fresken som utpreget og gjennomført umalerisk.
1924 vant han konkurransen om utsmykkingen av Laugssalen i Oslo Håndverks- og Industriforening, hvor han skapte illusjonen av en gårdshall ved bruk av malte pilarer langs veggene, med felter hvor representanter fra forskjellige laug er i travelt arbeid. Sammen med Revold og Per Krohg dekorerte han Hersleb skole i Oslo 1927. Rolfsens bidrag var Historien med Osebergskipets sjøsetting, og til dagligstuen på Psykiatrisk avdeling ved Ullevål sykehus valgte han Byen som tema, illustrert ved en liten park med et mylder av leker og barn omgitt av høye bygårder. Han malte også korveggen i Stiklestad kirke 1929–30, med en stor Kristus-skikkelse og sidefelter med Olav den helliges liv og død.
Til tross for alle disse oppgavene fant Rolfsen tid til reiser og til å male staffelibilder. Frem til 1932 malte han en rekke større malerier, særlig figurkomposisjoner og gruppeportretter, som ble en av hans spesialiteter (Brødrene Nordahl og Harald Grieg og mor-sønn-motivet Gruppe), og landskap fra Norge og utlandet, som Albergo Rialto, det litt mytiske Kilden og Vinternatt utenfor Oslo. På en utstilling i Kunstnernes Hus 1932 viste han bl.a. Den store stasjon, som var inspirert av samtidens teknikk. Han utgav dessuten 1931 en glimrende bok om Thorvald Erichsen.
1932 vant Rolfsen konkurransen om utsmykkingen av Vestre krematorium, den største dekorative oppgave i norsk freskomaleri. Krematoriet er en treskipet bygning. I sideskipenes billedfelter kan vi i Rolfsens fresker følge menneskets vandring gjennom livet, fra fødsel til død, og på den store fondveggen menneskets frigjøring opp gjennom livstreets løvverk. En stjernehimmel hvelver seg over midtskipet. Figurer og gjenstander er nærmest naturalistisk tegnet og plassert på billedflaten i et sinnrikt system av forskyvninger og geometriske former. Fargene er milde, avstemte jordfarger, men med stråler av dagklart hvitt i kontrast til velvets natt. Rolfsen hadde etter kritikernes mening klart å skape en ideell helhet av arkitektur og billedutsmykning. Biskop Eivind Berggrav gav fremstillingen en nærmest panegyrisk tolkning i sin innvielsestale: “Derfor vier jeg disse billeder til å være en kjærlighetens og skjønnhetens arm om sorgtyngede mennesker...”
Rolfsens fresker vakte oppmerksomhet og beundring også i skandinavisk presse. Ved konkurransen om utsmykkingen av Oslo Rådhus 1938 fikk han oppgaven med å dekorere tre vegger “al fresco” i Sentralhallen. Han malte nordveggen med scener fra norsk arbeidsliv, Arbeidets Norge fra de drivende garn til skovene i øst, med Fridtjof Nansen og Bjørnstjerne Bjørnson som flankerende figurer. Da han våren 1943 skulle begynne på vestveggen, fikk han vite at man hadde tenkt å plassere søyler fra balkongen og ned på gulvet foran hans freske. Rolfsen mente det ville ødelegge romvirkningen og forlot Rådhuset. Etter hans utstilling i Kunstnerforbundet 1946 med bl.a. utkastene til Rådhuset, ble han bedt om å fortsette. Fra 1947 arbeidet han med østveggen, Okkupasjonsfrisen. Den er 30,5 meter lang, bygd opp i fem deler, med motiver fra krigens begynnelse til frigjøringen. Vestveggen er en fantasi over byen og byvåpenet, St. Hallvard.
Innvielsen av utsmykningene i Rådhuset 1950 styrket ytterligere “freskobrødrenes” ry i hele Skandinavia. 1952–54 utførte Rolfsen store dekorasjonsarbeider for Haugesund rådhus, senere 1961 en freske til Wilh. Wilhelmsens rederi i Oslo og 1958 en utsmykning av Ullensaker kirke. 1967 malte han sitt siste freskomaleri, Peer Gynt-fresken, i Hansa-salen i Bergen. Rolfsens rike billedverden i freskoarbeidene er full av litterære temaer og symbolikk og burde beskrives i detalj, noe han selv gjorde for flere av dem.
Rolfsen arbeidet også med grafikk, særlig fargelitografi, og tegnet bl.a. illustrasjoner til Nordahl Rolfsens lesebøker 1926–29 og Asbjørnsen og Moes norske folkeeventyrutgave fra 1936. Hans siste utstilling i Kunstnerforbundet 1975 bekreftet dessuten hvilken eminent portrettmaler han var.
Alf Rolfsen påtok seg flere verv i kunstnernes organisasjoner, bl.a. som formann i Kunstnernes Hus i to perioder. Han ble ridder av den svenske Nordstjärneorden 1937, fikk Kongens fortjenstmedalje i gull 1950, Prins Eugen-medaljen 1951 og Norsk kulturråds ærespris 1971, og han ble utnevnt til kommandør av St. Olavs Orden 1955.