Magnus Alfsen var i hele sitt voksne liv aktiv som lærer i realfag i den høyere skole, og gjorde med sine mange lærebøker et pedagogisk nybrottsarbeid for disse fagene. Knapt noen lærebøker har forsvart sin plass så lenge i det norske utdanningssystemet.
Han tok examen artium på reallinjen knapt 17 år gammel, og begynte deretter å studere “realfag, særlig matematikk — dog ikke altfor sterkt, og ikke altfor systematisk”, etter hva han selv sier i jubileumsboken for studentene fra 1887. Litteratur og malerier, politikk, samvær med kamerater og aktiv deltagelse i Studentersamfundet og Realistforeningen tok sin tid. Dessuten skaffet han seg undervisningserfaring. Men han rakk også å holde 8–10 foredrag i Elling Holsts matematiske seminar, og han tok en god eksamen i juni 1894, så han kan heller ikke ha forsømt det faglige.
Etter eksamen ble han lærer på Aars og Voss' skole i Kristiania, og 1901 adjunkt i den kommunale treårige middelskolen. Det meste av året 1902–03 studerte han matematikk og matematikkundervisning i Paris. Fra 1917 til han nådde pensjonsalderen 1940 var han rektor ved Hegdehaugen skole.
I tillegg til dette bestyrte han 1900–02 en privat lærerinneskole sammen med Carl Knap, og 1912–19 var han lærer i “politisk aritmetikk” ved Kristiania Handelsgymnasium. Han var lærer i matematisk undervisningsmetodikk ved Det Pedagogiske Seminar fra det ble opprettet 1907 til 1936, og sensor i matematikk ved universitetet fra 1908 til 1932.
Tidligere elever omtaler Magnus Alfsen som en uvanlig dyktig lærer, og et etterlatt manuskript fra hans virke som øvingslærer ved Pedagogisk Seminar forteller om pedagogiske ideer som var godt forut for sin tid. Det var likevel som skolepolitiker og lærebokforfatter han satte sterkest spor etter seg.
Utgangspunktet var den moderniseringen av matematikkundervisningen som pågikk i mange europeiske land fra slutten av 1800-tallet. Alfsen må ha blitt kjent med den i studietiden, ved Elling Holsts undervisning. Tittelen på et foredrag Alfsen holdt 1904, Formal eller real matematikkundervisning, gir hovedtanken. Han ville ta utgangspunkt i konkrete praktiske situasjoner; formalismen og abstraksjonene er til for å forenkle og rydde opp i tankearbeidet. Forståelse, klare begreper og generelle metoder er viktigere enn spesielle tricks. Deler av den klassiske euklidske geometrien i gymnaset fikk han byttet ut med analytisk geometri. Omkring 1920 gikk han i brodden for å få inn noe differensialregning i gymnaset.
Utformingen av eksamensoppgavene kom han tilbake til mange ganger. Tradisjonelt hadde de vært korte, ofte spissfindige, det var i blant nærmest slump om kandidaten kom på den rette ideen i tide. Alfsen ville i stedet bruke flere enkeltspørsmål som kunne besvares uavhengig av hverandre, og slik at de første testet de aller viktigste kunnskapene, og de siste krevde en større faglig modenhet.
Lærebøkene, der han realiserte sine ideer, ble nyskapende. For å utvikle elevenes geometriske sans brukte han verktøy som kalkerpapir, vinkelhake og transportør i tillegg til de klassiske redskapene passer og linjal. Flytting av figurer, symmetrier og dreininger erstattet deler av den euklidske formalismen. Ved systematisk bruk av tall med fortegn ble både praktisk regning og analytisk geometri forenklet. Det startet med en liten Elementær stereometri allerede 1898, så kom bøker om euklidsk og analytisk plangeometri, oppgavesamlinger, og i 1907 et lite hefte om Tal med fortegn. Hans Aritmetik og algebra for gymnasiet fra 1920 innledet et fullstendig læreverk for middelskole og gymnas. Forandringene i skoleordningen gjorde at han sammen med sønnen Knut Alfsen (1897–1978) begynte på en grundig revisjon av verket 1939. Knut Alfsen fortsatte arbeidet etter farens død, og en tredje versjon ved Knut Alfsen og dennes sønn Erik Magnus Alfsen kom i 1970-årene.
Men Alfsens engasjement gikk langt ut over matematikken. I artikler og foredrag la han frem klare og saklige meninger om lønns- og arbeidsforhold, pedagogikk, internasjonale skoleforhold. Til og med om skolevesenet i Japan skrev han et par artikler. Han understreket at gode kunnskaper i engelsk er nødvendig for elevene på reallinjen, at noe realfag trenges på engelsklinjen, og fremfor alt at leseplanene må bygge på et helhetssyn, ikke på en samling av smådeler uten indre sammenheng. Skolen skal forberede til mange ulike aktiviteter, universitetsstudier er bare en av dem.
Alfsen var med i mange offentlige komiteer og utvalg. 1908 ble han norsk medlem av en nyopprettet internasjonal kommisjon for matematikkundervisning. Sin viktigste innsats i skolepolitikken gjorde han som medlem av Undervisningsrådet, først 1909–10, så igjen 1919–1940, fra 1929 som en myndig og effektiv formann. Undervisningsrådet var tilsynsmyndighet for de høyere skolene, med ansvar blant annet for utarbeidelse av undervisningsplaner og for avvikling av eksamen. Hans arbeid der og som formann i en plankomité for ny skoleordning (1936–38) spilte en hovedrolle ved den omformingen av norsk høyere skole som skjedde i 1930-årene.
Alfsen var styremedlem i Filologenes og Realistenes Landsforening (senere Norsk Lektorlag) 1901–13, styremedlem i Norsk Matematisk Forening 1923–28. Da han gikk av for aldersgrensen 1940, ble han utnevnt til ridder av St. Olavs Orden.