Erling Johansen begynte sin arkeologiske virksomhet som amatør og gjorde en meget verdifull innsats, særlig i tilknytning til Østfolds steinalderarkeologi. Hans evne til å finne det andre ikke så, og til å formidle og begeistre, har gitt ham en spesiell plass i norsk og nordisk arkeologi. Allerede 1951 ble han av daværende kirke- og undervisningsminister Lars Moen omtalt som “et sjeldent tilfelle”, og det må sies å være en svært treffende karakteristikk.
Johansen utdannet seg opprinnelig til rørlegger. Helt fra guttedagene var han imidlertid fascinert av hva jorden skjulte. Interessen flammet opp da han 1941, etter å ha lest Gutorm Gjessings Østfolds jordbruksristninger (1939), selv fant tidligere ukjente helleristninger. Da han kom til Universitetets Oldsaksamling med sine funn, forstod Gjessing og A. W. Brøgger at de stod overfor en naturbegavelse. De oppmuntrert ham til å fortsette arbeidet og studiene, og 1951 ble han statsstipendiat.
Erling Johansen hadde en sjelden evne til å leve seg inn i og rekonstruere det forhistoriske landskapet og til å oppdage viktige oldtidsboplasser og fortidsminner. I 1940-årene vakte han oppsikt med sine utgravninger på Kråkerøy av hustufter som var mer enn 4000 år gamle. I 1950-årene gjorde han banebrytende oppdagelser med hensyn til flint som var ført til landet med isen. I 1960- og 1970-årene gravde han ut tre steinalderboplasser som lå omkring 160 meter over dagens strandlinje på Høgnipen i Skjeberg i Østfold. Høyden over havet og redskapsformene tilsa at de måtte være fra tiden like etter at landet her ble isfritt, og dermed de eldste boplasser som den gang var kjent i Norge.
Følelsen for landskapet preget også Johansens engasjement innenfor kultur- og landskapsvernet i vid forstand. Han var aldri fornøyd med at bare gravhaugen eller helleristningsfeltet var fredet. Det var først når landskapet omkring ble sikret mot utbygging at enkeltminnene fikk større betydning.
Allerede 1944 publiserte Johansen sin første vitenskapelige artikkel om helleristningene på Begby, og helleristninger i Østfold ble et tema han forfulgte til sine siste dager. Ellers spente hans interesser vidt. I noen aktive krigs- og etterkrigsår tilegnet han seg store kunnskaper, ikke bare innen arkeologi, men også i historie, geologi, stedsnavn, folkeminner, landskaps- og kulturminnevern. Bl.a. skrev han viktige bidrag til flere bygdebøker (for Skjeberg, Rygge, Kråkerøy, Glemmen og Sarpsborg) der han forener geologi og arkeologi, og der naturgrunnlag og bosetning kobles på en besnærende måte.
Johansen publiserte ikke store vitenskapelige verk om sine mange arkeologiske undersøkelser, men han evnet både i skrift og tale på en enestående måte å formidle sine kunnskaper og sitt engasjement til et stort publikum. Han viet dessuten krefter og evner til praktisk innsats. Han var bl.a. en av dem som fikk restaurert Akerøy fort ytterst i Oslofjorden, og han klarte å få gjenreist et ruvende forsvarstårn på Isegran i Fredrikstad. På Isegran fikk han dessuten hånd om en rekke til dels forfalne bygninger. Disse ble restaurert og overlatt til Universitetet i Oslo som forskningsstasjon.
Erling Johansens innsats som fagmann, eminent formidler og kulturverner er høyt verdsatt. 1973 ble han medlem av Det Norske Videnskaps-Akademi, 1975 æresdoktor ved Universitetet i Bergen og 1996 ridder av 1. klasse av St. Olavs Orden. På Isegran ble det reist en byste av ham på 80-årsdagen. Han mottok også en rekke priser.