Wilse vokste opp i Kragerø. Han drog til sjøs allerede 13 år gammel og tok eksamen ved Horten tekniske skole 1882. Det var vanskelig å få arbeid i hjemlandet, og to år senere emigrerte han til USA. Der arbeidet han først som jernbaneingeniør og fra 1897 med karttegning for den amerikanske stats geografiske oppmåling i Seattle. 1886 kjøpte han sitt første fotografiapparat, og 1897/98 startet han en fotografisk forretning i Seattle.
Da Wilse høsten 1900 flyttet hjem til Norge, var han allerede en erfaren og etablert fotograf. Han fikk raskt oppdrag bl.a. for reiselivet. 1. mai 1901 åpnet han atelier i Nedre Slottsgate 13 i Kristiania. Etter noen år i Hasselgården på Stortorget og en periode i Prinsens gate 25 flyttet firmaet 1920 til flotte lokaler i Handelsbygningen (Drammensveien 20). Sønnen Robert Charles Wilse (1897–1969), som hadde gjennomført sin læretid hos faren og videreutdannet seg i Storbritannia og USA, ble etter hvert farens kompanjong og i de senere årene firmaets daglige leder.
Ved siden av kunnskap om moderne fotografisk forretningsdrift var erfaringene fra ingeniør- og landmålerarbeidet det viktigste Wilse hadde med seg tilbake fra Amerika. Hans evne til å vurdere topografiske formasjoner, størrelser og relasjoner og til å velge ut de vesentlige elementer i landskapet var en viktig kapital å ha med seg som fotograf. Han ble snart Norges store landskaps- og turistfotograf med en enorm produksjon. Hans samling fikk en vektig tilvekst da han kjøpte Axel Lindahls norgesbilder fra 1880- og 1890-årene.
I ettertid har man noe ensidig fokusert på Wilses landskapsbilder. Han var også en utmerket portrettfotograf og det vi med moderne uttrykk kan kalle dokumentarist og kunstfotograf. Men Wilse var ikke passivt registrende. Hans registreringer hadde et klart siktemål: Det handlet ikke bare om å vise et uavhengig, tidsmessig og moderne Norge, men å være en pådriver i denne prosessen. Han har tatt en rekke av de bildene som er med på å konstituere de nasjonale symbolene og gi dem et visuelt uttrykk, kort sagt etablere det vi kan kalle de nasjonale ikoner.
Begrepet “nasjonsbygging”, og spesielt hvordan nasjonen bygges og formes med symboler, står sentralt i Wilses fotografiske virksomhet. I dette arbeidet kunne han lene seg på mektige allierte, som lysakerkretsen, en krets av kunstnere og intellektuelle i miljøet rundt Fridtjof Nansen og Erik Werenskiold. Wilses fotografiske program hadde klare paralleller til “friluftsmalerne”, og han kalte seg da også “friluftsfotograf”. Han var en av de ivrige nye brukerne av det norske landskapet og et aktivt medlem i Den Norske Turistforening. Hans interesse for det norske kom også til uttrykk i at han, på oppdrag for Riksantikvaren, reiste rundt og dokumenterte den norske byggeskikken.
For Wilse var reisene en strategi for å komme på sporet av fotogene landskap og situasjoner og gjennom det skaffe bilder til sitt stadig voksende arkiv. Gjennom sine bilder ble han en drivende kraft i fastleggingen av normene for hvor og hvordan turisten skulle oppleve det norske landskapet. Turistblikket ble underlagt fotografens temmende kraft. Wilse og de andre fotografene ble således medvirkende til å definere landskapet, gjøre ferien til ferie og – om vinteren – å gjøre skisport til skisport.
Wilse var en foregangsmann når det gjelder den fotografiske utnyttelsen av vinterlandskapet, et landskap som fikk en helt spesiell betydning i det nasjonale prosjektet. For landskapsfotografene representerte vinter-Norge en viktig og etterlengtet motivmessig utvidelse. Vel hadde snø og is, høyfjellet og spesielt isbreer vært et viktig motiv for de tidligere fotografene, men vinteren var uaktuell som motiv. Det nye var at det i 1890-årene, med skisport og vinterturisme, ble skapt et marked for slike bilder. Flere fotografer tok opp motivkretsen, men Wilse var utvilsomt den store foregangsmannen.
Wilses storslåtte prosjekt – å etablere og dokumentere det norske – kom ved siden av vinterbildene kanskje særlig til uttrykk i dokumentasjonen av nasjonens fremste menn, og da spesielt kongehuset, som han skulle komme til å fotografere i over 30 år. Han fulgte den nye kongefamilien fra de satte sine ben på norsk jord, og han strebet i sine kongebilder etter å finne en bildestil som kombinerte det nære med det opphøyde, det kongelige med de typisk norske aktivitetene. Gjennom sine bilder gav han et viktig bidrag til å gjøre kongehuset til et uttrykk for, og til bærere av, det norske.
Ved siden av å selge et stort antall bilder til de forskjelligste bruksområder propaganderte Wilse selv direkte for sitt syn. Han holdt sitt første offentlige lysbildeforedrag i Den Norske Turistforening 1909. Ifølge ham selv holdt han 498 betalte og 338 gratis foredrag. Til disse foredragene, ofte delt opp i flere halvtimes seanser, viste han gjerne opptil 150 fargelagte lysbilder. Foredragene ble også holdt i utlandet; 1916 la han ut på en tre måneders lang foredragsturné i USA, sponset av rederiene Bergenske, Nordenfjeldske og Den norske Amerikalinje samt Reiseforeningen (det senere Landslaget for Reiselivet).
Også i det organisatoriske Norge satte Wilse varige spor. Han var formann og kasserer i Norges Fotografforbund, medlem av Fotografikommisjonen (1906), av Den Norske Turistforenings råd og styret i Kjenn Ditt Land. Han fikk Kongens fortjenstmedalje i gull og Kjenn Ditt Lands gullmedalje 1925, Turistforeningens gullknapp 1933 og ble æresmedlem av Norges Fotografforbund 1937. Han gav ut to selvbiografiske bøker, En emigrants ungdomserindringer og Norske landskap og norske menn.
Da A. B. Wilse døde 1949, etter nesten 50 år i fotografiens tjeneste, etterlot han seg en samling på over 200 000 bilder, en rikholdig dokumentasjon av alle sider av norsk natur og samfunnsliv. Etter hans død ble dessverre det store arkivet delt. Mesteparten – i overkant av 100 000 negativer og 368 arkivalbum – gikk til Norsk Folkemuseum, Oslo Bymuseum overtok Kristiania-bildene og Norsk Sjøfartsmuseum skipsbildene. Universitetsbiblioteket i Oslo har ca. 15 000 portrettnegativer.