Peder Holt var den første finnmarking som ble fylkesmann i Finnmark. Han er først og fremst kjent for innsatsen han gjorde under etableringen av sivilt styre og administrasjon i fylket etter at den tyske okkupasjonsmakten trakk seg ut av Øst-Finnmark høsten 1944, og for sitt arbeid med gjenreisingen av Finnmark etter krigen. I mellomkrigsårene var han lokalt kjent som radikal redaktør og politiker og som innbitt motstander av nazismen.
Holt arbeidet på fiskebruk i sin ungdom, men ville utdanne seg og tok handelsskole og treårig teknisk aftenskole. 1924–40 var han redaktør av den radikale Vardø-avisen Finnmarken, som under hans ledelse utviklet seg til å bli et partiorgan for Det norske Arbeiderparti. Holt representerte Arbeiderpartiet i bystyret i Vardø og var byens ordfører fra 1930 til 1940. Da forlot han både redaktørstillingen, ordførerposten og alle sine andre offentlige verv, fordi han ikke kunne underskrive en lojalitetserklæring overfor okkupasjonsmakten og NS-styret. Han satt også fengslet på Sydspissen i Tromsø en tid på grunn av sin motstandsholdning. 1940–44 var han disponent for Vardø Kjøleanlegg.
Fra 1943 ble Holt trukket inn i London-regjeringens hemmelige forberedelse av frigjøringen av Finnmark. På vei til et slikt møte i Vadsø mai 1944 ble fraktefartøyet han var om bord i, skutt i senk av sovjetiske marinefartøyer, og mannskap og passasjerer ble ført til Murmansk. November samme år, mens frigjøringskampene om Øst-Finnmark pågikk og tyskernes brente jords taktikk ble iverksatt, brakte et sovjetisk fartøy Holt tilbake til Vardø. Her stilte han seg i spissen for et administrasjonsråd på tre medlemmer for de frigjorte områder av Finnmark, i henhold til en plan som var utviklet på et hemmelig møte i Tromsø året før og godkjent av London-regjeringen.
Fylkesmannen i Finnmark, Hans J. Gabrielsen, satt fortsatt i tysk fangenskap, og i Gabrielsens fravær ble Holt, kort tid etter hjemkomsten, konstituert som fylkesmann; konstitueringen ble gjort (etter fullmakt fra London-regjeringen) av oberst Arne D. Dahl, leder av den norske militærmisjonen i Finnmark, som også hadde kommet til området via Murmansk. Holt fikk usedvanlig vide fullmakter i sin nye stilling. Under hans ledelse ble det utnevnt ordførere og fylkesutvalg og gjenopprettet en sivil administrasjon.
Etter frigjøringen gikk fylkesmann Gabrielsen juni 1945 inn i Einar Gerhardsens samlingsregjering, som konsultativ statsråd for gjenoppbyggingen av Nord-Troms og Finnmark, mens det ble bestemt at fylkesmannsembetet i Finnmark skulle besettes ved konstitusjon (etter utlysning) så lenge Gabrielsen var medlem av regjeringen. Denne beslutningen vakte oppmerksomhet, sett på bakgrunn av det glimrende arbeidet Holt hadde gjort i stillingen; han søkte da heller ikke stillingen. I den rene arbeiderpartiregjeringen som tiltrådte november 1945, overtok han imidlertid posten som konsultativ statsråd for gjenreisingen nordpå, mens Gabrielsen gikk tilbake til sitt gamle fylkesmannsembete. Da Gabrielsen 1948 ble utnevnt til fylkesmann i Oppland, overtok Holt fylkesmannsembetet i Finnmark og innehadde det til sin død 1963, bare avbrutt av en periode som fiskeriminister i Oscar Torps regjering 1951–55.
Peder Holts store kunnskaper om fylket og hans evner til personlig kontakt på tvers av politiske og sosiale skillelinjer kom fullt ut til sin rett både i stillingen som fylkesmann og som statsråd. Han kombinerte personlig beskjedenhet med stor handlekraft, sosialt engasjement og nytenking om et Finnmark gjenreist fra krigens herjinger. “Alle samfunnsmessige forhold må opp i smeltedigelen for å støpes om,” var et uttrykk han gjerne brukte.
Peder Holt var kommandør av 1. klasse av Finlands Lejons orden.