Peter Collett spillte en merkelig dobbeltrolle som imidlertid ikke var uvanlig i hans tid. På den ene side var han dommeren som bekledde krevende embeter og på den annen side gods- og verkseieren som ledet omfattende forretninger. Han ble sterkt kritisert for sin forsømmelige embetsførsel og sine tallrike rettssaker.
Peter Collett var foreldrenes eldste sønn; han hadde en helsøster og 9 halvsøsken fra farens andre ekteskap. Han vokste opp på farens eiendom Buskerud hovedgård, og ble undervist hjemme av flinke huslærere som senere sogneprest Abraham Pihl og senere eidsvollsmann Jonas Rein. Sistnevnte hadde senere jevnlig kontakt med Collett. 1784–85 var Collett elev ved katedralskolen i Christiania. Han studerte jus ved universitetet i København og ble cand.jur. 1788. Samme år ble han ansatt som assessor auscultantus ved Overhoffretten i Christiania, og han ble virkelig assessor her 1791. Overhoffretten ble opphevet 1797, og Collett ble forflyttet til Kristiansand stiftsoverrett. Dette passet ham dårlig, da han hadde store eiendommer å ivareta i nærheten av Christiania. Han ble assessor ved Akershus stiftsoverrett 1802, og året etter fikk han embetet som justitiarius i Christiania politirett. 1806 ble han tildelt rangtittelen justisråd. Etter krigsutbruddet 1807 var han også medlem av overadmiralitetsretten. Collett fratrådte disse embetene da han 1814 ble utnevnt til assessor i Norges nye høyesterett. 1827–28 fungerte han som konstituert høyesterettsjustitiarius.
Collett var interessert i folkeopplysning og var medlem av sogneselskapene i Aker, Asker og Eiker hvor han hadde faste eiendommer. Han var også en av stifterne av Selskabet for Norges Vel 1809.
Collett var 1818 Buskerud fogderis delegat ved kong Karl Johans kroning, og i den forbindelse ble han utnevnt til ridder av Nordstjärneorden.
Fra 1794 eide Collett gården Økern i Aker, og 1800 overtok han Buskerud hovedgård fra stemoren, mot å yte henne en årlig livrente. Økern solgte han 1814, og han bodde deretter ofte på brorens eiendom, Alunverket ved Christiania. 1809 kjøpte han Hassel jernverk, en betydelig industribedrift som krevde omfattende administrasjon. Verket var en god inntektskilde inntil krisen for de norske jernverkene satte inn i slutten av 1820-årene, og Collett stoppet jernproduksjonen 1835.
Collett, som hadde fungert bra i de lavere rettsinstansene, gjorde en mindre heldig figur som høyesterettsdommer. Hans private forretninger tok mye tid, og han ble kritisert for å bedrive privat virksomhet selv når han satt i rettsmøter. Han mistet også interessen for embetspliktene og var ofte fraværende fra retten. Tiden brukte han på Hassel verk eller Buskerud. Det at han fikk stadig dårligere hørsel påvirket også hans dommergjerning. Collett ble dessuten sterkt kritisert for sine mange private rettssaker. Han førte saker om dette og hint, og tapte ofte. Et par ganger ble han idømt mulkt for unødig trette. Nationalbladet mente at hans prosesslyst skadet ikke bare hans egen, men også Høyesteretts prestisje.
Collett beskrives i samtiden som både retthaversk og gavmild, energisk og likegyldig. Han ble bl.a. fradømt eiendomsretten til tre kirker 1828 på grunn av manglende vedlikehold.
Collett brydde seg ikke om de mange angrepene han ble utsatt for, før Morgenbladet 1828 trykte et usedvanlig skarpt angrep på ham. Her ble det skrevet at han var uegnet som høyesterettsdommer. Han ble ved kongelig resolusjon pålagt å gå til sak, og tapte denne i alle instanser. Det kom frem en rekke forhold som underbygde Morgenbladets påstander, og Collett søkte under saken avskjed, noe han fikk 1830.
Collett bodde deretter på Buskerud, hvor han anla en romantisk park. Han var også boksamler og etterlot seg et stort bibliotek, hvorav 3000 bind ble testamentert til universitetet. Han hadde 11 barn, og ved hans død overtok sønnen John Collett Buskerud, mens Hassel verk ble solgt. Hans minne levde lenge i befolkningen ved Buskerud hovedgård.