Johan Jørgen Schwartz var en sentral skikkelse i næringsliv og politikk i Drammen gjennom en mannsalder fra 1850. Han representerte også byen på Stortinget i nesten 20 år.
Schwartz' far kom 1812 fra øya Fehmarn i Holstein til Drammen, hvor han 1823 giftet seg med den 18 år yngre Marie Cathrine Wærner. Det skal ifølge en familieberetning ha vært “et sjeldent lykkelig Ækteskab, velsignet med 10 Børn”. Johan Jørgen gikk handelsskolen ved Drammens latinskole og avla handelseksamen 1841. 1848 etablerte han seg som handelsmann og utviklet sin virksomhet som trelasthandler, skipsreder og sagbrukseier til å bli en av de største i Drammen.
Schwartz var en av distriktets betydeligste politikere på 1800-tallet. Han ble gjenvalgt til Stortinget ikke mindre enn seks ganger i perioden 1857–76, unntatt årene 1865–66, da han frabad seg gjenvalg. 1874–76 var han lagtingspresident. Politisk karakteriseres han som “næst Schweigaard konservatismens dyktigste talsmann i disse år”. Fra 1862 kom han med i de komiteer hvor han kom til å øve sin største innflytelse: Han var medlem av jernbanekomiteen 1862–63 og 1868–76 og formann i jernbanekommisjonen 1874. I veikomiteen (1868–74) var han formann 1871–73. Mer enn noen annen bidrog han til at Stortinget 1863 vedtok å bygge Randsfjordbanen. Hans store arbeidskraft, kunnskapsrikdom og slagferdighet i debattene gjorde ham til en av tingets mest innflytelsesrike medlemmer i saker som gjaldt utbyggingen av jernbanenettet i Norge i 1860- og 1870-årene. Ved flere anledninger ble han bedt om å gå inn i Frederik Stangs regjering, men avslo.
Samtidig som han representerte distriktet på Stortinget, var Schwartz også engasjert i lokalpolitikken. 1860 ble han utnevnt til stadtshauptmann for borgervæpningen i Drammen, og han var byens ordfører 1862–66. Etter bybrannen 1866 klarte byens administrasjon å få fart i gjenreisingsarbeidet, ikke minst takket være Schwartz' imponerende innsats. Hans betydelige arbeidskapasitet og administrative evner utfoldet seg i alle verv han påtok seg, bl.a. som direktør for brannforsikringsselskapet Norge og sjøforsikringsselskapene Drammens Gjensidige og Ægir. Han var direksjonsmedlem i flere av byens banker og fungerte som administrator for Norges Banks avdeling 1878–84. Han var medstifter og formann i Drammen og Oppland Turistforening 1888–97 og æresmedlem i Drammens handelsforening og i byens håndverkerforening.
Schwartz var medeier i Eidsfoss jernverk 1873–79. Etter en økonomisk krise gikk han konkurs 1879 og trakk seg tilbake fra det vesentlige av sin offentlige virksomhet. Han fortsatte imidlertid som sekretær for trelastdireksjonen og nedla et betydelig arbeid for distriktets fløtningsforhold frem til sin død 1898. Han etterlot seg en sønn, major Paul Lassen Schwartz, som 1891 tiltrådte selskapet som hadde kjøpt Eidsfoss jernverk etter konkursen.
Johan Jørgen Schwartz ble utnevnt til ridder av St. Olavs Orden 1863 og til kommandør 1873, og han var ridder av Dannebrogordenen og den svenske Nordstjärneorden. Gustav Vigelands bronsebyste av Schwartz foran Drammen jernbanestasjon ble avduket 1900. Tre år senere ble en passasjerbåt, D/S Stadshauptmand Schwartz, satt i trafikk på innsjøen Eikeren. Den sank 1931, men ble hevet igjen 1995 og er nå (2004) under restaurering.