Erik Jørgensen var ansatt ved Kongsberg Våpenfabrikk store deler av sitt voksne liv, og sammen med offiseren Ole Krag utviklet han Krag-Jørgensen-geværet, det meste utbredte norske skytevåpen i moderne tid.
Jørgensen vokste opp på farens gård Solstad i Asker. 1865–70 var han en meget dyktig og arbeidsvillig lærling hos børsemaker Larsen i Drammen. 1870 fikk han ansettelse som fagarbeider ved Kongsberg Våpenfabrikk (KV), og 1872 avla han militær børsemakereksamen. Dette gjorde det mulig for ham å få bistilling som militær børsemaker ved siden av egen børsemakerpraksis. Han hadde imidlertid fortsatt arbeidet ved KV som hovedbeskjeftigelse, selv om han påtok seg diverse arbeid for privatpersoner.
På KV ble Jørgensen kjent med kontrolloffiser Ole Krag. Han utførte børsemakerarbeid på bestilling av Krag allerede 1871, først og fremst på Krags magasingeværer. Det er tydelig at Krag tidlig oppfattet Jørgensen som en meget pålitelig og etter hvert erfaren børsemaker.
Jørgensen var ansatt som korpsbøssemaker ved Smaalenske Bataljon i Fredrikstad 1875–82. Denne stillingen var også en bistilling, men garanterte ham en fast inntekt ved siden av det han kunne tjene på sitt eget børsemakerverksted. Da han kom tilbake til KV 1882, var Krag blitt direktør ved fabrikken, og han utnyttet Jørgensens evner og erfaring i arbeidet med å forberede fabrikasjon av Jarmann-geværet. Jørgensen utførte også arbeid for Krag på hans forsøksgeværer.
1886 reiste Jørgensen til Danmark for å demonstrere Krags kapselmagasingevær. Da han kom hjem etter prøvene, hadde han fått nye impulser og ideer. I samarbeid konstruerte Krag og Jørgensen de første forsøksgeværene, som fikk navnet “Krag-Jørgensens”, med en helt ny låsmekanisme og et nytt magasin. Disse geværene innledet videre utviklingsarbeid i årene som fulgte. Krag omtalte Jørgensen som “en Mand, der om man gav ham en Idé, gav han den forbedret tilbage”. Samarbeidet må ha fungert utmerket.
Krag-Jørgensen-geværet ble innført i Danmark 1889, og 1892 besluttet USA å godkjenne en forbedret modell av geværet etter omfattende prøver. Erik Jørgensen oppholdt seg en tid i USA som representant for konstruktørene, og han stod personlig for demonstrasjonene av geværet.
I Norge startet arbeidet med å vurdere nye militære håndvåpen 1891. Gjennom flere år ble de beste tilgjengelige geværer vurdert av den såkalte Geværkomiteen af 1891. Etter inngående skyte- og mekanismeprøver ble Krag-Jørgensen-geværet ved kongelig resolusjon av 21. april 1894 approbert for fremtidige anskaffelser for Hæren. Dette skulle etter hvert føre til at ca. 250 000 slike geværer og karabiner ble produsert for Norge frem til ca. 1950. Krag-Jørgensen-geværet er derfor uten sammenligning det mest utbredte norske geværet gjennom tidene.
Erik Jørgensen ble 1894 utnevnt til ridder av St. Olavs Orden. 1895 og 1896 oppholdt han seg utenlands i flere perioder for å hjelpe til med forberedelsene for produksjonen av Krag-Jørgensen-geværer for den norske stat. Etter hjemkomsten omkom han ved en drukningsulykke høsten 1896 i elven Lågen ved Kongsberg.