Ove Ekman var en av de mest ansette og benyttede arkitektene på 1800-tallet og begynnelsen av 1900-tallet. Mange av forretningsgårdene oppført i Kvadraturen i Kristiania omkring århundreskiftet er tegnet av ham.
Ekman startet sin arkitektutdannelse ved Den kgl. Tegneskole i Christiania 1862–66. Det følgende år fulgte han undervisningen på Höxter Bauschule i Westfalen, deretter Kunstakademiet i München. 1870–71 var han på studiereiser i Italia og Frankrike. 1872 kom han tilbake til Norge og var en kort periode assistent hos arkitekt J. W. Nordan før han startet egen arkitektpraksis. Ved siden av egen praksis var han bygningsinspektør i Kristiania 1876–88. Fra ca. 1890 hadde han arkitektkontor sammen med halvbroren Einar Smith under firmanavnet Ekman og Smith. Ca. 1910 ble arkitekt Carl Michalsen tatt opp som kompanjong i firmaet som da fikk navnet Ekman, Smith og Michalsen.
Firmaet fikk oppdrag av stat, kommuner, institusjoner og privatpersoner. Ekman har tegnet skoler, banker, fengsel, tvangsarbeidsstalt, sanatorium, bryggerier, industrianlegg, hoteller, restauranter, forretningsgårder, leiegårder, villaer og interiører. Som andre i sin samtid benyttet han som utgangspunkt for detaljer og bygningsformer stilelementer fra middelalder, renessanse, barokk og klassisisme, fra omkring århundreskiftet også jugend.
Ove Ekmans styrke som arkitekt synes å ha vært hans økonomiske, praktiske og tekniske evner. En utstrakt bruk av jernbjelker i konstruksjonene gav muligheter for å tilfredsstille tidens krav til store vindusflater og åpne planløsninger. Avansert teknisk utstyr gjorde det mulig å få elektrisk lys fra eget aggregat, heis og sentralvarme. Eksempler fra Kristiania er forretningsgården Kongens gt. 33 (Karl Johans gate 16b) fra 1890 og Christiania Glasmagasin 1898–99. Det ble dessuten lagt stor vekt på høy kvalitet i materialer og den håndverksmessige utførelse, også i interiør som Svaneapotekets ekspedisjonslokaler fra 1896 i Karl Johans gate (fredet 1983) og City Bakeri og Conditori i Tollbugata fra 1896 (arkitekturvernprisen for sitt interiør 1986).
Blant hans mange hundre bygninger kan dessuten nevnes Uranienborg, Bjølsen, Kampen og Vestheim skoler i Oslo, Bragernes og Strømsø skoler i Drammen, Opstad tvangsarbeidsanstalt på Jæren og regulering av Huk gård på Bygdøy med hotell, bad, KNS' klubbhus Dronningen (ødelagt av brann 1928) og villaene langs Huk aveny.
Ekman var samfunnsengasjert og satt i Kristiania formannskap 1892–1904. Han var opptatt av byplanlegging og kom med flere reguleringsforslag, bl.a. om å føre Vestbanen i tunnel gjennom Munkedammen til Skøyen for å frigjøre Frognerstranden til strandpromenade. Han ble oppnevnt av staten i en rekke styrer og komiteer, bl.a. styret for Kristiania Tekniske Skole fra 1900, formann i byggekomiteen for nytt universitetsbibliotek og universitetsbygning på Tøyen, og han var medlem av komiteen for ordning av statens bygningsvesen fra 1910. Han var dessuten oppnevnt i programkomiteer for arkitektkonkurranser og som jurymedlem ved en rekke viktige arkitektkonkurranser. Han hadde dertil en rekke tillitsverv i Den norske Ingeniør og Arkitektforening. 1899 ble han ridder av 1. klasse av St. Olavs Orden.