Heide var ikke bare en fremragende dirigent, han var et musikalsk kraftsenter i det bergenske musikkliv gjennom hele sitt yrkesaktive liv, og han er den eneste norske dirigent som har vært sammenhengende ansatt i ett og samme orkester i 40 år.
Harald Heide var den eldste av fiolinbygger Heides mange barn. Familien flyttet flere ganger, men slo seg til slutt ned i Kristiania, der Harald studerte fiolin med Gudbrand Bøhn og teori med Gustav Fredrik Lange, Johannes Haarklou og Catharinus Elling ved Musikkonservatoriet 1891–96. Ved siden av sine studier livnærte han seg ved å spille i mindre orkestre og i Musikforeningen. 1896 fikk han Schæffers legat, som satte ham i stand til å studere fiolin hos Florian Zajic i Berlin.
Etter å ha vært ansatt som lærer i fiolinspill ved musikkskolen i Bergen 1898–99, begynte Heide som førstefiolinist ved Nationaltheatrets orkester i Kristiania, hvor han virket til 1903. 1903–04 studerte han fiolinspill hos C. Thomson i London. Deretter konserterte han et halvt år som konsertfiolinist i Storbritannia og et år i USA, hvor han fikk flere fristende tilbud som han avslo, da han helst ville arbeide i Norge.
1907 overtok Heide som kapellmester ved Den Nationale Scene etter Christian Danning og 1908 også ved Musikselskabet Harmonien. Forholdene i Harmonien var ganske problematiske, da man ved sykdomsforfall måtte hente inn kompetente musikere fra byens kaféorkestre. Sverre Jordan skriver at “kapelmesteren maatte indskrive manglende instrumenter i andre stemmer”, noe som stilte store fordringer til dirigentens kunnskaper. Om det var noen som kunne dette, var det Heide; her var han rent ut makeløs. Likevel greide Heide å fremføre så vel operetter som operaer som Faust, Cavalleria Rusticana, Carmen og Madame Butterfly. Heide virket ved DNS 1907–19 og 1925–26.
Da Harmoniens orkester faktisk var underbemannet, bestemte styreformannen Fridtjof Sundt å sette i gang en innsamling av midler for å skaffe nok musikere til orkesteret. Både Bergen kommune og byens borgere ytet store bidrag, slik at Heide 1919 kunne reise til Tyskland for å engasjere musikere til faste stillinger i Harmonien. Og her kunne han på grunn av nød og inflasjon fritt velge fra øverste hylle. Harmoniens orkester ble etter dette på linje med andre europeiske orkestre. Dermed var det ikke lenger noe problem å invitere kjente dirigenter og komponister som f.eks. Jean Sibelius til Harmonien.
Harmoniens konsertvirksomhet fikk nå et oppsving; fra 6–8 konserter i sesongen økte antallet til 80. Og alle konsertene ble dirigert av Harald Heide. Olav Mosby skriver at Heide i sine 40 år i Harmonien dirigerte over 6000 verker fordelt på 455 komponister, hvorav 80 norske. Han tok seg spesielt av nyere norsk musikk og uroppførte flere verker av dalevende norske komponister.
Heide var en populær orkesterleder og stod last og brast med sine musikere, særlig de tyske, som var like gode nordmenn som nordmenn flest under den annen verdenskrig og som ikke løp nazistenes ærend. Under Harmoniens 175-årsjubileumskonsert 1941 markerte Heide sin motstand mot NS-styret med både snarrådighet og mot da han fikk avbrutt hirdpøbelens trakassering av den jødiske fiolinsolisten Ernst Glaser ved å rope til orkesteret: «Spell Ja, vi elsker, for faen!» Orkesteret stemte i, hirden stilte seg opp med armen i været, og Glaser ble hjulpet ut bakveien.
Harald Heide var den første som satte i gang med De Unges Konsert, som ble så populære blant vanlige publikummere at de måtte gis da capo. Han var også en meget etterspurt dirigent i andre land og gjestedirigerte bl.a. i Göteborg (1928), Stockholm (1931) og Helsingfors (1924).
Heide komponerte flere velklingende orkesterverker i en heller svulstig og søtladen romantisk stil som viser at hans store forbilde var Johan Halvorsen, noe som klarest kommer til uttrykk i hans Symphonie romantique, hvor slektskapet med Halvorsens 2. symfoni ikke er til å ta feil av. Det samme kan også sies om hans symfoniske dikt Havets sang og Fantaisie romantique.
Harald Heide ble utnevnt til ridder av 1. klasse av St. Olavs Orden 1945.