Heimo Erbse was de zoon van een huisarts. Hij bezocht een middelbare school in zijn geboorteplaats, die hij echter moest verlaten voordat hij zijn diploma haalde, omdat hij weigerde zich te schikken naar de nationaalsocialistische ideologie van het curriculum.
Tot zijn dienstplicht bij de Wehrmacht in 1942 studeerde Erbse piano, fluit en compositie aan de Staatsacademie voor Muziek in Weimar. Na zijn terugkeer uit de Tweede Wereldoorlog studeerde hij dirigeren bij Hermann Abendroth en operaregie bij Ernst Kranz in Weimar. Een verwonding die hij opliep aan het Oostfront (verlamming van zijn rechterhand) maakte een carrière als instrumentalist onmogelijk.
Van 1947 tot 1950 werkte Erbse als dirigent bij verschillende Duitse operahuizen. Van 1950 tot 1952 studeerde hij compositie bij Boris Blacher aan de Hogeschool voor de Kunsten in Berlijn. Een van zijn medestudenten was Gottfried von Einem. In 1957 vestigde Heimo Erbse zich als freelance componist in Taxenbach in de Salzburger Alpen, waar hij zich voornamelijk bezighield met film- en theaterproducties. In 1964 verkreeg hij de Oostenrijkse nationaliteit. Na een ernstig ski-ongeluk in 1989 verhuisde hij naar Baden bij Wenen, waar hij tot zijn dood in 2005 woonde.
De nalatenschap van Heimo Erbse (manuscripten en gedrukte muziek, schetsen voor talloze werken, manuscripten van essays en toespraken, correspondentie, biografische documenten, krantenrecensies en programmaboekjes) wordt bewaard in het archief van de Academie van Kunsten in Berlijn. De Heimo Erbse Prijs voor Rockmuziek uit Salzburg wordt jaarlijks uitgereikt uit de nalatenschap van de componist.
