Heimo Erbse war Sohn eines praktischen Arztes. Er besuchte an seinem Geburtsort ein Gymnasium, welches er vor seinem Abitur verlassen musste, da er sich der nationalsozialistischen Ausrichtung des Unterrichts nicht beugen wollte.

Bis zu seiner Einberufung zur Wehrmacht im Jahr 1942 studierte Erbse an der Staatlichen Hochschule für Musik in Weimar Klavier, Flöte und Komposition. Nach der Rückkehr aus dem Zweiten Weltkrieg absolvierte er in Weimar ein Studium in Dirigieren bei Hermann Abendroth und Opernregie bei Ernst Kranz. Eine Verletzung, welche er sich an der Ostfront zugezogen hatte, machte eine Karriere als Instrumentalist nicht mehr möglich (Lähmung der rechten Hand).

In der Zeit von 1947 bis 1950 arbeitete Erbse als Regisseur an verschiedenen deutschen Opernhäusern. Danach studierte er von 1950 bis 1952 an der Musikhochschule Berlin Komposition bei Boris Blacher. Einer seiner Studienkollegen war Gottfried von Einem. Im Jahr 1957 ließ sich Heimo Erbse als freischaffender Komponist in Taxenbach in den Salzburger Alpen nieder und arbeitete hauptsächlich für Film- und Theaterproduktionen, 1964 erwarb er die österreichische Staatsbürgerschaft. Nach einem schweren Skiunfall im Jahr 1989 übersiedelt er nach Baden bei Wien, wo er bis zu seinem Tod im Jahr 2005 wohnte.

Der Nachlass von Heimo Erbse (Notenhandschriften und -drucke, Skizzen zu zahlreichen Werken, Manuskripte von Aufsätzen und Reden, Korrespondenz, biografische Unterlagen, Zeitungskritiken und Programmhefte) befindet sich im Archiv der Akademie der Künste in Berlin. Aus der Hinterlassenschaft des Komponisten wird jährlich der Heimo-Erbse-Förderpreis für Rockmusik aus Salzburg finanziert.