Né à Lang en Saskatchewan, il étudie au Luther College de Regina, à l'Université de Winnipeg et au Conservatory College de Chicago. Après une série de concerts aux États-Unis, Erb revient à Regina où il enseigne la musique et devient doyen de la section masculine du Luther College.
Il quitte le collège en 1946, pour s'occuper d'une ferme dans le district de Lang. Élu en 1948, il occupe les postes de ministre de la Santé publique de 1956 à 1961 et ministre des Travaux publics de 1961 à 1962. Il quitte le cabinet en 1962 et le caucus du CCF pour siéger avec les députés libéraux[1]. Tentant une réélection en 1964 dans Regina East, il est défait et sert ensuite comme président de la Workmen's Compensation Board[2].