Vieuxtemps werd geboren in Verviers, België (toen onderdeel van het Verenigd Koninkrijk der Nederlanden), als zoon van een wever, amateurviolist en vioolbouwer. Hij kreeg zijn eerste vioolles van zijn vader en een plaatselijke leraar en gaf zijn eerste openbare optreden op zesjarige leeftijd, waarbij hij een concert van Pierre Rode speelde. Al snel gaf hij concerten in verschillende omliggende steden, waaronder Luik en Brussel, waar hij de violist Charles Auguste de Bériot ontmoette, bij wie hij zijn studies begon.

Hij had de ambitie om ook componist te worden en, nadat hij al lessen had gevolgd bij de gerespecteerde Simon Sechter in Wenen, bracht hij de winter van 1835-1836 door met het studeren van compositie bij Anton Reicha in Parijs. Zijn eerste vioolconcert, later gepubliceerd als Concerto nr. 2, dateert uit deze tijd.
Zijn Vioolconcert nr. 1 werd geprezen toen hij het speelde in Sint-Petersburg tijdens zijn tweede bezoek in 1840 en in Parijs het jaar daarop; Berlioz noemde het "een prachtige symfonie voor viool en orkest".