Rieu groeide op in een muzikale familie. Zijn vader, André Rieu sr., was dirigent van het Limburgs Symfonie Orkest. Deze liet hem reeds vanaf zijn vijfde vioolspelen. Van 1968 tot 1973 bezocht hij eerst het Luikse, toen het Maastrichtse conservatorium (waar hij onder meer les had van Herman Krebbers), om in 1977 zijn studie af te sluiten met de "Premier Prix" aan de muziekacademie van Brussel. Daar ontwikkelde hij een voorliefde voor salonmuziek en vooral voor de wals, waarna hij het Maastrichts Salonorkest oprichtte. Hoewel dit toen nog voornamelijk ouderen als publiek had (voor wie de muziek een nostalgische betekenis had), groeide zijn succes snel en in 1987 breidde hij zijn ensemble uit tot het Johann Strauß Orchestra.
De grote doorbraak kwam in 1994 met de Tweede Wals uit de Suite voor Variété orkest van Dmitri Sjostakovitsj, die een onverwacht (hit)succes werd. Sindsdien reist hij over de hele wereld met spektakels waar hij klassieke muziek, salonmuziek, operette, soundtracks en popmuziek speelt voor niet alleen doorgewinterde concertbezoekers, maar ook voor een publiek dat voorheen niet of nauwelijks naar orkestuitvoeringen ging.
