Seine musikalische Ausbildung erhielt Kaunzinger in Nürnberg, Frankfurt/Main und Paris. Ab 1974 unterrichtete er als Professor für Orgel an der Würzburger Musikhochschule. Darüber hinaus war er von 1976 bis 1978 als Leiter der Kirchenmusikabteilung an der Catholic University und Artist in Residence am National Shrine in Washington D.C. (USA) tätig. Er geht einer umfangreichen internationalen Konzerttätigkeit als Organist nach.