金祖龄从小在台湾长大，对音乐非常喜爱，他的姐姐金黛丽也非常喜爱音乐，姐弟俩彼此互勉互励，乐此不疲。1956年，才19岁的金祖龄在就与姐姐、陈广夫、陈哲夫兄弟以及黄明正、邵培元和徐若愚等人合组了“洛克合唱团”。之后，他又加入“雷蒙合唱团”，并担任主唱人与贝斯手。