Sus inicios como cantante se remontan a su época de estudios de bachillerato en la Escuela Técnica Industrial de Caracas, primero dando serenatas y luego, ingresando como reemplazo del vocalista Ariel López al conjunto de voces juveniles denominado "Los Zeppy", grupo vocal inspirado en Los Platters y Los Cinco Latinos también integrado por la futura bolerista Estelita del Llano, Nicolás Alvarado, Agustín Calzadilla y Alberto Lewis.
Este grupo ganó premios relevantes como el Guaicaipuro de Oro e hizo presentaciones en Venezuela y Curazao. A pesar del éxito alcanzado, su carrera es corta y a finales de 1962 se produce la separación del grupo por razones personales, pero esta experiencia le sirvió a Jose Luis para decidir que la música sería su verdadera vocación por lo que comenzó a participar en concursos de aficionados y presentarse en cuanto local caraqueño pudiese. Uno de sus amigos, el compositor y músico José Enrique "Chelique" Sarabia le integra a un programa de TV de aficionados donde comienza a cantar regularmente percibiendo un sueldo. También es este compositor quien le anima a grabar su primer disco solista para el sello venezolano "Velvet" en formato LP titulado "Chelique Sarabia presenta su nueva voz: José Luís Rodríguez". Es en este programa, donde el director de orquesta, músico y arreglista dominicano Luis María "Billo" Frómeta le descubre en 1963 y le contrata como cantante en su orquesta, "Billo's Caracas Boys", reemplazando al hoy desaparecido bolerista Felipe Pirela quien iniciaba su carrera solista. Así, el futuro "Puma" inicia el camino del éxito. Con esta orquesta pasa cuatro años interpretando los estilos del momento, desde el mambo al bolero y del tango al cha-cha-chá, viajando por el Caribe, Centro y Sudamérica grabando unos 6 LPs y algunos sencillos contentivos en total de 34 canciones.
Es durante esta época, que incursiona en la actuación, interviniendo en comedias musicales.
En esta actividad, conoce en 1965 a la joven cantante y actriz zuliana Lila Morillo con quien contrae matrimonio civil en 1966. En el mismo año 1965, el cantante decide incursionar en la actuación de comedias ligeras a la vez que recibe su primera oportunidad de actuar como solista; en efecto, en el 1º Festival del Niño (1965), organizado por la "Fundación del Niño" José Luis interpreta el tema "Amor, Laurel y Luz" bajo dirección y arreglos del propio Billo Frómeta, y luego participa en el siguiente Festival (1966) con "Caracas de Ayer", contando una vez más con Billo Frómeta en los arreglos y dirección orquestales. Finalmente en 1966, al separarse por consejo de Billo Frómeta de la orquesta, decide continuar su carrera como solista, siendo recibida esta decisión con escepticismo por parte de algunos periodistas que dudaban de que tuviera una carrera exitosa.