Il a des racines chinoises et africaines de par ses grands-parents. Il est le fils naturel et unique d'Aurelia Ferrer. Sa mère décède lorsqu'il a 12 ans. En 1940, âgé de 13 ans, il cofonde avec son cousin, le groupe « Los Jóvenes del Son ». Puis il fera partie de Maravilla Beltrán, Conjunto Sorpresa et Chepin Chovén Orchestra (avec qui il chante le célèbre « El platanal de Bartolo »). À partir de 1953, il collaborera avec Pacho Alonso (es) à la Havane.