A súa nai, Marie Iribarne Duboix, era unha francesa de orixe vasca. O seu pai, Manuel Fraga Bello, era un emprendedor de Vilalba que marchara á emigración a Cuba onde coñeceu a súa muller. A pesar de nacer en Vilalba, Manuel Fraga foi levado con tan só dous anos a Cuba, onde viviu ata os catro. En 1928 volveu a Vilalba, onde o seu pai será nomeado alcalde de Vilalba durante a ditadura de Miguel Primo de Rivera, e onde el será criado polas súas tías.