Green nacque a Forrest City, in Arkansas. Figlio di un mezzadro, iniziò a esibirsi a nove anni in un quartetto musicale di Forrest City chiamato i "fratelli Greene" (eliminò la "e" dal suo cognome anni dopo, quando lavorava come solista). Fecero molti tour durante la metà degli anni cinquanta in Louisiana fino a quando i Greene non si trasferirono a Grand Rapids, in Michigan, dove iniziarono a esibirsi nello stato. Venne cacciato dal gruppo perché beccato da suo padre mentre ascoltava musica di Jackie Wilson.