Il gruppo venne formato nel 1983 da Paul Heaton (voce), Stan Cullimore (chitarra), Ted Key (basso) e Chris Lang (batteria). La formazione non rimase stabile negli anni. Ted Key venne sostituito da Norman Cook — il futuro Fatboy Slim — e il batterista Chris Lang da Hugh Whitaker (ex batterista dei Gargoyles), poi a sua volta rimpiazzato da Dave Hemingway. La band spesso parlava di sé come "la quarta miglior band di Hull", riferendosi a Kingston upon Hull