Imidlertid er det sant at han møtte kritikk og kontrovers gjennom karrieren, noe som førte til litt spenning med nettverk og seere.
Her er noen eksempler på hva som kan ha bidratt til denne oppfatningen:
* Kritikk av idrettsutøvere: Cosell var kjent for å kritisere utøveres prestasjoner, ofte med en sløv og ufiltrert stil. Dette førte noen ganger til offentlige sammenstøt med spillere.
* RACIAL og SOSIAL KOMMENTAR: Han var også kjent for å ta opp sosiale og rasemessige spørsmål, noen ganger på en måte som ble ansett som ufølsom eller krenkende.
* sammenstøt med nettverk: Han hadde et noe bekjempende forhold til nettverk, og utfordret ofte deres autoritet og presset grenser med kommentaren.
Selv om det aldri var en eneste hendelse som førte til at han ble fjernet fra kringkasting, bidro disse faktorene til en oppfatning av ham som en kontroversiell figur. Han trakk seg til slutt fra kringkasting i 1985, men det skyldtes mer hans alder og helse enn noen spesifikk kontrovers.