Nyíregyházán kezdett sportolni, a sikerek Budapesten jöttek
Kovács József 1926. március 3-án, Nyíregyházán látta meg a napvilágot Kovács Mihály szabó és Szokolai Lídia postai távírász gyerekeként. Szülei a tanítóképző iskolába íratták be továbbtanulni, de közben dolgoznia is kellett, ezért ő maga is postai alkalmazott lett, és akkoriban kezdett el a tanulás és a munka mellett sportolni. Első klubja 1943-ban a Nyíregyházi Vasutas SC volt, klubot pedig csak akkor váltott, amikor 1950-ben a fővárosba költözött, ahol a Magyar Testgyakorlók Körének (MTK) atlétája lett, igaz, a klub abban az időszakban több néven is szerepelt (Budapesti Bástya SE, Budapesti Vörös Lobogó SE), mielőtt 1956-ban visszakapta az eredeti nevét. Első országos bajnokságát 1951-ben nyerte ötezer méteren, ami a válogatott behívóját is meghozta neki, majd az elkövetkező években tízezer méteren is többször diadalmaskodott, ami nagy szó volt egy olyan időszakban, amikor a magyar és nemzetközi közép- és hosszútávfutást Iglói Mihály tanítványai, Iharos Sándor, Rózsavölgyi István és Tábori László uralták.
Nyolcvanezer ember szurkolt neki a Népstadionban
Az ekkor már Bütyöknek (illetve a nyíregyházi barátai által Kuszinak is) nevezett, alacsony termetű atléta 1952-ben, Helsinkiben képviselte hazánkat először az olimpián, akkor még ötezer méteren utolsó lett az előfutamában, de az elkövetkező években páratlan és emlékezetes sikerek követték egymást a pályafutásában. Mindenekelőtt 1953. szeptember 20. hozott számára országos ismertséget, amikor nyolcvanezer ember (!) gyűlt össze a Népstadionban, hogy a hazai csapatnak szurkoljon a Szovjetunió elleni atlétikai viadal második napján – ez a nézőszám akkoriban világcsúcsnak számított a sportágban. Az ötezer méteres versenyen a szovjetek egykori tengerészgyalogosa, Vlagyimir Kuc a rajt előtt bejelentette, hogy világcsúcsot akar futni a távon, amit nyomatékosított azzal, hogy egy perc alatt futotta az első négyszáz métert, és volt olyan szakasza a versenyek, amikor már százötven méterrel verte a mezőnyt. Ekkor senki sem gondolta volna, hogy akad majd valaki az ellenfelek között, aki megszorongathatja. Kovács Józsefet is csak akkor kezdték komolyan venni, amikor háromezer méter után látványosan közeledni kezdett az élen futó felé. Az utolsó kör előtti csengetésnél már csak harmincöt méter volt a szovjet ellenfél előnye, a stadion tombolva szurkolt, zúgott a „Hajrá, Bütyök!”, és Kovács végül egy drámai hajrá végén tizenöt méterrel Kuc előtt szakította át a célszalagot. A világcsúcs ugyan elmaradt, de a győztes 14:01.2-es magyar rekorddal diadalmaskodott.
A világon elsőként győzte le a cseh futólegendát
A következő év júliusában újabb világraszóló sikert aratott, a Magyarország–Csehszlovákia kétnapos válogatott versenyen megint csak óriásit hajrázva, a világon elsőként győzte le tízezer méteren a négyszeres olimpiai- és kétszeres Európa-bajnok csodafutót, Emil Zátopeket, előnye mindössze hét méter volt. A siker után a zsúfolt Népstadion több száz nézője ugrotta át a kerítéseket és szaladt be a pályára, hogy a vállukra vegyék, és a levegőbe dobálják a győztest. "Az atlétika történetének legnagyobb tízezer méteres versenye volt ez" – nyilatkozta a világraszóló siker után Dr. Csaplár András, Kovács edzője. Zátopek egy hónappal később aztán revansot vett, és augusztus 25-én, a berni Európa-bajnokságon elsőként ért célba Kovács József előtt, így a magyar futóé lett az ezüstérem. Kovács József nemzetközi szinten a legjobb eredményét az 1956-os olimpián, a tízezer méteres síkfutás döntőjében érte el, amelyet rögtön az esemény megnyitója utáni napon, november 23-án rendeztek a százezres Melbourne Cricket Groundon.
Csak nyolcezer méter után gondoltam komolyan arra, hogy a győzelmi emelvényre kerülhetek. A vezető Kuc csoportját követő második bolyban haladtam, sokszor kilencven méterre is lemaradva. Tartottam az előre kidolgozott iramtervezetet.
“„
Az egyik legszebb magyar olimpiai érem atlétikában
A szovjet Vlagyimir Kuccal sokáig csak Gordon Pirie tudta tartani a lépést, de a brit futó öt körrel a vége előtt lemaradt. Kovács az élbolyt követő második csoportban haladt, olykor jócskán lemaradva, de türelmes maradt, nem kezdett el korán hajrázni, nem futotta ki magát idő előtt. „Csak nyolcezer méter után gondoltam komolyan arra, hogy a győzelmi emelvényre kerülhetek. A vezető Kuc csoportját követő második bolyban haladtam, sokszor kilencven méterre is lemaradva. Tartottam az előre kidolgozott iramtervezetet, s úgy hiszem, végül is biztosan szereztem meg a második helyet” – emlékezett vissza évekkel később Kovács, akinek végül olimpiai ezüstérmet ért a kitartása, a hazai közönség előtt futó Allan Lawrence végül nem tudta megelőzni. Kovács József pályafutásába még egy olimpia fért bele, az 1960-as római nyári játékokon, 34 évesen a tizenötödik helyen végzett, majd tizenegyszeres magyar bajnokként, háromszoros olimpikonként előbb a válogatottságnak, majd 1962-ben az aktív sportolásnak is búcsút intett.
Sosem szerette a nyilvánosságot, halk, szerény emberként maradt meg az emlékezetben, előfordult, hogy a győzelem után észrevétlenül megszökött, mert nem akarta ünnepeltetni magát. Az MTK-t sosem hagyta el, 1980-ig edzőként dolgozott a fővárosi klubnál, közben pedig a Goldberger festő-kikészítő gyárban volt termelési osztályvezető-helyettes. Feleségével egy fiuk született, Péter. Kovács József 1987. március 29-én hunyt el Budapesten.
Egyéb díjak, elismerések
• 3x magyar bajnok 5000 méteren (1951, 1954, 1959)
• 4x magyar bajnok 10000 méteren (1952, 1953, 1954, 1955)
• 3x mezei futó országos bajnok (1954, 1957, 1958, 1959)
• a Magyar Népköztársaság Érdemes Sportolója (1954)