Az olimpiai váltóval szerzett bronzérmet Londonban
Nagy József Sárkeresztúron született, sportpályafutását még tizenévesen, 1901-ben kezdte, több klub színeiben is versenyzett, többek között a Magyar Úszó Egyesületben (MÚE) és Budapesti Atlétikai Klubban (BAK) is, mire kikötött Budapesti Budai Torna-Egyletnél (BBTE).
Több mint egy évtizedig tartó karrierje során nyolc egyéni bajnoki címet szerzett, kettőt 440 yardos, hármat 880 yardos, és újabb hármat pedig egy mérföldes síkfutásban, melyeket egyébként csak 1915-ben váltott fel itthon a négyszáz, a nyolcszáz és az ezerötszáz méteres síkfutás.
Az 1908-as, londoni olimpián négy versenyszámban is indult, négyszáz, nyolcszáz és ezerötszáz méteren, de legnagyobb sikerét az olimpiai váltóval érte el Bodor Ödönnel, Simon Pállal és Wiesner-Mezei Frigyessel egy csapatban, bronzérmet szereztek az amerikai és a német négyes mögött.
Nagy József egyébként harmadikként futott a váltóban, vagyis négyszáz métert kellett teljesítenie, és az amerikaiak mögött másodikként adta át a váltóbotot, de csapatunk utolsó tagját, Bodor Ödönt a döntőben megelőzte német ellenfele, így végeztek a harmadik helyen.
1912-es visszavonulása előtt kétszer is megnyerte a mezei futó országos bajnokságot.
A jogi pályán
Sportpályafutása befejezése után évtizedekig a BBTE választmányi tagja, közben az atlétikai szakosztály előadója, 1931-től pedig kapitánya volt.
Jogi egyetemet végzett. 1926-ban lett újpesti járásbíró, 1934-ben a karcagi járásbíróság elnöke, 1937-ben a budapesti, 1940-ben pedig a kecskeméti törvényszéki tanácselnöke. A második világháború után a budapesti ítélőtábla XI. kerületi polgári tanács elnökeként dolgozott.