Sportpályafutása sportolóként
1976-ban a budapesti Leövey Klára Gimnáziumban érettségizett. Sportolóként a Budapesti Honvédhoz tartozott. Pézsa Tibor tanítványa volt, és abban az időszakban vívott, amely az aranygeneráció, a Gerevich-Kovács-Kárpáti után talán a legerősebb volt. Olyan vívókkal kellett megküzdenie a válogatottságért, mint Gedővári Imre, Bujdosó Imre, Szabó Bence, dr. Abay Péter, Csongrádi László, vagy Nébald György. Varga József pedig nem csak beverekedte magát a válogatottba, hanem olyan sikerek részese volt, mint az 1983-as világbajnoki ezüst, vagy a 85-ös vb-bronz. És ki tudja, mi történt volna a kettő közötti Los Angeles-i olimpián, melyre az ismert politikai okok miatt sem ő, sem pedig a többi magyar sportoló nem utazhatott. Az olimpia helyett a budapesti Barátság Vívóversenyen lettek ezüstérmesek. 1983 és 1987 között volt válogatott kerettag.
Edzőként
Varga József 1991-ben TF szakedzői oklevelett szerzett, mint vívó szakedző, és a sportpályafutását befejezve edzősködni kezdett. Edzői pályafutását 1992-ben a BVSC-ben kezdte. Dolgozott a BHSE-ben és a Csata-DSE-ben is, majd 2007-től ismét a BVSC-nél. 2000-től 2008-ig a Magyar Vívó Szövetség szakágvezetője, ezt a tisztséget jelenleg is ellátja. Tanítványai közül Lontai Balázs 2007-ben csapatban világbajnok, és több vb- és Eb-dobogós helyezéssel is rendelkezik. Varga Dóra, Nagy Anna, Csaba Edina, Nagy Orsolya és Sznopek Gabriella szintén csapatban értek el dobogós és pontszerző helyezéseket felnőtt vb-ken és Eb-ken. Csaba Edina 1999-ben Eb-bronzérmes. Aktív szerepet vállalt a női kardvívás meghonosításában és elterjesztésében.