Mostoha kezdetek
G. Kiss Gyula a vívómesteri képesítést a híres SPOTI-ban szerezte meg. 1938-ban leszerelt, szülővárosában Szolnokon a MÁV-nál helyezkedett el, mint a fűtőház órabérese, szabadidejében pedig a megyeháza pincéjében vívóiskolát indított. Első tanítványait a fűtőház inasai közül toborozta, de hamarosan át kellett költözniük a Járműjavító kultúrotthonába, majd onnan is tovább, végül a mostoha teremhelyzet miatt az éppen csak beinduló vívóélet megszűnt.
Az újrakezdéstől az olimpiai bajnoki címig
1949-ben a Gépipari Technikumban ismét elkezdődtek a vívóedzések, majd megalakult a Szolnoki MÁV vívószakosztálya, melynek első edzője lett, ekkor már a MÁV Járműjavító Szertárában dolgozott, mint raktárvezető számadó, így mellékállásban dolgozott 33 éven keresztül a szakosztály vezető edzőjeként.
Legkiválóbb tanítványa az olimpia bajnok B. Nagy Pál volt, Szelei István pedig Budapestre kerülése után olimpia és világbajnoki bronzérmet szerzett. Németh Ilona és Pakai György is ifi VB döntősök voltak, és G. Kiss Gyula szinte „ontotta” az I. osztályú vívókat, három csapata, a női és férfi tőr, valamint a párbajtőr csapat 10 éven át a legeredményesebb vidéki egyesületként az OB I.-ben szerepelt. Munkásságát 1969-ben mesteredzői címmel ismerték el.
1975-ben szívinfarktus érte. Az orvos eltiltotta a vívástól, ő azonban nem tudott penge nélkül élni, tovább oktatott, 12-14 éves fiatalokkal foglakozott. Edzését halála előtti este is pontosan megtartotta, másnap azonban tanítványai hiába várták, 1981. január 9-én szívroham következtében elhunyt.
Emlékezete
Halála után évekig megrendezésre került a G. Kiss Gyula emlékverseny.
Emlékét 2018. április 25. óta a Szolnoki Műszaki Szakképzési Centrumban emléktábla őrzi.