Sohn von Franz Joseph, einem kaiserlichen Beamten. Jusstudium, ab 1752 Beamter der böhmischen Hofkanzlei. 1766 heiratete er Charlotte Hieronymus (1739–1815), die seit 1762 Kammerdienerin von Kaiserin Maria Theresia war. 1771 wurde G. in den Ritterstand erhoben, 1773 wurde er Hofrat und Geheimer Referent der Hofkanzlei und avancierte zum engsten Berater Maria Theresias. G. malte und komponierte selbst. In seinem Haus etablierte sich einer der bedeutendsten Wiener Salons, der bis 1794 ein Mittelpunkt des geistigen Lebens der Stadt war. Zu den Besuchern zählten Musiker wie W. A. Mozart, J. Haydn, A. Salieri, aber auch Literaten und Maler sowie Persönlichkeiten des kulturellen Lebens von Wien. Viele der Gäste wurden durch den Gelegenheitsdichter Lorenz Leopold Haschka eingeführt. Ab ca. 1789/90 bestand das G.sche Haustheater. Die Kinder Karoline (verh. Pichler) und Franz Xaver (* 1772) wurden in ihrer künstlerischen Entwicklung gefördert. Karoline Pichler führte die Tradition des Salons weiter.