Der Sohn eines jüdischen Einwanderers aus Westgalizien verbrachte seine Jugendjahre bis ca. 1844 in Deutschkreutz (heute Burgenland), wohin die Familie 1834 übersiedelte. Sein Vater war Notar und Kantor in der orthodoxen jüdischen Gemeinde des Ortes, die zu den westungarischen „Siebengemeinden“ unter Esterházyschem Protektorat zählte. G., der sich später ganz zur „deutschen“ musikalischen Kultur in Wien zählte, hat diese Herkunft verschleiert: Er sei nicht nur musikalischer Autodidakt gewesen, sondern habe erst mit 12 Jahren Lesen und Schreiben (d. h. deutsch) gelernt.

G. erhielt seinen ersten Unterricht 1841/42 in Ödenburg und begann 1844 in Wien, wo er bei seinem älteren Bruder Josef wohnte, ein Violinstudium (ab 1847 am Wiener Konservatorium der GdM). Nach der Revolutionszeit war G. als Theatergeiger in Ödenburg und Buda (Budapest) beschäftigt und übernahm 1851, nach Wien zurückgekehrt, ähnliche Stellungen am Theater in der Josefstadt und am Carltheater. Einen Aufenthalt in Pest, 1857–60, nutzte G. zur Vervollkommnung als Komponist. G. wurde in Wien beinahe über Nacht mit seinem Streichquartett op. 8 bekannt, das 1861 durch das neu gegründete Hellmesberger-Quartett uraufgeführt wurde; weitere Klavier- und Kammermusikwerke, besonders aber die Sakuntalâ-Ouvertüre op. 13 (1865), festigten seinen Ruf. G. betätigte sich als Chorleiter beim Gesangsverein Eintracht (hervorgegangen aus dem jüdischen Männerchor Zion) und als Musikkritiker bei der Constitutionellen Österreichischen Zeitung, wo er bereits 1862 für J. Brahms und Rich. Wagner eintrat. (G. unterstützte 1871 auch die Gründung des Wagner-Vereins in Wien.) 1863 erhielt G. ein Staatsstipendium zuerkannt; 1886 wurde er Ehrenmitglied der Gesellschaft der Musikfreunde in Wien. Der Durchbruch als Komponist gelang G. mit seiner Oper Die Königin von Saba (fertiggestellt 1871, nach einem Text von H. v. Mosenthal), die nach anfänglichen Widerständen des Hofoperndirektors J. Herbeck am 10.3.1875 an der Wiener Hofoper zur UA kam. In den folgenden Jahren entstanden G.s Hauptwerke für Orchester: die Symphonie Ländliche Hochzeit op. 26 (1877), das Violinkonzert op. 28 (1878), die 2. Symphonie op. 35 (1887), die Ouvertüren Penthesilea op. 31 (nach Heinrich Kleist, 1884), Im Frühling op. 36 (1887), Sappho op. 44 (1894) usw. sowie die weiteren Opern: Merlin (T: Siegfried Lipiner, UA Wien 1886), Das Heimchen am Herd (T: A. M. Willner nach Charles Dickens, UA Wien 1896 [s. Abb.]), Die Kriegsgefangene (Briseïs) (T: Ernst Schlicht, UA Budapest 1899), Götz von Berlichingen (T: A. M. Willner nach Johann Wolfgang von Goethe, UA Budapest 1902) und Ein Wintermärchen (T: A. M. Willner nach Shakespeare, UA Wien 1908), die aber, mit Ausnahme des Heimchens am Herd, nicht mehr annähernd den Erfolg der Königin von Saba erzielen konnten. Etwa seit den 1870er Jahren gehörte G. zum musikalischen Establishment Wiens. Zahlreiche Ehrungen bestätigten sein hohes Ansehen; so fungierte er z. B. 1879 zusammen mit Brahms (mit dem ihn eine lebenslange Bekanntschaft verband) und E. Hanslick in der staatlichen Preisrichterkommission zur Verleihung von Künstlerstipendien. Am Ende seines Lebens verlor G., den Hanslick 1889 als „Dissonanzenkönig“ bezeichnet hat, allerdings den Kontakt zu den zeitgenössischen Entwicklungen; G. Mahler, und mehr noch R. Strauss trat er mit Skepsis entgegen (unveröffentlichtes Essay Über musikalischen Fortschritt 1905 [recte: 1906]). Im Sujet des Götz von Berlichingen dürfte G. sich selbst als einsamer Kämpfer in einer Zeit künstlerischer Anarchie gesehen haben.

G., dessen gesellschaftlicher Aufstieg als assimilierter Jude durch das großbürgerlich-liberale Klima des Wiens der sog. Ringstraßen-Ära ermöglicht wurde, kann als musikalischer Repräsentant der franzisko-josephinischen Epoche und Hauptvertreter der Oper der österreichisch-ungarischen Doppelmonarchie gelten. Dies zeigen schon die kontinuierlichen Aufführungstraditionen an der Wiener und der Budapester Oper bis 1930. Sein Hauptwerk, Die Königin von Saba, mit der G. den Nerv seiner Epoche traf, gilt mit ihrem orientalischen Sujet (Exotismus) als musikalisches Pendant zu den üppig-exotischen Monumentalgemälden Hans Makarts und bildet ein wichtiges Dokument des Fin-de-Siècle-Historismus österreichisch-ungarischer Prägung. Es gelang G., sich großteils aus dem Streit um den musikalischen „Fortschritt“ herauszuhalten bzw. einen Weg zwischen den Parteien einzuschlagen, wobei er sich ab dem Heimchen am Herd zunehmend zwischen den Stühlen sitzend empfand (Gedanken über Form und Stil 1896/1911).