Sohn des Apothekers Philipp A. und der Sängerin Adelina, geb. Perroni. Besuchte die MSch. in Bern (Klavier bei Ernst Denhof und Dominik v. Reding) und erhielt anschließend Klavier-, Kompositions- und Theorieunterricht von Karl Munzinger (1842–1911), bei dem er 1895 die Gelegenheit erhielt, J. Brahms vorzuspielen. 1897–1900 studierte A. bei Franz Wüllner (1832–1902) am Konservatorium für Musik in Köln/D und wurde 1900 für ein Jahr als Solorepetitor an der Hofoper in München engagiert. Nachfolgend leitete er mehrere Chöre in der Schweiz (1902–49 den Gemischten Chor Zürich, 1902–14 den Stadtsängerverein Winterthur, 1904–24 den Männerchor Zürich und 1913–17 den Zürcher Studentengesangsverein); außerdem war er 1906–49 Kapellmeister des Zürcher Tonhalle-Orchesters. 1911 wurde ihm die Nachfolge G. Mahlers als Dirigent des New York Philharmonic Orchestra angeboten, A. lehnte dies jedoch ab. 1914–41 folgte er auf Carl Attenhofer (1837–1914) als Direktor des Zürcher Konservatoriums, wo er auch Partiturspiel, Dirigieren und Komposition unterrichtete. Seit den 1920er Jahren nahm er vermehrt Engagements im Ausland wahr (v. a. in Deutschland, Italien, Frankreich und Spanien) und leitete in den 1950/60er Jahren als Gastdirigent legendäre Bruckner-Konzerte mit dem Niederösterreichischen Tonkünstlerorchester sowie Konzerte mit den Wiener Philharmonikern. Darüber hinaus saß A. seit 1909 im Vorstand des Schweizerischen Tonkünstlervereins, dem er 1918–20 als Vizepräsident sowie 1920–25 als Präsident vorstand (blieb dessen Ehrenpräsident). 1922 begründete er die Schweizerische Gesellschaft für Neue Musik mit und blieb bis 1934 deren Präsident. Von seiner musikalischen Laufbahn abgesehen, verfolgte A. seit 1899 auch eine Karriere beim Militär. Seit dem 14.5.1907 war er mit der Tochter des Schweizer Nationalrats Heinrich Landis (1833–1915), Elisabeth L. (1883–1970), verheiratet, die A.s Schülerin war und im Gemischen Chor Zürich sang. Ihr gemeinsamer Sohn, Hans A. (* 24.5.1908 Zürich, † 29.10.1978 Zürich), schlug ebenfalls eine musikalisch erfolgreiche Laufbahn als Cellist und Pianist ein. Hans’ Sohn Marc A. (* 8.11.1939 Zürich) lebt als Dirigent und Komponist in Lugano/CH. A.s Nachlass befindet sich im Stadtarchiv Zürich und in der Stadtbibliothek Zürich.