Sind H. im Mittelalter durchaus im Bereich der Höfe zu finden bzw. galt die Harfe als höfisches Instrument (König David als biblisches Vorbild), sank der Berufsstand in der Frühneuzeit sukzessive ab. Ab dem Barock, v. a. aber im 19. Jh. standen die H., ähnlich wie Leiermänner und Dudelsackbläser, auf der untersten Stufe der sozialen Skala, da sie herrenlose (meist auch behinderte) Vaganten waren, die sich noch dazu in Wirtshäusern (s. Abb.) und in der Nähe von Prostituierten herumtrieben. Das musikalische Können der H. war sehr unterschiedlich; einige konnten es zu einigem Ansehen bringen (z. B. Phillipp Hacksfellner, ein Wiener H., der vor Maria Theresia gespielt haben soll), die meisten vermengten jedoch geringes musikalisches Können mit derben, zotigen Texten, weshalb sie sich in ständigem Konflikt mit den Behörden (Polizei, Zensur) befanden. In Wien war die Blütezeit der H. das Biedermeier, J. Nestroy, F. Raimund und andere Theaterdichter verewigten die H. in ihren Volksstücken. Ab der Mitte des 19. Jh.s wurden aufgrund der Volkssängerreform J. B. Mosers, die sich um eine Hebung des Niveaus bemühte, die H. zunehmend aus den Lokalen verdrängt, doch waren sie bis zum Ende des 19. Jh.s als Bettelmusikanten in allen Ballungszentren der Monarchie zu finden.