L'Affenpinscher est une très vieille race. Au quinzième et début seizième siècle Jan van Eyck et Albrecht Dürer ont fait différentes portraits  de cette race. En 1434 le peintre Jan van Eyck représentait le couple Jan Arnofini avec un petit chien hirsute. On suppose qu'il s'agisse d'un précurseur du Schnauzer nain, de l'Affenpinscher et du Griffon actuel. Autrefois l'Affenpinscher et le Pinscher nain étaient considérés comme une race et vers 1896 les deux races se sont séparés. En 1936 la race est reconnue en Amérique et au Canada.

L'anatomie fait soupçonner qu'elle est née des croisements entre des petits Pinscher nains et des chiens en forme de carlin de l'Asie en Allemagne. L'Affenpinscher et le Griffon sont confondus souvent l'un avec l'autre. Le nom "Affenpinscher" est une indication populaire et elle est très exact.

Dans la description de race d'origine, l'Affenpinscher était décrit comme un petit diable plein poison et bile, et avec cela, on pensait qu'il était un petit diable contre chacun qu'il ne connaissait pas. Peut-être, autrefois c'était le cas mais aujourd'hui c'est un chien social, un bon chien de garde et un chien tranquille et très fidéle à sa famille.

Aujourd'hui, la race est devenue plus rare en Allemagne, cependant on fait encore de l'élevage.