En 1878 les éleveurs allemands de chiens à aptitudes bergères réalisent une première tentative de regroupement
dans un but d'amélioration de leurs chiens. Ceux-ci sont très variés d'un point de vue phénotypique, notamment selon les régions : par exemple, le type Wurtemberg porte les oreilles droites, alors que celui de Thuringe a les oreilles tombantes.
Il existe également des chiens différents en Bavière ou dans la Hesse. Mais leur principal point commun est leur caractère qui fait d'eux de bons gardiens de troupeaux et de biens : intelligence, obéissance, vigilance, incorruptibilité.
On retrouve également chez tous robustesse et rusticité puisque jusqu'alors la sélection empirique qui a été réalisée ne visait qu'à obtenir de bons chiens de travail.

C'est le capitaine de cavalerie Max Emil Frédéric von Stephanitz qui fut le véritable père de la race.
Après avoir longtemps admiré les aptitudes des chiens de berger, il décide d'en acheter un le 3 avril 1899, qu'il rebaptisera Horand von Grafath. Celui-ci est gris et jaune, plutôt de type berger de Thuringe (mais à oreilles droites). Von Stephanitz et Arthur Meyer créent ensuite le club de race le 22 avril 1899 à Karlsruhe (Verein für deutsche Schäferhunde ou SV),
le capitaine sera à sa tête pendant 35 ans. Le 28 septembre 1899 est publié le premier standard de la race et en 1900 Horand inaugure le livre des origines du SV (Zuchtbuch). Ce qui fera plus tard la force de la race, c'est la largesse de ses dirigeants dans la première définition du berger allemand : « tout chien de berger vivant en Allemagne qui, grâce à un exercice constant de ses qualités de chien de berger, atteint la perfection de son corps et de son psychisme dans le cadre de sa fonction utilitaire ».

Les buts sont clairs, c'est donc par et pour le travail que la sélection du BA commence.

Le club présente rapidement une activité importante et organisée. Dès 1902 un journal est édité pour tous ses membres, et en 1903 un registre de sélection voit le jour avec la compilation des performances des reproducteurs. Les progrès furent rapides car bien dirigés à l'échelon national et bien suivis par les efforts des éleveurs (1215 membres en 1906). On commença à rechercher des femelles du même type et à organiser des expositions pour uniformiser la race, et notamment une exposition nationale d'élevage qui permettait à tous les éleveurs du pays de choisir des reproducteurs homogènes. Peu à peu on trouva au berger allemand d'autres utilités que la garde des troupeaux (ceux-ci ayant vu leur effectif diminuer). Ses qualités de robustesse, son flair hors pair et son obéissance à toute épreuve encouragèrent la police allemande à l'utiliser. En 1914 le SV et l'armée organisent une démonstration des possibilités du BA en temps de guerre, à laquelle il paya ensuite un lourd tribut.

En 1922 l'examen de Körung est mis en place pour la sélection des reproducteurs ; ceux qui sont déclarés aptes à la reproduction sont inscrits dans le Körbuch. En 1926 le livre des origines compte déjà 346 000 chiens inscrits ! Dans les années 50 l'épreuve du coup de feu et le test de caractère font leur apparition. Le SV est renommé pour le dirigisme qu'il impose à l'élevage : nombre de saillies limité, choix de l'étalon en accord avec le surveillant d'élevage, interdiction de faire saillir une femelle recommandée par un mâle non recommandé… Toutes ces mesures visent à guider la sélection pour le mieux. Katzmair et Funk succèdent à von Stephanitz, puis le Dr Rummel en 1971.

En 1974 est créée l'Union mondiale des Associations de Berger Allemand (WUSV), grâce à la volonté de regroupement du Dr Rummel, qui encourageait « un dialogue fructueux, aussi bien pour l'élevage que pour l'utilisation ».
Le premier championnat d'Europe de travail se déroule en Autriche en 1975.
En 1982 Hermann Martin devient président du SV.
Le premier championnat du monde de travail WUSV se déroule en Allemagne du 16 au 18 septembre 1988.