Die Ausprägung der Wappen, wie sie heute bekannt ist, hat sich in der Zeit der Kreuzzüge manifestiert. Jedoch ist sie nicht allein den orientalischen Gebräuchen nachempfunden, sondern hat sich auch aus der abendländischen Tradition entwickelt. Bereits seit der Antike gibt es Versuche, das eigene Heer / die Kämpferschar erkennbar und damit im Kampfgetümmel unterscheidbar zu machen. Die Römer wählten ihre Wölfin oder auch den Adler des Jupiter, die Athener die Eule der Minerva als Zeichen. Später erscheinen andere Tiere und Darstellungen als Erkennungszeichen. Mit der Verbreitung des Christentums erscheinen auch rein christliche Symbole wie das XP (die griechischen Buchstaben Chi und Rho als Symbol für Christus) und das Kreuz. Die orientalische Tradition benutze ebenso im Militärwesen verschiedene Zeichen und Symbole als Erkennungszeichen, darunter auch Tiere und Pflanzen. So ist das Auftreten eines Zeichens für einen Kampfverband keine Erfindung der Kreuzfahrer, doch beginnt in ihrer Zeit das systematische Verwenden der Wappen. Zunächst werden die Zeichen auf Stangen oder auf Fahnen in den Kampf getragen. Man findet aber schon früh die Übertragung der Fahnenfarben auf die Rüstung und auch auf die Schutzwaffen wie den Schild. Durch die Einführung der sichtbegrenzenden Helme wurden die Farben und Zeichen zunehmend auf den Schilden und den Helmen angebracht, da diese im Kampf am ehesten zu erkennen waren. Nachdem sich ab dem 13. Jahrhundert die Kampftechniken im Felde änderten (die schweren Ritter wichen beweglicheren Fußtruppen), fand sich die Heraldik besonders bei den ritterlichen Turnieren wieder. Hier galt es, durch das Wappen die Turnierfähigkeit nachzuweisen.
Die Wappen sind im Mittelalter zu Anfang reine Heerbannzeichen und geben die Zugehörigkeit zu einem Heeresverband an. Alle Mitglieder eines Heerbannes tragen das gleiche Zeichen auf ihren (Schutz-)Waffen, um ihre Zugehörigkeit auszudrücken. Mit der zunehmenden Erblichkeit von Lehen (das Recht eine Fahne im Kampf zu führen basierte auf einem Fahnenlehen und nur die Inhaber eines Fahnenlehens waren berechtigt, einen Heerbann zu führen) entsteht auch der Wunsch, das mit diesem Lehen verbundene Zeichen vererbbar zu machen. So entwickeln sich aus den einmal gewählten "Kampfabzeichen" Wappen, die einem Geschlecht oder auch einem Territorium zugeordnet werden können.
Mit Hilfe von Wappenrollen wurde im Mittelalter (und auch heute) die Richtigkeit von Wappendarstellungen und auch die Einzigartigkeit von Wappen überprüft. Das Wissen über die Wappen und deren Darstellungen lag bei den Herolden - deren Tradition lebt heute in den Wappenvereinen weiter, die sich zum Teil auch noch nach dem Herold benannt haben.
Ursprünglich war die Wappenfähigkeit an die Waffenfähigkeit gebunden, was bedeutete, dass nur derjenige, der frei war auch ein Wappen führen durfte. Die Verbreitung der Wappen vollzog sich innerhalb der Stände von "oben nach unten". Zuerst führte der Adel Wappen, dann traten die Ministerialen hinzu und am Ende des 12. Jahrhunderts entwickelte sich der Stand der Ritterbürtigen, dessen Mitglieder alle wappenfähig waren. Seit der Mitte des 12. Jahrhunderts galten auch Teile des Bürgertums - der Kreis der ratsfähigen Vollbürger - als Freie. Hier treten die Wappen jedoch erst im Laufe des 13. Jahrhunderts auf.
Durch die Einzigartigkeit der Wappen und ihre Bindung an bestimmte Personen wurde aus dem ehemaligen Kampfabzeichen ein aussagekräftiges Rechtssymbol seines Inhabers. Das Wappen konnte sich verändern, wenn neue Gebietsansprüche erworben wurden oder die Stellung durch Heirat verändert wurde. Dann wurden dem Wappen meist durch Teilung ein neues Bild hinzugefügt. Oder wenn es von den nachgeborenen Kindern, den unehelichen Kindern oder der Frau benutzt wurde. Dann wurde das Wappen verändert, indem Kleinigkeiten anders gestaltet wurden oder auch ein Zeichen für den Status des Trägers eingefügt wurde.
Mit der zunehmenden Zahl von wappenfähigen Personen bis zur Wende zwischen dem 13. und 14. Jahrhundert erhöht sich auch die Zahl der entstehenden Wappen. Oftmals werden in den neu entstehenden Wappen Bilder oder Farben aus dem Wappen des Lehns- oder auch Landesherren übernommen und eigenständige Variationen, Bilder und Farben hinzugefügt. Um die Wende zum 14. Jahrhundert gilt die Entwicklung des Wappenwesens als abgeschlossen.