Ein geschichtliches Beispiel aus dem Jahr 1986 für das Training eines Neuronalen Netzes

Weitere Beispiele:

Vor kanpp zehn Jahren wurde die Theorie neuronaler Netzwerke erstmals auf das Problem der Bildung der Vergangenheitsform angewandt (Rumelhart & McClelland 1986). Es wurde ein Netzwerk mit 460 Input- und 460 Outputneuronen nach dem Perceptron Modell gebildet (das sind 211600 Verbindungen). Als Inputmuster wurden 420 Wortstämme verwendet, denen vom Netzwerk 420 Vergangenheitsformen zuzuordnen waren. Sowohl die Wortstämme als auch die Vergangenheitsformen wurden dem Netzwerk klanglich dargeboten. Zunächst gab es eine zufällige Aktivierung der Outputneuronen. Das Aktivierungsmuster der Outputschicht wurde dann aber mit dem gewünschten Output verglichen und der Fehler zur Neueinstellung der Synapsengewichte verwendet (Backpropagation-Regel).
Eine ausführliche Darstellung sprengt den Rahmen dieser Arbeitsumgebung. Wichtig ist aber, dass zwischen Input- und Outputschicht eine dritte Neuronenschicht eingeführt wird. Das Netzwerk wird so dreischichtig.
Die Outputschicht lernte auf diese Weise die korrekte Zuordnung von Vergangenheitsformen zum Wortstamm. Nach insgesamt 79 900 Durchgängen hatte das Netzwerk die Zuordnung gelernt. Auch dann, wenn nun neue Verben dargeboten wurden, arbeitete das Netzwerk noch nahezu fehlerfrei und generierte die Vergangenheitsform von regelmäßigen Verben mit einer Genauigkeit von 92%.

Das Neuronale Netz leistet seine Aufgabe, weil die Verbindungstärken zwischen Hunderten von Neuronen optimal eingestellt sind und nicht, weil es irgendwelchen seriellen Programmregeln folgt. Ein Netzwerk wird also trainiert und nicht seriell programmiert. Netzwerke mit Zwischenschichten sind aus prinzipiellen Gründen in der Lage, Probleme zu lösen, die zweischichtige Neuronale Netze nicht lösen können. Sie sind zu Abstraktionsleistungen und Prototypenbildungen (Generalisierungen) in der Lage.
Beim Training von Netzwerken unterscheidet man selbstorganisierendes Lernen (das also ohne äußeren Trainer stattfindet) und angeleitetes Lernen. Beim ersteren Verfahren führen Systemeigenschaften des Netzwerkes sowie Regelmäßigkeiten der Eingangssignale zu spontanem Lernen. Das zweite Verfahren gleicht dem zuvor beschriebenen.