Ein geschichtliches Beispiel aus dem Jahr 1986 für das Training eines Neuronalen Netzes

Weitere Beispiele:

• der Rechner "Polyp" oder

die Maschinen-Katze "Robokoneko"

Vor kanpp zehn Jahren wurde die Theorie neuronaler Netzwerke erstmals auf das Problem der Bildung der Vergangenheitsform angewandt (Rumelhart & McClelland 1986). Es wurde ein Netzwerk mit 460 Input- und 460 Outputneuronen nach dem Perceptron Modell gebildet (das sind 211600 Verbindungen). Als Inputmuster wurden 420 Wortstämme verwendet, denen vom Netzwerk 420 Vergangenheitsformen zuzuordnen waren. Sowohl die Wortstämme als auch die Vergangenheitsformen wurden dem Netzwerk klanglich dargeboten. Zunächst gab es eine zufällige Aktivierung der Outputneuronen. Das Aktivierungsmuster der Outputschicht wurde dann aber mit dem gewünschten Output verglichen und der Fehler zur Neueinstellung der Synapsengewichte verwendet (Backpropagation-Regel). Eine Darstellung sprengt den Rahmen dieser Arbeitsumgebung. Wichtig ist, das zwischen Input- und Outputschicht eine dritte Neuronenschicht eingeführt wird. Das Netzwerk ist dreischichtig.

Das Neuronale Netz leistet seine Aufgabe, weil die Verbindungstärken zwischen Hunderten von Neuronen optimal eingestellt sind und nicht, weil es irgendwelchen seriellen Programmregeln folgt. Ein Netzwerk wird also trainiert und nicht seriell programmiert. Netzwerke mit Zwischenschichten sind aus prinzipiellen Gründen in der Lage, Probleme zu lösen, die zweischichtige Neuronale Netze nicht lösen können. Sie sind zu Abstraktionsleistungen und Prototypenbildungen (Generalisierungen) in der Lage.

Beim Training von Netzwerken unterscheidet man selbstorganisierendes Lernen (das also ohne äußeren Trainer stattfindet) und angeleitetes Lernen. Beim ersteren Verfahren führen Systemeigenschaften des Netzwerkes sowie Regelmäßigkeiten der Eingangssignale zu spontanem Lernen. Das zweite Verfahren gleicht dem zuvor beschriebenen.