---

In diesem Buch findet der Leser effiziente Methoden zur Optimierung Neuronaler Netze. Insbesondere durch die ausführliche Behandlung des Reinforcement Learning und der Evolutiven Optimierung geht es über den Inhalt der bisherigen Lehrbücher zum Thema Neuronale Netze hinaus. Die Optimierung neuronaler Modelle wird in folgende Faktoren aufgeteilt: Neuronale Modelle, Lernprobleme, Optimierungsverfahren und Hardwareimplementierung. Dadurch erhält der Leser die Möglichkeit, in seiner eigenen Anwendung die Bausteine seinen Zielen entsprechend zu kombinieren: Neuronales Modell vs. Neuro-Fuzzy-Modell, Supervised Learning vs. Reinforcement Learning, Gradientenabstieg vs. Evolution, sequentiell vs. parallel.

---

1.Einführung.- 1.1 Überblick.- 1.2 Aufbau.- 2.Neuronale Modelle Von Expertenwissen.- 2.1 Einführung.- 2.1.1 Überblick (neuronale Modelle).- 2.1.2 Anmerkungen aus der Berechenbarkeitstheorie.- 2.1.3 Anmerkungen aus der Komplexitätstheorie.- 2.1.4 Komplexität des Lernproblems.- 2.2 Implizite Wissensrepräsentation (Interpolation).- 2.2.1 Überblick.- 2.2.2 Gradientenabstieg für das Multilayer Perceptron.- 2.2.3 Gradientenabstiegsmethoden mit Schrittweitensteuerung.- 2.2.4 Resilient Backpropagation (Rprop).- 2.2.5 Rprop auf dichten Lernmengen.- 2.2.6 Gradientenabstieg für quadratische Polynome.- 2.2.7 Lernverfahren für ENZO.- 2.3 Explizite Wissensrepräsentation (Prototypen).- 2.3.1 Überblick.- 2.3.2 Winner-takes-all-Modelle.- 2.3.3 Adaptive Resonanz-Theorie.- 2.3.4 Selbstorganisierende Karten (Kohonen-Netz).- 2.3.5 Auswahl neuronaler Experten durch Klassifikation.- 2.3.6 Radiale Basisfunktionen.- 2.3.7 Neuronale Modelle für unscharfe Logik.- 2.4 Semantische Netze - Optimierung durch Relaxation.- 2.4.1 Einführung.- 2.4.2 Modellierung eines Optimierungsproblems zu einer Datenbank.....- 2.4.3 Brain-State-in-a-Box-Modell - Gradientenabstieg.- 2.4.4 Hopfield-Netz - Hillclimbing.- 2.4.5 Boltzmann-Maschine - Simulated Annealing.- 2.4.6 Hopfield/Tank-Netz - Meanfield Annealing.- 2.4.7 Annealing der Optimierungsfunktion.- 2.4.8 Ein Beispiel - Interactive Activation and Competition.- 3.Neuronale Modelle Für Strategielernen.- 3.1 Problemstellung.- 3.2 Lernen nach Beispielen.- 3.3 Lernen nach Zielvorgabe.- 3.3.1 Direktes Ziel.- 3.3.2 Fernziel.- 3.4 Reinforcement-Lernen.- 3.4.1 Dynamisches Programmieren.- 3.4.2 Überwachtes Lernen mit absoluten Bewertungen.- 3.4.3 Überwachtes Lernen mit relativen Bewertungen.- 3.4.4 Komprimieren der Kodierung einer optimalen Strategie.- 3.4.5 Value Iteration.- 3.4.6 Real Time Dynamic Programming.- 3.4.7 Temporal Difference Learning.- 3.4.8 Q-Learning, ein Modell-freier Ansatz.- 3.4.9 Spezialfall: Zielorientiertes Lernen/Strategiespiele.- 3.4.10 Vergleichende Bewertung am Benchmark-Problem Mühle.- 4.Evolution Neuronaler Netze.- 4.1 Evolutionäre Algorithmen.- 4.1.1 Grundalgorithmus.- 4.1.2 Repräsentation - Kodierung der Individuen.- 4.1.3 Generierung von Nachkommen.- 4.1.4 Selektion.- 4.1.5 Mehrstufige Optimierung.- 4.1.6 Evolution der Evolutionsparameter.- 4.1.7 Historischer Rückblick.- 4.1.8 Vergleich zu anderen Optimierungsheuristiken.- 4.2 Grundkonzeption von ENZO.- 4.2.1 Aufgabenstellung.- 4.2.2 Grundkonzept.- 4.2.3 Historischer Rückblick über die Evolution neuronaler Netze.- 4.3 ENZO für Überwachtes Lernen.- 4.3.1 Generierung der Nachkommen.- 4.3.2 Lernen.- 4.3.3 Minimierung von Multilayer Perceptrons.- 4.3.4 Minimierung von RBF-Netzen.- 4.3.5 Andere Optimierungskriterien.- 4.4 ENZO für Reinforcement-Lernen.- 4.4.1 Wissenstransfer von den Eltern - Lamarckismus.- 4.4.2 Minimierung des neuronalen Bewerters.- 4.4.3 Strategiespiele: Reinforcement-Lernen im Turnier.- 4.5 ENZO für unscharfe Regler.- 4.6 Lernen und Evolution auf einem Parallelrechner.- 4.6.1 Überblick.- 4.6.2 Parallel Intelligent Neural Network Simulator Karlsruhe (PINK).- 4.6.3 Vergleich der Performanz von PINK.- Schlussbemerkung.- Literatur.

---