Was ist ein neuronales Netzwerk?
Ein neuronales Netzwerk ist ein vom Gehirn inspiriertes Rechenmodell. Es besteht aus Schichten verbundener Knoten (Neuronen), die lernen, Eingaben durch Training in Ausgaben umzuwandeln.
Kernkomponenten
Die Bausteine neuronaler Netzwerke.
Neuronen
Grundeinheiten, die gewichtete Summen von Eingaben berechnen und Aktivierungsfunktionen anwenden.
Schichten
Gruppen von Neuronen: Eingabeschicht, versteckte Schichten und Ausgabeschicht.
Gewichte & Bias
Lernbare Parameter, die bestimmen, wie Eingaben transformiert werden.
Aktivierungsfunktionen
Nichtlineare Funktionen, die es Netzwerken ermöglichen, komplexe Muster zu lernen.
Arten von Netzwerken
Feedforward (MLP)
Informationen fließen in eine Richtung. Gut für tabellarische Daten.
Konvolutionell (CNN)
Spezialisiert für Bilder und räumliche Daten.
Rekurrent (RNN)
Verarbeitet Sequenzen mit Gedächtnis vergangener Eingaben.
Transformer
Aufmerksamkeitsbasierte Architektur, die moderne LLMs antreibt.
Neuronales Netzwerk Visualisierer
Netzwerkarchitekturen erstellen und erkunden
Netzwerkarchitektur
4 Schichten, 13 Neuronen
Jedes Neuron berechnet eine gewichtete Summe seiner Eingaben und wendet eine Aktivierungsfunktion (Sigmoid) an. Die Dicke der Verbindungen zeigt die Größe des Gewichts; die Farbe zeigt an, ob ein Gewicht positiv (grün) oder negativ (rot) ist.
Vorwärts wiederholt die Rechnung mit denselben Eingaben und Gewichten. Neu würfeln erzeugt andere Eingaben und Gewichte. Eine geänderte Architektur erzeugt ebenfalls ein neues Beispiel.
Wichtige Erkenntnisse
- 1Neuronale Netzwerke lernen durch Anpassung der Gewichte während des Trainings
- 2Tiefe (mehr Schichten) ermöglicht das Lernen hierarchischer Merkmale
- 3Verschiedene Architekturen eignen sich für verschiedene Datentypen
- 4Moderne LLMs sind massive Transformer-Netzwerke