19 Themen

Große Sprachmodelle

Verstehe die inneren Abläufe großer Sprachmodelle, von der Tokenisierung bis zu Aufmerksamkeitsmechanismen.

Hilf mit, das hier zu verbessern

Dieser Guide ist Open Source. Hast du eine Idee für ein neues Thema? Einen Fehler gefunden? Eine Erklärung verbessern? Jeder Beitrag hilft.

Thema vorschlagen Fehler melden Auf GitHub markieren

Grundlagen

TokenisierungWie Text in Teile zerlegt wird, die das Modell versteht24. Jan. 2026

B

EinbettungenWörter in Zahlen verwandeln, die Bedeutung erfassen29. Jan. 2026

B

Aufmerksamkeits-MechanismusWie Transformer entscheiden, welche Tokens wichtig sind31. Jan. 2026

Verhalten

TemperaturZufälligkeit und Kreativität in LLM-Ausgaben steürn24. Jan. 2026

B

KontextverfallWarum Modelle Anweisungen in langen Gesprächen vergessen29. Jan. 2026

Fähigkeiten

RAG (Retrieval Augmented Generation)LLM-Antworten mit abgerufenem externem Wissen anreichern31. Jan. 2026

I

BildverarbeitungWie LLMs Bilder neben Text verarbeiten und verstehen24. Jan. 2026

B

Visuelle HerausforderungenWo Bildmodelle scheitern: Zählen, Raumverständnis, OCR29. Jan. 2026

I

Agentische BildverarbeitungAktive Bildanalyse durch Zoom, Zuschnitt und Code-Ausführung29. Jan. 2026

E

MultimodalitätText, Bilder, Audio und Video in einem Modell verarbeiten1. Feb. 2026

Architektur

Transformer-ArchitekturDie grundlegende Architektur hinter GPT, BERT und allen modernen LLMs9. Feb. 2026

I

LLM-TrainingVom Vortraining auf Rohdaten bis zum Feintuning mit Feedback29. Jan. 2026

I

TrainingsdatenWoher KI-Modelle ihr Wissen beziehen: legitime Quellen, Kontroversen und synthetische Daten24. Feb. 2026

I

Mixture of ExpertsNur einen Bruchteil der Modellparameter pro Token aktivieren31. Jan. 2026

E

QuantisierungModellgröße durch reduzierte Zahlenpräzision verkleinern31. Jan. 2026

E

Verschachteltes LernenLernalgorithmen, die auf mehreren Ebenen arbeiten8. Feb. 2026

E

DestillationWissen von einem großen Modell auf ein kleineres übertragen5. Feb. 2026

I

Fine-Tuning & LoRAGroße Modelle effizient anpassen durch Training winziger Low-Rank-Matrizen9. Feb. 2026

I

Spekulatives DecodingInferenz beschleunigen durch Vorhersage mit kleinerem Modell5. Feb. 2026

Zurück zu allen Themen