Chunking
Chunking ist ein zentraler Schritt in der Wissensverarbeitung des AI Hub und beeinflusst direkt die Qualität der Antworten eines Agents.
Warum ist Chunking wichtig?
Ein KI-Modell kann nicht den gesamten Inhalt einer Wissensquelle auf einmal verarbeiten. Stattdessen werden Inhalte in kleinere Abschnitte — sogenannte Chunks — aufgeteilt und als Vektoren in der Datenbank gespeichert. Bei einer Benutzeranfrage sucht das System die relevantesten Chunks und übergibt nur diese an das Modell als Kontext.
Die Chunking-Einstellungen bestimmen, wie gut das System die richtigen Informationen findet:
- Zu große Chunks liefern viel Kontext, aber die Suche wird unpräziser — irrelevante Informationen können die Antwort verwässern.
- Zu kleine Chunks führen zu präziseren Treffern, aber der Kontext kann unvollständig sein — das Modell sieht nur Ausschnitte und verliert den Zusammenhang.
Die richtige Balance hängt vom Inhaltstyp ab.
Chunking-Einstellungen können nach dem Erstellen einer Sammlung oder Quelle nicht mehr geändert werden. Wählen Sie die Einstellungen daher sorgfältig.
Methode
Die Methode bestimmt, wie der Text aufgeteilt wird:
- Character: Teilt den Text rein nach Zeichenanzahl. Verwenden Sie diese Methode für Fließtexte ohne besondere Formatierung (z. B. E-Mails, Notizen, unstrukturierte Dokumente).
- Markdown: Berücksichtigt die Struktur des Textes (Überschriften, Listen, Codeblöcke) und versucht, zusammengehörige Abschnitte beisammen zu halten. Verwenden Sie diese Methode für strukturierte Inhalte (z. B. Dokumentation, Handbücher, Artikel mit Zwischenüberschriften).
Im Zweifel ist Markdown die bessere Wahl — sie funktioniert auch mit unstrukturiertem Text, liefert bei strukturiertem Text aber deutlich bessere Ergebnisse.
Chunk-Größe und Überlappung
- Chunk-Größe (100–10.000, Standard: 1.000): Die maximale Zeichenanzahl pro Chunk.
- Kleinere Chunks (z. B. 500): Das Modell erhält präzisere, fokussiertere Ausschnitte. Gut für FAQ-artige Inhalte oder kurze, in sich geschlossene Antworten.
- Größere Chunks (z. B. 2.000–4.000): Das Modell erhält mehr Kontext pro Treffer. Gut für komplexe Themen, bei denen Zusammenhänge über mehrere Absätze hinweg wichtig sind.
- Chunk-Überlappung (0–2.000, Standard: 100): Anzahl der Zeichen, die zwischen zwei aufeinanderfolgenden Chunks geteilt werden. Die Überlappung stellt sicher, dass Informationen an den Grenzen nicht verloren gehen. Empfohlen: 10–25 % der Chunk-Größe.
Parent-Child-Chunking
Standardmäßig wird für die Suche und für den Kontext an das Modell derselbe Chunk verwendet. Bei Parent-Child-Chunking werden zwei Ebenen erzeugt:
- Kind-Chunks (klein): Werden für die Suche verwendet — dadurch werden relevante Stellen präziser gefunden.
- Eltern-Chunks (groß): Werden an das Modell übergeben — dadurch erhält es mehr umliegenden Kontext für die Antwort.
Wann aktivieren? Parent-Child-Chunking eignet sich besonders, wenn Ihre Inhalte längere, zusammenhängende Texte sind (z. B. Verträge, Richtlinien, technische Dokumentation). Für kurze, eigenständige Einträge (z. B. FAQ, Stichpunkte) bringt es wenig Mehrwert.
- Parent-Chunk-Größe (500–20.000, Standard: 4.000): Muss größer als die Chunk-Größe sein.
- Parent-Chunk-Überlappung (0–5.000, Standard: 200): Überlappung zwischen den Eltern-Chunks.
Empfohlene Einstellungen nach Anwendungsfall
| Anwendungsfall | Methode | Chunk-Größe | Überlappung | Parent-Child |
|---|---|---|---|---|
| FAQ / Kurze Antworten | Character oder Markdown | 500 | 50–100 | Nein |
| Produktdokumentation | Markdown | 1.000–2.000 | 100–200 | Optional |
| Lange Fließtexte (Verträge, Richtlinien) | Markdown | 1.000 | 100–200 | Ja (Parent: 4.000) |
| Technische Handbücher | Markdown | 1.500–2.000 | 200–300 | Ja (Parent: 4.000–6.000) |
| E-Mails / Notizen | Character | 500–1.000 | 50–100 | Nein |
| Smalltalk / Persönlichkeit | Character | 300–500 | 50 | Nein |
Starten Sie mit den Standardeinstellungen (Markdown, 1.000, 100) und passen Sie an, wenn die Antwortqualität nicht zufriedenstellend ist. Testen Sie Änderungen über Evaluierungsläufe, um den Einfluss messbar zu machen.
Wo wird Chunking konfiguriert?
Chunking wird beim Erstellen einer Wissensquelle konfiguriert. Die Einstellungen gelten für:
- Gepflegtes Wissen — pro Sammlung
- Verknüpftes Wissen — pro verknüpfte Quelle
MCP-Verbindungen verwenden kein Chunking, da Daten in Echtzeit abgefragt werden und nicht vorab als Vektoren gespeichert werden.