Kleine Modelle können lernen, die entscheidenden Belege zu finden

„Können wir diesen Lieferanten nach unserer aktuellen Einkaufsrichtlinie freigeben?“

Eine Suche findet vielleicht das Angebot, eine Checkliste und mehrere Einkaufsrichtlinien. Alle Dokumente passen zum Thema. Entscheidend könnte jedoch eine kurze Sonderregel für Lieferanten sein, die Kundendaten verarbeiten.

Eine gute Antwort setzt voraus, dass die Suche genau diesen Beleg erkennt.

Ein kleines Modell lernt, Relevanz zu beurteilen

In Distillation and Refinement of Reasoning in Small Language Models for Document Re-ranking trainieren Chris Samarinas und Hamed Zamani ein Modell mit drei Milliarden Parametern. Dafür nutzen sie Relevanzbegründungen eines größeren Modells und eine anschließende belohnungsbasierte Optimierung.

Auf dem anspruchsvollen BRIGHT-Benchmark übertrifft ihr Modell einige deutlich größere Modelle. Das Generieren von Begründungen während der Anwendung verbessert dabei die Bewertung gegenüber einer direkten Relevanzvorhersage.

Für Unternehmenssuche macht das aufgabenspezifisches Post-Training besonders interessant.

Jeder Suchschritt bekommt eine klare Aufgabe

Eine Suche kann zunächst eine größere Auswahl vielversprechender Textstellen finden. Anschließend wird eine kleinere Auswahl genauer bewertet.

Im Beispiel der Lieferantenfreigabe würde dieser zweite Schritt prüfen, welche Passage eine relevante Anforderung, Ausnahme oder Freigabebedingung enthält. Ein Dokument, das den Lieferanten häufig erwähnt, kann weniger hilfreich sein als ein kurzer Richtlinienabschnitt zur konkreten Situation.

Für ein entsprechendes Training wären Unternehmensfragen mit hilfreichen und irreführenden Textstellen geeignet. Wichtige Unterscheidungen sind aktuelle und abgelöste Richtlinien, verbindliche Vorgaben und Empfehlungen sowie kundenspezifische Vereinbarungen und allgemeine Vorlagen.

Solche Fähigkeiten lassen sich gezielt überprüfen.

Reasoning braucht ein Budget

Auch ein kompaktes Modell benötigt Zeit und Rechenleistung, wenn es mehrere Treffer einzeln begründet. Die Parameterzahl allein beschreibt die Kosten eines vollständigen Suchvorgangs deshalb nur unzureichend.

Für Traize stellt sich die Frage, wie viel zusätzliche Prüfung eine Anfrage benötigt. Bei einfachen Fragen kann die erste Suche bereits eindeutige Ergebnisse liefern. Fragen mit mehreren Bedingungen können eine genauere Bewertung rechtfertigen.

Wir würden messen, ob das Reranking bessere Belege auswählt, welche zusätzliche Wartezeit entsteht und wie häufig dadurch weitere Suchschritte entfallen. Dazu gehören auch die Kosten für Trainingsdaten und spätere Modellaktualisierungen.

Für konkrete Entscheidungen trainieren

Bei Unternehmenssuche wiederholen sich bestimmte Aufgaben: die passende Richtlinie bestimmen, die aktuelle Fassung erkennen und den Beleg für eine Schlussfolgerung auswählen.

Diese Aufgaben bieten einen klaren Ansatzpunkt für spezialisierte Modelle. Eine bessere Auswahl könnte dem antwortenden Sprachmodell kürzere, hilfreichere Quellen liefern und Rückfragen reduzieren.

Darin sehen wir das Potenzial für Traize: Post-Training gezielt dort einzusetzen, wo eine bessere Bewertung den Arbeitsalltag unmittelbar erleichtert.