Ähnliche Suchergebnisse, sehr unterschiedliche Kosten

Wer KI im Unternehmen einsetzt, stellt schnell fest: Eine hilfreiche Antwort braucht die richtigen Informationen. Bei einer Frage zu einem Kundenprojekt können diese in einer Besprechungsnotiz, mehreren Aufgaben und einem technischen Dokument verteilt sein. Das System muss die relevanten Stellen finden und ihre Zusammenhänge erkennen, bevor es eine belastbare Antwort formulieren kann.

Wie es dabei vorgeht, beeinflusst Qualität, Antwortzeit und Kosten. Gerade bei häufigen Anfragen lohnt sich deshalb ein genauer Blick auf die Arbeitsteilung zwischen Suche und Sprachmodell.

Ähnliche Gesamtleistung, erhebliche Kostenunterschiede

Adnan El Assadi, Niklas Muennighoff und Jinhyuk Lee untersuchen diese Frage in The Embedder’s Dilemma: LLMs Are Better, but at What Cost?. Sie vergleichen zehn LLMs mit 26 Embedding-Modellen auf 37 Aufgaben, darunter Suche, Klassifikation und die Bewertung semantischer Ähnlichkeit.

Die besten Modelle liegen im Gesamtergebnis eng zusammen: 77,6 Punkte für das führende LLM und 77,2 für das führende Embedding-Modell. Die Kosten unterscheiden sich deutlich. Bei vergleichbarer Qualität berichten die Autoren von bis zu 1.431-fach höheren Kosten für ein LLM: rund 154 US-Dollar gegenüber 0,11 US-Dollar pro Benchmark-Durchlauf.

Auch das Reasoning-Budget verdient Aufmerksamkeit. In der Studie entfallen 28 bis 81 Prozent der LLM-Inferenzkosten auf Reasoning-Token. Ein kleineres Budget erhält oder verbessert bei den meisten untersuchten Modellen die Retrieval-Qualität.

Die Stärken hängen von der Aufgabe ab: LLMs führen bei Suchaufgaben mit hohem Schlussfolgerungsbedarf, Embedding-Modelle bei der Klassifikation. Der Gesamtwert allein reicht deshalb für eine Modellauswahl nicht aus. Ebenso ist der maximale Kostenfaktor ein Ergebnis bestimmter Benchmark-Vergleiche, keine pauschale Ersparnis für eine Unternehmensanwendung.

Welche Arbeit ein Sprachmodell übernehmen sollte

Embedding-Modelle übersetzen Inhalte in numerische Darstellungen, mit denen sich verwandte Informationen effizient finden lassen. Das ist eine wertvolle Grundlage, wenn aus einem großen Dokumentenbestand passende Stellen ausgewählt werden sollen.

Ein Sprachmodell kann anschließend die gefundenen Belege zusammenführen, Widersprüche erkennen und entscheiden, welche Information noch fehlt. Bei anspruchsvollen Fragen kann sein Schlussfolgern bereits während der Suche helfen, etwa um eine mehrdeutige Anfrage einzuordnen oder einen weiteren Suchschritt zu bestimmen.

Für Unternehmen liegt darin eine konkrete Gestaltungsaufgabe: Die einzelnen Schritte müssen zu ihrer jeweiligen Aufgabe passen. Entscheidend ist, wie viel Aufwand das gesamte System braucht, um zu einer hilfreichen Antwort zu gelangen.

Warum wir Kontext vorab aufbereiten

Bei Traize verfolgen wir den Ansatz, Unternehmenswissen schon beim Eingang von Informationen zu strukturieren und miteinander zu verknüpfen. Ein Dokument erhält dadurch einen Zusammenhang mit den Projekten, Aufgaben oder Personen, auf die es sich bezieht. Dieser Kontext kann bei späteren Fragen wiederverwendet werden.

Das ist unsere architektonische Schlussfolgerung aus der Bedeutung effizienter Informationsverarbeitung. Die Studie selbst vergleicht Modelle und belegt keine bestimmte Traize-Architektur. Sie bestärkt uns darin, genau zu prüfen, welche Arbeit spezialisierte Verfahren übernehmen können und wo zusätzliches Reasoning einen Nutzen bringt.

Vorverarbeitung verursacht ebenfalls Aufwand. Sie lohnt sich besonders dort, wo vorbereiteter Kontext mehrfach genutzt wird. Ändern sich Informationen, müssen die betroffenen Verbindungen aktualisiert werden; beim Abruf müssen die aktuellen Zugriffsrechte gelten. Deshalb betrachten wir Vorbereitung, Pflege und Abfragen gemeinsam.

Ein Beispiel aus dem Arbeitsalltag

„Warum verzögert sich der Kundenrollout?“

Für diese Frage könnten ein verschobener Meilenstein, eine offene Freigabe und eine Entscheidung aus dem letzten Projektgespräch relevant sein. Sind diese Informationen bereits mit dem Projekt verbunden, hat der Agent einen konkreten Ausgangspunkt für seine Recherche.

Er kann die Belege prüfen, den Zusammenhang erklären und gezielt nachsehen, wenn etwas unklar bleibt. Der Nutzen für das Team liegt in einer Antwort, deren Quellen und Begründung sich nachvollziehen lassen, und in einem möglichst kurzen Weg dorthin.

Daran wollen wir unsere Systeme messen: relevante Suchergebnisse, belegte Antworten und ein sinnvoller Einsatz von Rechenleistung. Für den produktiven Einsatz gehören Antwortqualität, Geschwindigkeit und Kosten in dieselbe Bewertung.