Die meisten Unternehmensdaten liegen in unstrukturierter Form vor, etwa als Texte in Dokumenten, in Briefings oder in Gebrauchsanleitungen. Auch Inhalte aus Audio- und Videoaufnahmen sind unstrukturierte Daten und lassen sich deshalb nicht einfach mit einem Excel-Sheet durchsuchen oder verarbeiten. Wenn Mitarbeiter eine bestimmte Information oder sogar eine genaue Formulierung suchen, sind sie damit oft mehrere Stunden beschäftigt. Solche Situationen kennt jeder, der einmal in einem größeren Team gearbeitet hat: "Weißt du noch, wo dies und jenes stand?" Natürlich weiß das niemand.

Mit KI lässt sich dieses verteilte und unstrukturierte Wissen zugänglich machen. Hierfür nutzt man die sogenannte Retrieval-Augmented-Generation (RAG). Textlich vorliegende Informationen werden dabei so abgelegt, dass sie für LLMs (wie ChatGPT) nutzbar sind, ohne dabei den Datenschutz zu vernachlässigen. Die Dokumente werden hierfür zunächst in die Sprache der LLMs übersetzt, nämlich in sogenannte Embeddings. Erstens erlaubt das einem LLM, die Texte zu verstehen und zu verarbeiten und zweitens lassen sich die Informationen nun mit effizienten Suchverfahren (Retrieval) in Echtzeit und vor allem kontextbezogen abrufen. Das heißt, dass Mitarbeiter nicht darauf angewiesen sind, eine Information mit dem genauen Wortlaut (den sie ja oft nicht kennen) zu suchen. Sie können sie stattdessen einfach umschreiben, das System findet sie und übergibt sie dann als Kontext an die KI. Diese kann jetzt nuancierte und präzise Antworten mit diesem angereicherten (Augmented) Wissen formulieren. Ein Beispiel:

Wenn wir eine vortrainierte KI wie eines der Modelle in ChatGPT fragen, welche USPs wir für unsere intelligente und innovative Schraubendichtung mit dem Namen "Schraubfix" intern nutzen, dann wird sie vermutlich etwas antworten wie: "Die Schraubendichtung Schraubfix kenne ich leider nicht, aber hier sind einige Vorschläge (...)" Oder - noch schlimmer - sie halluziniert und behauptet, unser Produkt, unseren Service, unseren Prozess etc. genau zu kennen und versucht uns dann, mit der Hybris eines Instagram-Life-Coaches etwas zu verkaufen, von dem sie keine Ahnung hat. Wenn wir mit diesen Informationen weiterarbeiten, kann das nicht nur peinlich, sondern auch sehr teuer werden.

Ein eigenes ChatGPT für Unternehmensdaten - und automatisierte Workflows

Am besten stellt man sich RAG als unternehmenseigenes ChatGPT vor, das alle in der eigenen Organisation vorhandenen Informationen kennt und Fragen darüber beantwortet. Man kann also mit dem im Unternehmen vorhandenen Wissen chatten. Natürlich ist das nicht alles: Wie bei ChatGPT und anderen Sprachmodellen mit Chat-Interface kann ein RAG auch selbst neue Inhalte auf Grundlage der Unternehmensdaten erstellen, zum Beispiel in Form von automatisierten Berichten. Was genau möglich ist, hängt letztlich von den Datenquellen ab, mit denen das RAG arbeitet. Theoretisch können diese minütlich aktualisiert werden, da hierbei kein neues Modell trainiert oder ein bestehendes Modell "ge-fine-tuned" wird. Das räumt auch gleich die ersten großen Datenschutzbedenken aus.

Die naheliegendste Anwendung eines RAG-Systems in Unternehmen ist also die eines Sprachassistenten für Unternehmensinformationen. Viele Unternehmen nutzen RAG darüber hinaus in automatisierten KI-Workflows, etwa im Support, beim Onboarding neuer Mitarbeiter, im Vertrieb oder im Marketing. Im Support lassen sich zum Beispiel Workflows erstellen, bei denen ein RAG-System den Supportmitarbeitern automatisiert passende Quellen zur Verfügung stellt oder ein KI-Agent direkt auf Supportanfragen antwortet. Für den Vertrieb könnte ein RAG-System relevante Informationen zu Kunden zusammentragen und Briefings erstellen. Hierbei lassen sich auch externe Daten, etwa aus einer Websuche, verwenden und dann mit Bestandsdaten aus dem CRM oder aus früheren Briefing-Dokumenten vereinen.

Zusammenfassung

Mit Retrieval-Augmented-Generation (RAG) lassen sich unstrukturierte Unternehmensdaten wie Texte oder Audiodateien schnell und mit natürlicher Sprache durchsuchen und weiterverarbeiten. Über Chat-Interfaces erhalten Mitarbeiter so Zugriff auf Informationen, nach denen sie sonst lange und mühsam suchen müssten. Auch lassen sich aus den Informationen neue Inhalte erstellen. Um Prozesse voll zu automatisieren, können RAG-Systeme in KI-Agenten und -Workflows integriert werden.