Mehr Nachvollziehbarkeit für KI-Ergebnisse Generative KI: Transparenz statt Black Box

Anbieter zum Thema

BE-terna GmbH

PSI Software SE | Business Unit Discrete Manufacturing

becos gmbH

Generative KI kann Vertrauen in Prognosen stärken, indem sie Empfehlungen erklärt und auf geprüfte Quellen, Modell-Einblicke und Feature-Importance zurückgreift. Dadurch sinken Halluzinationen, und Entscheidungen in Planung und Bestandsmanagement werden zuverlässiger.

Wer erzielt die besseren Ergebnisse? Der Mensch oder die KI? Jedenfalls nicht beide im Team, wie ein aktuelles Positionspapier der TU Berlin ermittelt hat. Der Grund: Menschen tendieren dazu, die Ergebnisse einer KI nachträglich zu modifizieren und damit nicht selten zu verschlimmbessern. In ihrer Gesamtleistung schneiden Mensch-Maschine-Teams damit häufig schlechter ab als die jeweiligen Akteure allein. Die häufige Nachbearbeitung der KI-Ergebnisse liegt zum einem daran, dass Menschen ihrer Rolle als Prüfinstanz für die KI gerecht werden wollen, gleichzeitig jedoch auch an einem geringen Vertrauen in die Zuverlässigkeit künstlicher Intelligenz, weshalb den Ergebnissen schlicht kein Glauben geschenkt wird.

Generative KI: Vertrauensaufbau durch transparente Erklärungen

Die menschliche Skepsis gegenüber KI Ergebnissen ist nachvollziehbar, insbesondere wenn von ihnen Entscheidungen abhängen, die handfeste finanzielle Konsequenzen nach sich ziehen oder zentrale Eigenschaften des Unternehmens wie seine Lieferfähigkeit beeinflussen, beispielsweise im Kontext der Materialplanung. Kommt hier eine analytische KI zum Einsatz, liefert sie mitunter Absatzprognosen, die den Planungsverantwortlichen als unwahrscheinlich, unplausibel oder sogar fehlerhaft erscheinen. In Szenarien wie diesen würden die Verantwortlichen die Ergebnisse üblicherweise nach oben oder unten anpassen und so vermeintlich korrigieren. Dabei soll die KI-Analyse ja gerade dem Zweck dienen, dem Bauchgefühl eine faktenbasierte Empfehlung entgegenzusetzen.
 Um dieses Dilemma aufzulösen, verspricht nun ausgerechnet eine weitere KI-Technologie eine effektive Möglichkeit: Generative KI (GenAI) lässt sich mit dem erforderlichen Wissen ausstatten, um die Ergebnisse einer analytischen KI zu erklären und die zentralen Einflussfaktoren zu benennen, auf denen die Schlussfolgerungen basieren. Eine solche Erklärung könnte beispielsweise lauten: „Die langfristige Wettervorhersage prognostiziert höhere Temperaturen bis in den Spätherbst hinein. Deshalb rät die KI zu einer Mehrproduktion von Kühlaggregaten, weil deren Abverkauf mit hoher Wahrscheinlichkeit über dem langjährigen Durchschnitt liegen wird.“
 Eine Begründung wie diese ermöglicht den Lagerverantwortlichen konkrete Einblicke in den Kontext, der zur Prognose der analytischen KI geführt hat, und gibt ihnen so Mittel an die Hand, die Stichhaltigkeit der KI-Empfehlung selbst prüfen zu können. Eine Grundvoraussetzung, auf der nach und nach Vertrauen entstehen kann.

Wer erzielt die besseren Ergebnisse? Der Mensch oder die KI? Jedenfalls nicht beide im Team, wie ein aktuelles Positionspapier der TU Berlin ermittelt hat.

Transparenz durch Quellenbindung

Dieser positive Kreislauf kann sich natürlich nur dann in Gang setzen, wenn sich die Anwender tatsächlich auf die Korrektheit der Erklärungen verlassen können. Generative KI sollte nicht dazu verwendet werden, überraschende, aber zutreffende Bedarfsprognosen einer analytischen KI mit erfundenen Begründungen zu untermauern, da dies keinerlei Mehrwert bietet. Entsprechend gilt es, Halluzinationen von vornherein effektiv zu vermeiden. Eine verbreitete Methode hierfür stellt das sogenannte „Grounding“ dar, bei dem das Antwortspektrum der GenAI an einen bestimmten, geprüften Datenpool gebunden wird. Damit erhöht sich die Wahrscheinlichkeit, dass Antworten des Sprachmodells auch faktisch zutreffend sind, um ein Vielfaches, das Risiko von Halluzinationen sinkt.

An der Edge und offline

Generative KI: Rockwell integriert Nvidia Nemotron Nano

Konkret wird hierzu das ursprüngliche Prompt des Users unsichtbar für diesen im Hintergrund durch ein weiteres Prompt ersetzt. Dieses sogenannte „Hidden Prompt“ enthält neben der eigentlichen Frage des Users auch Verweise zu den konkreten Informationen, in denen die Antwort zu finden ist, sowie die explizite Aufforderung, sich zur Beantwortung der Frage ausschließlich auf diese Quellen zu stützen. Aus der User-Frage „Im Mai sind die Absatzzahlen deutlich eingebrochen. Woran lag das?“ ergibt sich so beispielsweise folgendes Hidden Prompt: „Generiere eine Antwort auf die Frage: ‚Im Mai sind die Absatzzahlen deutlich eingebrochen. Woran lag das?‘ Verwende für deine Antwort ausschließlich folgende Quellen: […] Falls sich die Frage auf Basis dieser Quellen nicht beantworten lässt, gib diese Tatsache als Rückmeldung aus.“

Von Parametern zu Prognosen: was die KI treibt

An welche Informationsquellen muss nun die generative KI gebunden werden, um die Ergebnisse einer KI-Analyse korrekt zu begründen? Hierzu benötigt die generative KI zum einen Möglichkeiten, die Funktionsweise des analytischen KI-Algorithmus zu verstehen, der der Bestandsanalyse zugrunde liegt: die Dokumentation des Datenmodells sowie Parameter und Ergebnisse des genutzten KI- oder ML-Algorithmus. So wird es der GenAI möglich, fundierte Rückschlüsse über die Mechanismen zu ziehen, über die die Prognose der KI zustande gekommen ist.
 Zweitens spielt die sogenannte „Feature Importance“ eine entscheidende Rolle. Im Praxiseinsatz sind Machine-Learning-Algorithmen in der Lage, Parameter zurückzugeben, die beschreiben, wie groß der Einfluss eines bestimmten Faktors auf die Ergebnisse der Analyse war. Gefüttert mit diesen Informationen wäre die generative KI beispielsweise in der Lage, zu erkennen, dass für die Empfehlung der Bevorratung eines bestimmten Materials in einem bestimmten Monat das Wetter der ausschlaggebende Faktor war, die Saisonalität des Produkts hingegen weniger.
 Drittens empfiehlt sich, externe Quellen wie etwa Nachrichtenseiten als Input für die GenAI zu nutzen. Durch einen Überblick über wirtschaftliche Entwicklungen und relevante Ereignisse wird es der generativen KI möglich, auch das „Große Ganze“ zur Erklärung der Analyseergebnisse zu berücksichtigen. Für eine Unterbrechung der Lieferkette kann die KI dann beispielsweise auf eine aktuelle politische Situation hinweisen, die auf den Nachrichtenseiten thematisiert wurde.

Mensch und Maschine im Vertrauensmodus

Gefüttert mit Informationen wie diesen, ist generative KI in der Lage, sinnvollen und verlässlichen Kontext zum konkreten Zustandekommen einer bestimmten KI-Empfehlung zu geben. Produktionsverantwortliche erhalten so fundierten Kontext, um Ergebnisse besser nachvollziehen und bewerten zu können. Insbesondere bei Empfehlungen, die intuitiv dem Bauchgefühl der Verantwortlichen widersprechen, kann dies entscheidend sein, um auf Faktoren aufmerksam zu machen, an die gegebenenfalls gar nicht gedacht wurde.
 Wer die geschlossene Black Box einer KI-Analyse aufbricht, legt das zentrale Fundament für eine wirklich wertschöpfende Zusammenarbeit zwischen Mensch und Maschine: basierend auf Nachvollziehbarkeit und Vertrauen.

Fabio Eupen ist Data Scientist bei BE-terna.