KI-Workflows bewerten: Was vor der Automatisierung geklärt werden sollte

Mir sind schon KI-Projekte untergekommen mit der Eingangs-Frage:

Welches KI-Modell sollten wir verwenden?

Dabei ist diese Entscheidung häufig erst mehrere Schritte später relevant. Bevor ich mich mit der Auswahl eines Modells beschäftige, würde ich zunächst prüfen, ob der betreffende Arbeitsablauf überhaupt ausreichend definiert ist, ob künstliche Intelligenz tatsächlich benötigt wird, welche Folgen fehlerhafte Ergebnisse haben können und was passieren soll, wenn das System keine zuverlässige Entscheidung treffen kann.

Manchmal ist ein KI-gestützter Workflow tatsächlich die beste Lösung. In anderen Fällen reichen klassische Geschäftsregeln, eine Datenbankabfrage, eine API-Integration oder ein kleines internes Softwaretool völlig aus. Und gelegentlich stellt sich heraus, dass zunächst der bestehende Prozess verbessert werden muss, bevor sich irgendeine Form der Automatisierung lohnt.

Die entscheidende Frage ist deshalb nicht, wie sich KI möglichst schnell in einen Prozess integrieren lässt, sondern welche Teile des Prozesses überhaupt sinnvoll automatisiert werden können.

Zuerst verstehen, wie der aktuelle Prozess funktioniert

Bevor ein Arbeitsablauf automatisiert wird, sollte klar sein, wie er heute tatsächlich abläuft. Was löst den Prozess aus? Woher kommen die benötigten Informationen? Welche Mitarbeiter sind beteiligt? Welche Entscheidungen müssen getroffen werden? Welche Software wird verwendet? Wo treten Ausnahmen auf, und woran erkennt man, dass die Aufgabe erfolgreich abgeschlossen wurde?

Dafür braucht es zunächst kein aufwendiges Prozessdiagramm. Häufig reicht eine einfache Beschreibung der einzelnen Schritte.

Ein Beispiel aus dem E-Commerce:

Lieferant schickt Excel-Datei → Mitarbeiter vereinheitlicht Produktkategorien → fehlende Beschreibungen werden ergänzt → Produkte werden ins PIM importiert → Fehler werden manuell geprüft.

Diese kurze Beschreibung enthält bereits wesentlich mehr verwertbare Informationen als eine allgemeine Zielsetzung wie:

Wir möchten die Produktanlage mit KI automatisieren.

Sobald die einzelnen Arbeitsschritte sichtbar sind, lässt sich unterscheiden, welche Aufgaben sich durch feste Regeln lösen lassen, wo lediglich Daten umgewandelt werden müssen und an welchen Stellen tatsächlich menschliches Urteilsvermögen erforderlich ist. Erst dann wird deutlich, für welche Teilschritte künstliche Intelligenz einen sinnvollen Beitrag leisten könnte.

Häufig zeigt sich dabei, dass ein großer Teil des Prozesses überhaupt keine KI benötigt.

Brauchen wir dafür wirklich künstliche Intelligenz?

Diese Frage gehört für mich zu den wichtigsten im gesamten Projekt.

Wenn sich ein Wert anhand einer eindeutigen Regel bestimmen lässt, würde ich normalerweise diese Regel verwenden. Wenn ein bestehendes System eine API anbietet, ist eine direkte Integration meist zuverlässiger, als ein KI-Modell die entsprechende Funktion nachbilden zu lassen. Und wenn es darum geht, strukturierte Daten zwischen zwei Anwendungen zu übertragen, ist klassische Software häufig die bessere Wahl.

Interessant wird KI vor allem dort, wo Informationen interpretiert werden müssen und sich die Aufgabe nicht vollständig durch eindeutige Regeln beschreiben lässt.

Typische Anwendungsfälle sind beispielsweise:

Informationen aus unstrukturierten Texten extrahieren
Uneinheitliche Datensätze kategorisieren
Ähnliche, aber nicht identische Datensätze einander zuordnen
Große Textmengen zusammenfassen
Inhalte zur anschließenden Prüfung erstellen
Freitexte übersetzen oder vereinheitlichen
Informationen aus Dokumenten und anderen unstrukturierten Quellen erschließen

Ein konkretes Beispiel: Wenn ein Lieferant die Farbe eines Produkts als „navy“ bezeichnet und ein anderer „dunkelblau“ verwendet, kann eine KI bei der Zuordnung zu einer einheitlichen Farbkategorie helfen. Besteht dagegen bereits eine gepflegte Tabelle mit bekannten Farbbezeichnungen und ihren Zuordnungen, ist eine einfache Datenbankabfrage wahrscheinlich schneller, günstiger und zuverlässiger.

Viele Aufgaben, die zunächst nach einem interessanten KI-Anwendungsfall aussehen, lassen sich mit herkömmlicher Software vollständig lösen. Das ist kein Nachteil, sondern häufig das bessere technische Ergebnis.

KI sollte dort eingesetzt werden, wo ihre Fähigkeit zur Interpretation einen tatsächlichen Mehrwert bietet. Nicht dort, wo eine einfache Regel bereits zuverlässig funktioniert.

Was passiert, wenn das System einen Fehler macht?

Ein KI-System muss nicht in jeder Situation perfekt sein. Es muss allerdings zuverlässig genug für die Aufgabe sein, die es übernehmen soll.

Dabei macht es einen erheblichen Unterschied, welche Folgen ein Fehler haben kann. Eine falsch zugeordnete Produktkategorie in einem internen Datensatz lässt sich möglicherweise innerhalb weniger Sekunden korrigieren. Ein erfundener Preis, der automatisch an einen Kunden verschickt wird, ist ein ganz anderes Problem.

Deshalb würde ich bereits vor der Entwicklung überlegen, welche Fehler auftreten können und wie schwerwiegend ihre Auswirkungen wären.

Dazu gehören beispielsweise falsche Zuordnungen, übersehene Datensätze, erfundene Informationen, fehlerhafte Klassifizierungen, Datenschutzprobleme oder automatisierte Änderungen am falschen Kundenkonto beziehungsweise an der falschen Bestellung.

Mindestens ebenso wichtig ist die Frage, ob solche Fehler zuverlässig erkannt und rückgängig gemacht werden können.

Bei einem risikoarmen Prozess kann es sinnvoll sein, einen großen Teil der Ergebnisse automatisch zu übernehmen und nur stichprobenartig zu kontrollieren. Wenn dagegen Kundenkommunikation, finanzielle Entscheidungen oder andere sensible Vorgänge betroffen sind, können zusätzliche Validierungen und ausdrückliche Freigaben erforderlich sein.

Auch das AI Risk Management Framework des US-amerikanischen National Institute of Standards and Technology (NIST) betont, dass der vorgesehene Einsatzzweck, mögliche Risiken und die Rolle menschlicher Kontrolle bei der Planung von KI-Systemen berücksichtigt werden sollten.

Die notwendige Kontrolle hängt also nicht allein davon ab, wie zuverlässig das Modell grundsätzlich arbeitet. Entscheidend ist, welcher Schaden entstehen kann, wenn es im konkreten Anwendungsfall falsch liegt.

Erst die Daten prüfen, dann das KI-Modell auswählen

Viele vermeintliche KI-Probleme sind in Wirklichkeit gewöhnliche Datenprobleme.

Woher stammen die Informationen, die verarbeitet werden sollen? Sind sie vollständig? Bleibt das Datenformat gleich? Verwenden die beteiligten Systeme dieselben Identifikatoren? Gibt es häufig doppelte Datensätze? Und lässt sich das Ergebnis mit einer verlässlichen Datenquelle überprüfen?

Wenn ein Workflow Informationen aus fünf unterschiedlichen Systemen verarbeitet, diese sich gegenseitig widersprechen und niemand weiß, welches System maßgeblich ist, wird die Wahl eines anderen Sprachmodells das grundlegende Problem kaum lösen.

Gerade bei der Verarbeitung größerer Datenbestände macht klassische Software deshalb häufig einen erheblichen Teil der eigentlichen Arbeit.

Ein sinnvoll aufgebauter Workflow könnte beispielsweise zunächst eingehende Daten vereinheitlichen, Pflichtfelder überprüfen, Dubletten erkennen und vorhandene Informationen aus einer Datenbank ergänzen. Erst danach kommt ein KI-Modell zum Einsatz, um unstrukturierte Angaben zu interpretieren oder fehlende Inhalte vorzuschlagen. Die Ergebnisse werden anschließend validiert und erst dann weiterverarbeitet.

Ein produktiver KI-Workflow kann damit aus zahlreichen konventionellen Softwarekomponenten und nur einem einzigen KI-Schritt bestehen.

Das ist häufig sogar ein Vorteil. Klare Regeln und Datenbankabfragen liefern reproduzierbare Ergebnisse, während die KI genau dort eingesetzt wird, wo diese Methoden an ihre Grenzen stoßen.

Nicht das gesamte System muss intelligent sein. Nur die Teile, bei denen Intelligenz tatsächlich benötigt wird.

Was passiert mit dem Ergebnis?

Eine gute KI-Demo endet häufig damit, dass das Modell eine überzeugende Antwort ausgibt.

Ein brauchbarer Geschäftsprozess beginnt an dieser Stelle oft erst.

Was soll anschließend mit dem Ergebnis passieren? Muss ein Mitarbeiter die Informationen manuell in ein CRM übertragen? Wird ein Produktdatensatz aktualisiert? Entsteht zunächst ein Entwurf, der freigegeben werden muss? Oder soll ein anderes System automatisch eine Aktion ausführen?

Wenn Mitarbeiter die generierten Ergebnisse anschließend weiterhin zwischen verschiedenen Anwendungen kopieren müssen, verschwindet ein großer Teil des erhofften Effizienzgewinns.

Deshalb würde ich die technische Integration von Anfang an gemeinsam mit dem eigentlichen KI-Schritt planen. Das Ergebnis benötigt ein klar definiertes Zielsystem, ein geeignetes Datenformat und gegebenenfalls einen Freigabeprozess.

Bei der automatisierten Produktanlage könnte die KI beispielsweise fehlende Beschreibungen ergänzen und uneinheitliche Produkteigenschaften normalisieren. Anschließend sollte das Ergebnis aber nicht einfach als Text angezeigt werden, den ein Mitarbeiter manuell übertragen muss.

Sinnvoller wäre es, die Daten direkt als Entwurf im PIM-System bereitzustellen. Dort können sie überprüft, freigegeben und anschließend in die vorgesehenen Verkaufskanäle exportiert werden.

So wird aus einer isolierten KI-Funktion ein tatsächlich nutzbarer Arbeitsablauf.

Mit echten Beispielen testen – auch mit schwierigen

Bevor ein KI-Workflow produktiv eingesetzt wird, sollte er anhand eines repräsentativen Testdatensatzes überprüft werden.

Dabei reicht es nicht aus, ausschließlich saubere und eindeutig formulierte Beispiele zu verwenden. Gerade solche Fälle funktionieren in Demonstrationen häufig besonders gut, sagen aber wenig über die Zuverlässigkeit im Alltag aus.

Ein sinnvoller Testdatensatz sollte deshalb auch unvollständige Eingaben, ungewöhnliche Sonderfälle, mehrdeutige Informationen, fehlerhafte Formatierungen und doppelte Datensätze enthalten. Wo es relevant ist, sollten außerdem irreführende oder gezielt manipulierte Eingaben getestet werden.

Noch wichtiger ist, bereits vor der Auswertung festzulegen, woran der Erfolg gemessen wird.

Geeignete Kennzahlen können beispielsweise sein:

Anteil korrekt ausgefüllter Datenfelder
Anteil der Ergebnisse, die manuell geprüft werden müssen
Anzahl kritischer oder unzulässiger Fehler
Durchschnittliche Bearbeitungszeit
Kosten pro brauchbarem Ergebnis
Anteil der vollständig automatisiert verarbeiteten Datensätze

Eine allgemeine Aussage wie „Die Ergebnisse sehen ziemlich gut aus“ reicht für die Bewertung eines produktiven Systems nicht aus.

Ein Modell kann beispielsweise bei 95 Prozent der Datensätze überzeugende Ergebnisse liefern und trotzdem ungeeignet sein, wenn die verbleibenden fünf Prozent regelmäßig schwerwiegende Fehler enthalten.

Aktuelle Empfehlungen zur Evaluierung von KI-Systemen, unter anderem von OpenAI, legen deshalb Wert darauf, konkrete Erfolgskriterien festzulegen, repräsentative Beispiele zu verwenden und die Ergebnisse auch nach der Einführung regelmäßig zu überprüfen.

Dabei sollte nicht nur das Sprachmodell isoliert getestet werden, sondern der gesamte Workflow einschließlich Datenaufbereitung, Validierung und Weiterverarbeitung.

Was passiert, wenn die KI keine zuverlässige Antwort liefern kann?

Ein guter automatisierter Prozess benötigt einen definierten Umgang mit Unsicherheit.

Wenn notwendige Informationen fehlen, Ergebnisse widersprüchlich sind oder eine Validierung fehlschlägt, muss das System wissen, wie es weiter vorgehen soll.

Je nach Anwendungsfall kann es sinnvoll sein, den betreffenden Datensatz zur manuellen Prüfung weiterzuleiten, ein Feld unverändert zu lassen, zusätzliche Informationen anzufordern, eine alternative Methode auszuprobieren oder den Vorgang mit einer Fehlermeldung abzubrechen.

Wichtig ist, dass Unsicherheit nicht automatisch zu einer möglicherweise falschen Entscheidung führt.

Dabei sollte man auch berücksichtigen, dass die vom KI-Modell selbst angegebene Sicherheit nicht zwangsläufig zuverlässig ist. Eine überzeugend formulierte Antwort oder ein hoher selbst gemeldeter Konfidenzwert beweist noch nicht, dass das Ergebnis korrekt ist. Wo möglich, sollten deshalb unabhängige Prüfregeln und verlässliche Referenzdaten verwendet werden.

Das Ziel muss auch nicht sein, sämtliche Fälle ohne menschliche Beteiligung zu bearbeiten.

Ein System, das 80 Prozent der Routinefälle automatisch erledigt und die übrigen 20 Prozent zuverlässig zur Prüfung weiterleitet, kann bereits einen erheblichen wirtschaftlichen Nutzen bringen.

Oft ist eine solche Lösung deutlich robuster als der Versuch, auch die letzten ungewöhnlichen Sonderfälle vollständig zu automatisieren.

Den Aufwand für die menschliche Kontrolle nicht vergessen

Der Begriff Human-in-the-Loop klingt zunächst nach einer sicheren und vernünftigen Lösung: Die KI erledigt die Arbeit, ein Mensch überprüft das Ergebnis.

Allerdings ist das nicht automatisch effizient.

Wenn ein Mitarbeiter jedes KI-Ergebnis fünf Minuten lang kontrollieren muss, kann die Automatisierung am Ende kaum Zeit sparen. Besonders dann, wenn die ursprüngliche manuelle Aufgabe selbst nur wenige Minuten gedauert hat.

Deshalb sollte der tatsächliche Prüfaufwand bereits während eines Pilotprojekts gemessen werden.

Nehmen wir folgendes Beispiel:

Kennzahl	Wert
Datensätze pro Monat	1.000
Automatisch akzeptierte Ergebnisse	85 %
Manuell zu prüfende Ergebnisse	15 %
Durchschnittliche Prüfzeit	45 Sekunden
Monatlicher manueller Prüfaufwand	ca. 113 Minuten

Bei 1.000 Datensätzen müssen in diesem Beispiel nur 150 Ergebnisse manuell überprüft werden. Bei durchschnittlich 45 Sekunden pro Prüfung ergibt sich ein monatlicher Kontrollaufwand von knapp zwei Stunden.

Wenn die ursprüngliche Bearbeitung jedes Datensatzes beispielsweise drei Minuten gedauert hat, entspricht das insgesamt 50 Stunden manueller Arbeit pro Monat. Selbst unter Berücksichtigung zusätzlicher Systemkosten könnte die Automatisierung dann einen deutlichen Zeitgewinn ermöglichen.

Allerdings muss auch überprüft werden, ob die automatisch akzeptierten Ergebnisse tatsächlich zuverlässig sind. Eine niedrige manuelle Prüfquote ist schließlich kein Erfolg, wenn dabei zahlreiche Fehler unentdeckt bleiben.

Solche konkreten Berechnungen sind wesentlich aussagekräftiger als die isolierte Angabe, ein KI-Modell erreiche eine Genauigkeit von 92 Prozent.

Was kostet ein tatsächlich brauchbares Ergebnis?

Bei der wirtschaftlichen Bewertung eines KI-Workflows wird häufig zu stark auf die Preise der verwendeten Sprachmodelle geschaut.

Die Kosten pro API-Anfrage sind allerdings nur ein Teil der Gesamtrechnung.

Hinzu kommen möglicherweise Aufwendungen für Infrastruktur, API-Integrationen, Datenaufbereitung, menschliche Kontrolle, wiederholte Verarbeitungsversuche, Monitoring, Wartung und die Behandlung von Fehlern.

Auch Änderungen an den verwendeten Modellen können zusätzlichen Aufwand verursachen, wenn sich das Verhalten des Systems dadurch verändert und bestehende Prozesse erneut getestet werden müssen.

Die eigentlich interessante Kennzahl lautet deshalb:

Wie viel kostet es, ein vollständig nutzbares und ausreichend geprüftes Ergebnis zu erzeugen?

Wenn ein automatisierter Prozess zwei Euro an manueller Arbeitszeit spart, die Ausführung und Kontrolle aber zusammen 1,80 Euro kosten, ist der wirtschaftliche Nutzen möglicherweise zu gering.

Wenn dagegen aus einer zwanzigminütigen manuellen Aufgabe eine zweiminütige Kontrolle wird, kann sich der Einsatz bereits bei vergleichsweise kleinen Fallzahlen lohnen.

Natürlich lassen sich nicht alle Vorteile ausschließlich in eingesparter Arbeitszeit ausdrücken. Eine schnellere Bearbeitung kann beispielsweise auch die Kundenzufriedenheit verbessern, Bearbeitungsrückstände reduzieren oder zusätzliche Kapazitäten schaffen.

Trotzdem sollte zumindest nachvollziehbar sein, wodurch der wirtschaftliche Nutzen entstehen soll.

Lieber einen vollständigen Workflow als zehn KI-Demos

Ich würde grundsätzlich bevorzugen, einen sinnvollen Geschäftsprozess vollständig zu automatisieren, statt zahlreiche voneinander unabhängige KI-Prototypen zu entwickeln.

Dafür eignet sich besonders ein Ablauf, der regelmäßig vorkommt, ausreichend klar definierte Eingaben besitzt und ein messbares Ergebnis liefert. Die möglichen Fehler sollten kontrollierbar sein, und es muss jemanden geben, der die fachliche Verantwortung für den Prozess übernimmt.

Ein solcher Workflow lässt sich zunächst mit echten Eingaben testen und anschließend schrittweise verbessern.

Dabei treten häufig Probleme auf, die in einer isolierten Demonstration überhaupt nicht sichtbar werden: fehlende Daten, unerwartete Sonderfälle, API-Limits, unzureichende Berechtigungen, doppelte Datensätze oder unklare Zuständigkeiten.

Das sind keine ungewöhnlichen KI-Probleme. Es sind typische Herausforderungen bei der Entwicklung und Integration produktiver Software.

Sie zeigen allerdings, warum die Arbeit an Schnittstellen, Datenstrukturen und Fehlerbehandlung häufig genauso wichtig ist wie die Auswahl und Konfiguration des eigentlichen KI-Modells.

Eine beeindruckende Demo lässt sich oft relativ schnell erstellen. Ein zuverlässiger Prozess, der täglich ohne ständige manuelle Eingriffe funktioniert, ist eine andere Aufgabe.

Vorher festlegen, wann ein Pilotprojekt erfolgreich ist

Noch bevor ein Pilotprojekt beginnt, sollte feststehen, welche Anforderungen die Lösung erfüllen muss.

Bei einer automatisierten Produktdatenverarbeitung könnten die Erfolgskriterien beispielsweise so aussehen:

Kriterium	Mindestanforderung
Korrekte Produktkategorien	Mindestens 90 %
Erfundenen Preise oder Produktidentifikatoren	Keine
Anteil manuell zu prüfender Datensätze	Unter 20 %
Verarbeitungskosten pro Artikel	Unter 0,10 €
Eingesparte Arbeitszeit	Mindestens 5 Stunden pro Woche

Die konkreten Grenzwerte müssen natürlich zum jeweiligen Geschäftsprozess passen. Bei kritischen Datenfeldern können wesentlich strengere Anforderungen notwendig sein als bei internen Textentwürfen.

Wichtig ist, dass die Kriterien vor der Durchführung des Tests festgelegt werden und nicht erst dann, wenn die Ergebnisse vorliegen.

Wenn ein Workflow die Anforderungen nicht erfüllt, ist das zunächst eine wertvolle Erkenntnis. Vielleicht muss die Datenbasis verbessert werden. Vielleicht benötigt das Modell klarere Anweisungen oder zusätzliche Referenzinformationen. Möglicherweise liefert ein anderes Modell bessere Ergebnisse, oder der Prozess muss anders aufgebaut werden.

Und manchmal zeigt der Test schlicht, dass künstliche Intelligenz für diese konkrete Aufgabe nicht die richtige Lösung ist.

Auch das kann ein erfolgreiches Pilotprojekt sein. Schließlich ist es wesentlich günstiger, eine ungeeignete Idee frühzeitig zu erkennen, als eine komplexe Lösung zu entwickeln, deren wirtschaftlicher Nutzen sich später nicht nachweisen lässt.

KI sollte eine Komponente des Workflows sein, nicht das gesamte System

Die interessantesten KI-Anwendungen im Unternehmensalltag sind häufig keine eigenständigen KI-Produkte. Es handelt sich vielmehr um normale Softwarelösungen, die künstliche Intelligenz genau dort einsetzen, wo Informationen interpretiert oder Entscheidungen vorbereitet werden müssen.

Die übrigen Bestandteile bestehen aus klassischer Softwareentwicklung: Datenbankabfragen, Geschäftsregeln, Schnittstellen, Validierungen und Benutzeroberflächen.

Ein typischer Ablauf könnte so aussehen:

Eingehende Daten
       ↓
Datenaufbereitung
       ↓
Validierung und Geschäftsregeln
       ↓
KI-Verarbeitung, falls erforderlich
       ↓
Automatische Ergebnisprüfung
       ↓
Manuelle Freigabe bei Bedarf
       ↓
Übertragung ins Zielsystem

Eine solche Architektur hat mehrere Vorteile. Die einzelnen Schritte lassen sich getrennt testen und überwachen, Fehler können leichter eingegrenzt werden und die Abhängigkeit von einem bestimmten KI-Anbieter bleibt überschaubar.

Wenn später ein anderes Modell günstiger, schneller oder zuverlässiger arbeitet, kann die entsprechende Komponente möglicherweise ausgetauscht werden, ohne den gesamten Workflow neu entwickeln zu müssen.

Das ist gerade bei einer Technologie wichtig, die sich derzeit so schnell verändert.

Checkliste: Diese Fragen sollten vor der Entwicklung geklärt sein

Für die erste Bewertung eines KI-Workflows braucht es keine hundertseitige KI-Strategie. Einige grundlegende Fragen sollten allerdings beantwortet werden können.

Frage	Warum sie wichtig ist
Welchen Prozess möchten wir verbessern?	Damit ein konkretes Problem gelöst wird und nicht nur eine Technologie eingeführt wird.
Welche Arbeitsschritte benötigen tatsächlich KI?	Um unnötige Komplexität und Kosten zu vermeiden.
Woher stammen die Eingabedaten?	Damit Datenqualität und Verfügbarkeit überprüft werden können.
Welches System ist die maßgebliche Datenquelle?	Um widersprüchliche Informationen und falsche Entscheidungen zu vermeiden.
Welche Fehler können auftreten und was kosten sie?	Um angemessene Sicherheits- und Kontrollmechanismen festzulegen.
Welche Ergebnisse lassen sich automatisch validieren?	Um manuelle Prüfungen auf die notwendigen Fälle zu beschränken.
Wann muss ein Mitarbeiter eingreifen?	Damit das System mit Unsicherheit und Ausnahmen umgehen kann.
Wo werden die Ergebnisse weiterverarbeitet?	Damit eine vollständige Automatisierung statt einer isolierten Demo entsteht.
Wie viel manuelle Arbeit soll eingespart werden?	Um den wirtschaftlichen Nutzen realistisch bewerten zu können.
Woran erkennen wir, dass das Pilotprojekt erfolgreich ist?	Damit die Entscheidung über den produktiven Einsatz auf messbaren Ergebnissen beruht.

Wenn diese Fragen einigermaßen klar beantwortet sind, wird auch die anschließende technische Planung deutlich einfacher. Dann lässt sich entscheiden, welche Teile mit klassischer Software umgesetzt werden sollten, wo ein KI-Modell sinnvoll ist und welche Anforderungen die gewählte Technologie erfüllen muss.

Wenn die Antworten dagegen noch weitgehend unklar sind, würde ich genau dort anfangen und nicht mit dem Vergleich verschiedener Sprachmodelle.

Fazit: Erst den Workflow verstehen, dann über KI entscheiden

Künstliche Intelligenz kann bei der Automatisierung betrieblicher Abläufe einen erheblichen Mehrwert schaffen. Besonders dort, wo große Mengen unstrukturierter Informationen verarbeitet, Texte interpretiert oder Entscheidungen auf Grundlage komplexer Eingaben vorbereitet werden müssen.

Allerdings ist nicht jeder Prozess ein sinnvoller KI-Anwendungsfall.

Häufig lassen sich einzelne Arbeitsschritte mit klassischen Regeln, Datenbankabfragen oder bestehenden Schnittstellen einfacher und zuverlässiger automatisieren. In anderen Fällen sind zunächst Verbesserungen an den Datenstrukturen oder der Prozessorganisation notwendig.

Deshalb würde ich bei einem neuen KI-Projekt nicht mit der Auswahl eines Sprachmodells beginnen, sondern mit einer Bestandsaufnahme: Wie funktioniert der aktuelle Ablauf, welche Probleme sollen gelöst werden, welche Fehler sind akzeptabel und wie lässt sich der Erfolg messen?

Erst danach sollte entschieden werden, welche Technologie dafür geeignet ist.

Das Ziel ist nicht, möglichst viel KI einzusetzen. Das Ziel ist, einen zuverlässigeren, schnelleren oder wirtschaftlicheren Arbeitsablauf zu schaffen.

Im Idealfall entsteht daraus kein isoliertes KI-Tool, sondern eine gut integrierte Softwarelösung, bei der künstliche Intelligenz eine klar definierte Aufgabe übernimmt und alle übrigen Schritte nachvollziehbar, überprüfbar und wartbar bleiben.

Bei Projekten im Bereich Tooling & Automation beschäftige ich mich genau mit solchen Lösungen: von der Aufbereitung und Integration bestehender Daten über individuelle Softwaretools und klassische Automatisierung bis hin zu KI-gestützten Verarbeitungsschritten, wenn diese einen tatsächlichen Nutzen bieten.