AI-Agenten brauchen Aufsicht und verlässliche Daten

Agentic AI kommt wie ein Tsunami auf den deutschen Mittelstand zu.

Künstlich intelligente Agenten bieten den Unternehmen nämlich große Vorteile, sie müssen aber von menschlichen Instanzen überwacht und mit verlässlichen Daten gefüttert werden. Andernfalls können regulatorische Vorgaben und ethische Standards nicht eingehalten werden.

Agentic AI verspricht Unternehmen erhebliche Effizienzgewinne. Wie von Beyond Buzwords ausführlich beschrieben zerlegen AI-Agenten komplexe Aufgaben in kleinere, überschaubare Teilaufgaben, die sich einfacher lösen lassen. Agenten, die bestimmte Rollen wahrnehmen oder auf bestimmte Tätigkeiten spezialisiert sind, führen diese Aufgaben dann automatisiert aus. Anschließend setzt ein übergeordneter Agent die Ergebnisse zusammen, um die Gesamtaufgabe zu lösen.

Damit ermöglicht agentische AI mehr und bessere Automatisierung. Sie birgt aber auch Risiken: Algorithmen könnten diskriminierende Entscheidungen treffen, die Entscheidungen von Agenten sind unter Umständen nicht transparent nachvollziehbar oder es entstehen Sicherheitslücken. Unternehmen laufen Gefahr, gegen regulatorische Vorgaben und ethische Standards zu verstoßen.

Agentic AI benötigt daher einen Governance-Rahmen. Im Zentrum steht dabei die Überwachung durch Menschen, denn eine selbstgesteuerte Überwachung durch Agenten reicht nicht aus. Der Plattform-Anbieter Pegasystems rät Unternehmen, Schritt für Schritt eine robuste Governance für Agentic AI zu etablieren:

1. Governance:
   Zunächst müssen Unternehmen die internen Verantwortlichkeiten für ihre AI-Systeme klären. Zudem sollten sie Standards festlegen, die auf regulatorischen Anforderungen wie dem EU AI Act und der DSGVO basieren.
   
   
2. Risikoanalyse:
   Im zweiten Schritt werden Hochrisiko-Anwendungen identifiziert. Mittels kontinuierlichem Monitoring für diskriminierende AI-Entscheidungen („Bias“), Sicherheit und Datenschutz vermeiden Anwender Risiken. 
   
   
3. Transparenz:
   Unternehmen sollten durchschaubare AI-Modelle auswählen oder ergänzende Mechanismen für die Nachvollziehbarkeit von AI-Modellen in die Agentic AI implementieren. Hilfreich ist auch eine Dokumentation der AI-Entscheidungen für Audits und Regulierungsbehörden.
   
   
4. Human-in-the-Loop:
   Im nächsten Schritt müssen Anwenderorganisationen menschliche Kontrolle in kritische Entscheidungsprozesse integrieren. Zusätzlich definieren sie klare Eingriffsmechanismen bei Fehlentscheidungen und legen die Verantwortung für finale Entscheidungen fest.
   
   
5. Überwachung:
   Die Governance-Richtlinien sollten regelmäßig evaluiert und aktualisiert werden. Dazu implementieren Unternehmen am besten ein „AI Governance Board“ oder ähnliche Kontrollinstanzen.
   
   
6. Schulung:
   In Trainingsprogrammen informieren Unternehmen ihre Entwickler und Entscheidungsträger zu ethischen und rechtlichen Anforderungen. Damit schaffen sie eine Governance-Kultur, in der die Verantwortung für Künstliche Intelligenz ernst genommen wird.
   
   

„Wenn Unternehmen beim Einsatz von agentischer AI für Transparenz, Fairness und Sicherheit sorgen, minimieren sie nicht nur Risiken. Sie verschaffen sich auch Wettbewerbsvorteile, weil sie das Vertrauen in ihre AI-Systeme stärken“, erklärte Florian Lauck-Wunderlich, Head of AI and Advanced Analytics Consulting EMEA bei Pegasystems. „Dabei verfolgen sie am besten einen strukturierten Governance-Ansatz mit klaren Verantwortlichkeiten, regelmäßigen Audits und menschlicher Kontrolle.

Datenbasis muss in Ordnung sein

Ein häufiger Grund für potentielles „Fehlverhalten“ von AI-Agenten sind inkorrekte Daten. Müssen Entscheidungen auf Basis einer korrumpierten Datenbasis getroffen werden, darf kein Anwender mit brauchbaren Ergebnissen rechnen. „Unternehmen müssen zentrale Herausforderungen wie Datengenauigkeit und Governance angehen, um sicherzustellen, dass KI-Workflows nachhaltigen und skalierbaren Mehrwert liefern“, erklärte daher Stewart Bond, Research Vice President Data Integration and Intelligence bei IDC. Blieben diese grundlegenden Probleme ungelöst, drohten Unternehmen in ein „AI-Wirrwarr“ abzugleiten – eine Situation, in der ambitionierte Pläne an fehlenden Umsetzungsfähigkeiten scheitern und das enorme Potenzial ungenutzt bleibt.

„Das Potenzial von AI hängt davon ab, wie effektiv Unternehmen ihre AI-Wertschöpfungskette managen und integrieren“, bestätigte James Fisher, Chief Strategy Officer beim Datenspezialisten Qlik, der IDC mit dem Erstellen der Studie „Priorities and Challenges of Data and Analytics in the Midst of AI Momentum“ beauftragt hat. Sie erbrachte folgende Erkenntnisse:

1. 80 Prozent der Unternehmen investieren in agentenbasierte AI-Workflows, doch nur zwölf Prozent sind zuversichtlich, dass ihre Infrastruktur autonome Entscheidungen unterstützen kann.
   
   
2. Unternehmen, die Daten als Produkt behandeln, haben eine siebenmal höhere Wahrscheinlichkeit, generative AI-Lösungen in großem Umfang zu implementieren.
   
   
3. 94 Prozent der Unternehmen haben bereits Analytik in ihre Unternehmensanwendungen integriert oder planen dies, doch nur 23 Prozent haben die vollständige Integration erreicht.
   
   
4. 89 Prozent der Unternehmen haben ihre Datenstrategien als Reaktion auf generative KI überarbeitet – ein klares Zeichen für deren transformative Wirkung.
   
   
5. Obwohl 73 Prozent der Unternehmen generative AI in ihre Analyselösungen integriert haben, sind nur 29 Prozent in der Lage, diese Technologien vollständig zu nutzen.
   
   

Die Studie beleuchtet damit eine Situation, in der Unternehmen weltweit darum ringen, AI erfolgreich in ihre Arbeitsabläufe zu integrieren. Bis 2030 könnte die AI Schätzungen zufolge 19,9 Billionen Dollar zur Weltwirtschaft beitragen. Dafür verlagern Unternehmen zunehmend ihren Fokus von AI-Modellen hin zum Aufbau grundlegender Datenökosysteme, die für langfristigen Erfolg essenziell sind.

Die Ergebnisse der Studie verdeutlichten, dass die Anwender über bloßes Experimentieren hinaus gehen und bestehende Lücken in ihrer AI-Vorbereitung schließen müssen. Ein klarer Fokus auf Governance, Infrastruktur und Datenintegration sei dabei unerlässlich. „Die Studie zeigt eine deutliche Diskrepanz zwischen Ambition und Umsetzung. Unternehmen, die es versäumen, zuverlässige und umsetzbare Erkenntnisse aus ihren Systemen zu gewinnen, werden schnell von Wettbewerbern überholt, die auf skalierbare, KI-gestützte Innovationen setzen“, so Fisher.