Einen KI-Assistenten von der Demo bis zum täglichen Einsatz zu bringen, hat weniger mit dem Modell zu tun als mit Sonderfällen, fehlenden Daten und Vertrauen. Alberto Arrighi leitet den Bereich Customer Success bei StackAI, das jetzt zu Asana gehört, und Max Poff ist einer der Forward-Deployed Engineers des Unternehmens, die ihre Zeit zwischen dem Schreiben von Code und der Bereitstellung von Agenten in Banken, Private-Equity-Unternehmen, Agenturen und Rüstungsunternehmen aufteilen. In einem kürzlich bei MTS veröffentlichten Interview sprachen sie über fünf Vorgehensweisen, mit denen ein Assistent vom Prototyp zur produktiven Anwendung gelangt: Beginnen Sie mit einem mühsamen Workflow mit hohem Risiko, betrachten Sie Benutzertests als die eigentliche Entwicklung, verknüpfen Sie die Daten, auf die sich das gesamte Team verlässt, integrieren Sie eine Lernschleife und sorgen Sie vom ersten Tag an für Sicherheit.
Der schwierigste Teil ist die Phase zwischen einer funktionierenden Demo und dem Moment, in dem die Benutzer dem Agenten bei ihrer täglichen Arbeit vertrauen. „Der schwierigste Teil ist der Umgang mit den Grenzfällen, die zwischen der Demo und dem Punkt auftreten, an dem die Benutzer*innen dem Agenten in der täglichen Produktion wirklich vertrauen“, so Max.
Demos laufen mit sauberen Eingaben und den Annahmen einer Person. In der produktiven Umgebung gibt es unübersichtliche Dokumente, fehlende Berechtigungen und Kolleg*innen, die anders arbeiten als die Person, die das Projekt initiiert hat.
Die besten ersten Agenten übernehmen Aufgaben, die zwar wichtig, aber zeitaufwendig sind. Max beschrieb ein Risiko- und Compliance-Team bei einer großen europäischen Bank. Jedes Mal, wenn ein Vorschlag für eine geschäftliche Änderung einging, glichen die Risikomanager ein umfangreiches Risikoregister ab, um neue Risiken zu identifizieren, und anschließend ein Kontrollregister, um Maßnahmen zur Risikominderung zuzuweisen.
Das Team postet den Vorschlag jetzt in einem benutzerdefinierten Slack-Bot. Ein StackAI-Workflow liefert eine formatierte Excel-Arbeitsmappe mit der vollständigen Risikobewertung, den markierten Risiken und den zugeordneten Kontrollmaßnahmen. „Eine Aufgabe, die früher einen ganzen Nachmittag in Anspruch nahm, dauert jetzt etwa 10 bis 15 Minuten“, sagte Max.
Zwei Dinge haben dazu beigetragen, dass sich die Lösung durchgesetzt hat: Der Agent traf die Mitarbeiter in einem Tool an, das sie bereits verwendeten, und das Ergebnis wurde in dem Format bereitgestellt, in dem sie bereits arbeiteten.
Beim Akzeptanztest für Endnutzer (UAT – User Acceptance Testing) wird aus einer Demo ein Produkt. Max arbeitete mit dem Team der Assistenten von Führungskräften einer Private-Equity-Firma zusammen, um die Ausgabenkodierung in SAP Concur zu automatisieren. „Man kann dafür sehr schnell eine Demo erstellen“, sagte er. „Aber als wir sie den Beta-Tester*innen vorstellten, begann die eigentliche Arbeit.“
StackAI führt bei jeder Bereitstellung eine strukturierte UAT-Phase durch, um die Fälle aufzudecken, in denen der Agent versagt. Jede Korrektur macht den Workflow widerstandsfähiger gegenüber dem Einsatz in der Praxis. Planen Sie diese Phase in Ihrer Zeitleiste ein; sie ist kein Zeichen dafür, dass das Projekt im Verzug ist.
Ein Agent, der mit nur einem Beteiligten entwickelt wurde, sieht nur die Welt dieses Beteiligten. Albertos Team hat einen Medienplaner-Agenten für eine der größten Medien- und Marketingagenturen in Nordeuropa entwickelt. Auf der Grundlage eines Kunden-Briefings empfiehlt er Kanäle, Budgetzuweisungen und einen Einführungsplan.
Für den wichtigsten Stakeholder schien der Agent gut zu funktionieren. Als das gesamte Team ihn testete, wies es auf wichtige Datensätze hin, auf die der Assistent keinen Zugriff hatte. „Eine Demo zu erstellen ist einfach. Wenn man sie jedoch echten Testern zugänglich macht, entdeckt man fehlende Systemberechtigungen oder fehlerhafte Logik“, so Alberto. Die Lösung bestand darin, mehr Tools zu verbinden und die Barrieren zwischen ihnen abzubauen.
Dies spiegelt einen umfassenderen Wandel wider. Vor einem Jahr verbanden die meisten Anwendungsfälle einen KI-Assistenten mit einer einzigen Wissensdatenbank. Heute sind es Orchestrierungssysteme, die Informationen aus vielen Quellen beziehen, bei bestimmten Ereignissen ausgelöst werden und toolübergreifend Maßnahmen ergreifen.
Assistenten werden nützlicher, wenn sie sich daran erinnern, was sie gelernt haben. StackAI-Agenten speichern gemeinsame Erinnerungsdateien für alle Nutzer*innen in einem Kundenunternehmen. Wenn Benutzer den Agenten nutzen und Feedback geben, wird dieser Speicher aktualisiert und der Agent lädt ihn bei zukünftigen Ausführungen.
Alberto wies auf eine zweite Schleife hin: das Zurückschreiben von Ergebnissen in die ursprüngliche Wissensdatenbank. „Diese kontinuierliche Rückschreibeschleife ist ein enormer Werttreiber für unsere Unternehmensbereitstellungen“, sagte er. Im Laufe der Zeit trägt jeder Ausführungslauf dazu bei, das Wissen des Unternehmens zu erweitern.
In regulierten Branchen ist es genauso wichtig, wie ein Agent ausgeführt wird, wie das, was er tut. Führende Finanzinstitute verlangen zunehmend, dass Agents in ihrer privaten Cloud oder lokal ausgeführt werden und nicht in einer gemeinsam genutzten SaaS-Infrastruktur. StackAI unterstützt auch Rüstungsunternehmen, die in Umgebungen mit Air-Gap-Sicherheit arbeiten.
„Für Verteidigungsunternehmen, Banken und Hedgefonds ist die Sicherheit der Datenumgebung nicht verhandelbar“, so Max. Governance, Beobachtbarkeit und Sicherheit werden unverzichtbar, sobald Agenten mit sensiblen Daten in Berührung kommen und Maßnahmen mit höheren Risiken ergreifen.
Modelle kommen jetzt gut mit strukturierten Daten zurecht. „Als ich anfing, lautete der gängige Rat: Wenn Ihr Workflow von einer unübersichtlichen, komplizierten Excel-Tabelle abhängt, ist KI wahrscheinlich nicht die richtige Lösung“, so Max. Heute erstellen viele der von ihm entwickelten Agenten komplexe, formatierte Excel-Arbeitsmappen.
Agenten können auch im Hintergrund ausgeführt werden und eine Datenschicht pflegen, während Menschen einfach Fragen stellen. Max ist der Ansicht, dass dies statische BI-Dashboards unter Druck setzt: „Dashboards stellen statische Momentaufnahmen dessen dar, von dem jemand vermutet hat, dass Sie es sehen möchten.“
Alle oben genannten Vorgehensweisen laufen auf eines hinaus: Kontext, unternehmensweites Wissen … das Verständnis dafür, wer was bis wann, wie und warum erledigt. Ein Agent schafft den Übergang von der Demo zum täglichen Einsatz, wenn er die Daten, Entscheidungen und Verantwortlichen hinter der Arbeit sehen kann. Und genau das ist im Asana Work Graph® enthalten. StackAI ermöglicht die systemübergreifende Ausführung, sodass Agenten über die Tools hinweg agieren können, die ein Unternehmen verwendet. Gemeinsam muss ein Workflow nicht in einem Chat-Fenster beginnen: Die Zuweisung einer Aufgabe in Asana kann einen StackAI-Agenten dazu veranlassen, den gesamten Prozess von Anfang bis Ende abzuwickeln, wobei die beteiligten Personen die Arbeit unterwegs genehmigen und weitergeben. „Die direkte Integration von agentischen Funktionen in den Enterprise Work Graph eröffnet eine völlig neue operative Ebene“, so Alberto.
Sind Sie bereit, Ihre eigenen Workflows für KI-Assistenten von der Demo in den täglichen Einsatz zu überführen? Erfahren Sie, wie StackAI by Asana Unternehmen dabei unterstützt, Agenten für die Systeme zu erstellen, zu testen und bereitzustellen, auf denen ihr Geschäft basiert.
Alberto Arrighi leitet das Customer-Success-Team bei StackAI, das jetzt zu Asana gehört. Sein Team aus KI-Strategen und Entwicklern, die direkt vor Ort arbeiten, unterstützt Unternehmenskunden dabei, die wertvollsten Workflows für Agenten zu identifizieren und diese in Spezifikationen und Anforderungen für die Bereitstellung in der Produktion umzuwandeln. Er begann seine Karriere bei StackAI als KI-Stratege.
Max Poff ist ein Forward-Deployed Engineer bei StackAI, das jetzt zu Asana gehört. Er teilt seine Zeit zwischen dem Schreiben von Code und der Bereitstellung von Agenten für Unternehmenskunden auf, darunter Risiko- und Compliance-Teams im Bankwesen und Operations-Teams im Private-Equity-Bereich, und lässt das, was er lernt, in das Produkt einfließen.