Att få en AI-agent från demo till daglig användning har mindre att göra med modellen än med gränsfall, saknade data och förtroende. Alberto Arrighi leder användarframgång på StackAI, som nu är en del av Asana, och Max Poff är en av företagets framåtriktade tekniker, som delar sin tid mellan att skriva kod och implementera agenter på banker, private equity-företag, byråer och försvarsentreprenörer. I en intervju nyligen på MTS delade de med sig av fem metoder som tar en agent från prototyp till produktion: börja med ett tråkigt arbetsflöde med hög risk, behandla användartestning som den verkliga versionen, koppla samman de data som hela teamet förlitar sig på, bygg in en inlärningsslinga och utforma för säkerhet från dag ett.
Den svåraste delen är sträckan mellan en fungerande demo och det ögonblick då användarna litar på agenten i sitt dagliga arbete. "Det svåraste är att hantera de gränsfall som uppstår mellan demon och den punkt där användarna verkligen litar på den i den dagliga produktionen", säger Max.
Demovolymer körs på rena indata och en persons antaganden. Produktionsmiljön innebär röriga dokument, saknade behörigheter och kollegor som arbetar på ett annat sätt än personen som sponsrade projektet.
De bästa första agenterna tar sig an arbete som är viktigt men långsamt. Max beskrev ett risk- och efterlevnadsteam på en stor europeisk bank. Varje gång ett förslag om en verksamhetsförändring kom in korsgranskade riskhanterarna ett omfattande riskregister för att upptäcka nya risker och sedan ett kontrollregister för att tilldela riskreducerande åtgärder.
Teamet skickar nu förslaget till en anpassad Slack-bot. Ett StackAI-arbetsflöde returnerar en formaterad Excel-arbetsbok med den fullständiga riskbedömningen, flaggade risker och kartlagda kontroller. "En uppgift som tidigare tog en hel eftermiddag tar nu ungefär 10–15 minuter", säger Max.
Två saker gjorde att det fungerade: agenten mötte människor i ett verktyg som de redan använde, och resultatet kom i det format som de redan arbetade i.
Användaracceptanstestning (UAT) är när en demo blir en produkt. Max arbetade med teamet av chefsassistenter på ett private equity-företag för att automatisera kostnadskodningen i SAP Concur. "Man kan skapa en demo för det väldigt snabbt", sa han. "Men när vi väl visade den för betatestare började det riktiga arbetet."
StackAI genomför en strukturerad UAT-fas vid varje implementering för att upptäcka de fall där agenten misslyckas. Varje korrigering gör arbetsflödet mer motståndskraftigt mot användning i verkligheten. Planera in den här fasen i din tidslinje. Det är inte ett tecken på att projektet ligger efter.
En agent som skapas med en intressent ser bara den intressentens värld. Albertos team byggde en medieplaneringsagent åt en av de största medie- och marknadsföringsbyråerna i norra Europa. Utifrån en kundsammanfattning rekommenderar den kanaler, budgetfördelning och en lanseringsplan.
Den såg bra ut för den huvudsakliga intressenten. När det större teamet testade den pekade de på kritiska dataset som agenten inte kunde nå. "Det är enkelt att bygga en demo; det är när du låter riktiga testare prova den som du upptäcker saknade systembehörigheter eller felaktig logik", sa Alberto. Lösningen var att ansluta fler verktyg och bryta ner silon mellan dem.
Detta återspeglar en mer omfattande förändring. För ett år sedan kopplade de flesta användningsfallen en agent till en enda kunskapsbas. I dag är de orkestreringssystem som hämtar information från många källor, utlöses av händelser och vidtar åtgärder i olika verktyg.
Agenter blir mer användbara när de kommer ihåg vad de lär sig. StackAI-agenter sparar delade minnesfiler för alla användare i en kundorganisation. När personer använder agenten och ger feedback uppdateras minnet, och agenten laddar det vid framtida körningar.
Alberto pekade på en andra slinga: att skriva tillbaka resultat till den ursprungliga kunskapsbasen. "Den kontinuerliga återmatningsslingan är en enorm värdedrivare för våra företagsimplementeringar", sa han. Med tiden bidrar varje körning till organisationens kunskap.
I reglerade branscher spelar det lika stor roll hur en agent körs som vad den gör. De ledande finansinstituten kräver i allt högre grad att teamkollegor körs i deras privata moln eller lokalt, inte i en delad SaaS-infrastruktur. StackAI stödjer också försvarsentreprenörer som arbetar i air-gappade miljöer.
”För försvars-, bank- och hedgefonder är säkerheten kring datagränserna inte förhandlingsbar”, sa Max. Styrning, observerbarhet och säkerhet blir avgörande när agenter hanterar känsliga data och vidtar åtgärder med högre risk.
Modeller hanterar nu strukturerade data väl. "När jag började var det vanliga rådet: om ditt arbetsflöde är beroende av ett rörigt, invecklat Excel-kalkylark är AI förmodligen inte rätt lösning", säger Max. Idag skapar många av de agenter han bygger komplexa, formaterade Excel-arbetsböcker.
Agenter kan också köras i bakgrunden och upprätthålla ett datalager medan människor helt enkelt ställer frågor. Max anser att detta sätter press på statiska BI-paneler: ”Paneler representerar statiska ögonblicksbilder av vad någon har gissat att du kanske vill se.”
Alla ovanstående metoder handlar om en sak: kontext, organisationskunskap … att förstå vem som gör vad och när, hur och varför. En agent går från demo till daglig användning när den kan se data, beslut och ägare bakom arbetet. Det är precis vad Asana Work Graph® innehåller. StackAI lägger till systemövergripande genomförande, så att agenter kan agera i de verktyg som ett företag använder. Tillsammans behöver ett arbetsflöde inte börja i ett chattfönster: när en uppgift tilldelas i Asana kan en StackAI-agent utlösas för att utföra arbetet från början till slut, med personer som godkänner och överlämnar arbete längs vägen. "Att koppla agentfunktioner direkt till företagsarbetsdiagram öppnar upp för en helt ny verksamhetsnivå", säger Alberto.
Är du redo att ta dina egna AI-assistentarbetsflöden från demo till daglig användning? Läs mer om hur StackAI by Asana hjälper företag att bygga, testa och distribuera agenter i de system som deras verksamhet använder.
Alberto Arrighi leder användarframgång på StackAI, som nu är en del av Asana. Hans team av AI-strateger och framåtriktade tekniker arbetar med företagskunder för att hitta de mest värdefulla arbetsflödena för agenter och omvandla dem till specifikationer och krav för implementeringar i produktion. Han började på StackAI som AI-strateg.
Max Poff är en forward-deployed engineer på StackAI, som nu ingår i Asana. Han delar sin tid mellan att skriva kod och distribuera agenter hos företagskunder, inklusive risk- och efterlevnadsteam inom banksektorn och verksamhetsteam inom private equity, och använder det han lär sig för att förbättra produkten.