Een AI-agent van demo naar dagelijks gebruik krijgen heeft minder te maken met het model dan met randgevallen, ontbrekende gegevens en vertrouwen. Alberto Arrighi leidt het klantsucces bij StackAI, nu onderdeel van Asana, en Max Poff is een van de forward-deployed engineers, die hun tijd verdelen tussen het schrijven van code en het inzetten van agenten binnen banken, private-equityfirma's, agentschappen en defensieaannemers. In een recent interview op MTS deelden ze vijf praktijken die een agent van prototype naar productie brengen: begin met een vervelende workflow met hoge inzet, behandel gebruikerstests als de echte build, koppel de gegevens waarop het hele team vertrouwt, bouw een leerlus in en ontwerp vanaf de eerste dag met het oog op beveiliging.
Het moeilijkste deel is de overgang tussen een werkende demo en het moment waarop gebruikers de agent in hun dagelijkse werk vertrouwen. "Het moeilijkste is het omgaan met de randgevallen die zich voordoen tussen de demo en het moment waarop gebruikers er echt op vertrouwen in de dagelijkse productie," zei Max.
Demo's draaien op schone input en de veronderstellingen van één persoon. De productie brengt rommelige documenten, ontbrekende machtigingen en collega's met zich mee die anders werken dan de persoon die het project heeft gesponsord.
De beste eerste agenten nemen werk op zich dat essentieel maar traag is. Max beschreef een risico- en nalevingsteam bij een grote Europese bank. Elke keer wanneer er een voorstel voor een bedrijfswijziging binnenkwam, controleerden risicobeheerders een groot risicoregister om nieuwe risico's op te sporen, en vervolgens een controleregister om risicobeperkende maatregelen toe te wijzen.
Het team plaatst het voorstel nu bij een aangepaste Slack-bot. Een StackAI-workflow levert een opgemaakte Excel-werkmap met de volledige risicobeoordeling, gemarkeerde risico's en toegewezen beheersmaatregelen. "Een taak die vroeger een hele middag in beslag nam, duurt nu ongeveer 10 tot 15 minuten," zei Max.
Twee dingen zorgden ervoor dat het bleef hangen: de agent ontmoette mensen in een tool die ze al gebruikten, en de output kwam in het formaat aan waarin ze al werkten.
Bij gebruikersacceptatietests (UAT) wordt een demo een product. Max werkte samen met het team van managementassistenten van een private-equityfirma om de onkostencodering in SAP Concur te automatiseren. "Je kunt daar heel snel een demo voor bouwen," zei hij. "Maar toen we het aan bètatesters lieten zien, begon het echte werk."
StackAI voert bij elke implementatie een gestructureerde UAT-fase uit om de gevallen aan het licht te brengen waarin de agent faalt. Elke oplossing maakt de workflow veerkrachtiger voor gebruik in de praktijk. Plan deze fase in je tijdlijn; het is geen teken dat het project achterloopt.
Een agent die is gebouwd met één belanghebbende, ziet alleen de wereld van die belanghebbende. Het team van Alberto bouwde een mediaplanner-agent voor een van de grootste media- en marketingbureaus in Noord-Europa. Op basis van een klantbriefing adviseert de agent over kanalen, budgettoewijzingen en een uitrolplan.
Het zag er goed uit bij de primaire belanghebbende. Toen het bredere team het testte, wezen ze op cruciale datasets die de teamgenoot niet kon bereiken. "Het bouwen van een demo is eenvoudig; wanneer je het openstelt voor echte testers, ontdek je ontbrekende systeemrechten of gebrekkige logica", zei Alberto. De oplossing was om meer tools te verbinden en de silo's ertussen af te breken.
Dit weerspiegelt een bredere verschuiving. Een jaar geleden verbonden de meeste use cases een medewerker met één enkele kennisbank. Tegenwoordig zijn het orkestratiesystemen die informatie uit veel bronnen halen, op gebeurtenissen reageren en actie ondernemen in verschillende tools.
Agenten worden nuttiger als ze onthouden wat ze leren. StackAI-agenten bewaren gedeelde geheugenbestanden voor alle gebruikers in een klantorganisatie. Wanneer mensen de agent gebruiken en feedback geven, wordt dat geheugen bijgewerkt en laadt de agent het in toekomstige uitvoeringen.
Alberto wees op een tweede lus: het terugschrijven van outputs naar de oorspronkelijke kennisbank. "Die continue terugschrijflus is een enorme waardestuwer voor onze implementaties in ondernemingen," zei hij. Na verloop van tijd draagt elke run bij aan wat de organisatie weet.
In gereguleerde sectoren is de manier waarop een agent werkt net zo belangrijk als wat hij doet. Toonaangevende financiële instellingen eisen steeds vaker dat agenten in hun private cloud of on-premise worden uitgevoerd, niet op een gedeelde SaaS-infrastructuur. StackAI ondersteunt ook defensieaannemers die actief zijn in air-gapped omgevingen.
"Voor defensie, banken en hedgefondsen is de beveiliging van de gegevensperimeter niet onderhandelbaar", aldus Max. Governance, observeerbaarheid en beveiliging worden essentieel zodra agenten gevoelige gegevens aanraken en acties met hogere inzet ondernemen.
Modellen gaan nu goed om met gestructureerde gegevens. "Toen ik net begon, was het gebruikelijke advies: als je workflow afhangt van een rommelige, ingewikkelde Excel-spreadsheet, is AI waarschijnlijk niet de juiste oplossing," zei Max. Tegenwoordig produceren veel van de agenten die hij bouwt complexe, geformatteerde Excel-werkmappen.
Agenten kunnen ook op de achtergrond draaien en een datalaag onderhouden terwijl mensen gewoon vragen stellen. Max is van mening dat dit statische BI-dashboards onder druk zet: "Dashboards vertegenwoordigen statische momentopnamen van wat iemand dacht dat je misschien zou willen zien."
Elke bovenstaande praktijk komt neer op één ding: context, institutionele kennis... begrijpen wie wat doet en wanneer, hoe en waarom. Een agent gaat van demo naar dagelijks gebruik wanneer hij de gegevens, beslissingen en eigenaren achter het werk kan zien. Dat is precies wat er in de Asana Werkgrafiek® leeft. StackAI voegt systeemoverstijgende uitvoering toe, zodat agenten kunnen handelen in de tools waarop een bedrijf draait. Samen hoeft een workflow niet in een chatvenster te beginnen: het toewijzen van een taak in Asana kan een StackAI-agent ertoe aanzetten om van begin tot eind te werken, waarbij mensen onderweg werk goedkeuren en overdragen. "Door agentieve mogelijkheden rechtstreeks te koppelen aan bedrijfswerkgrafieken, wordt een geheel nieuw operationeel niveau ontgrendeld," aldus Alberto.
Klaar om je eigen workflows voor AI-teamgenoten van demo naar dagelijks gebruik te brengen? Ontdek hoe StackAI by Asana bedrijven helpt bij het bouwen, testen en implementeren van agenten in de systemen waarop hun bedrijf draait.
Alberto Arrighi leidt klantsucces bij StackAI, nu onderdeel van Asana. Zijn team van AI-strategen en forward-deployed engineers werkt samen met zakelijke klanten om de meest waardevolle workflows voor agenten te vinden en deze om te zetten in specificaties en vereisten voor productie-implementaties. Hij begon bij StackAI als AI-strateeg.
Max Poff is een forward-deployed engineer bij StackAI, nu onderdeel van Asana. Hij verdeelt zijn tijd tussen het schrijven van code en het implementeren van agenten bij zakelijke klanten, waaronder risico- en compliance-teams in de banksector en operationele teams in private equity, en verwerkt wat hij leert terug in het product.