Przejście od wersji demonstracyjnej agenta AI do jego codziennego użytkowania ma mniej wspólnego z modelem, a więcej z nietypowymi przypadkami, brakującymi danymi i zaufaniem. Alberto Arrighi kieruje zespołem ds. sukcesu klienta w StackAI, obecnie należącym do Asany, a Max Poff jest jednym z jej inżynierów pracujących na pierwszej linii, którzy dzielą swój czas między pisanie kodu a wdrażanie agentów w bankach, firmach private equity, agencjach i u podwykonawców z sektora obronnego. W niedawnym wywiadzie na kanale MTS podzielili się pięcioma praktykami, które pozwalają przenieść agenta ze stadium prototypu do etapu produkcyjnego: zacznij od monotonnego przepływu pracy o wysokim stopniu ryzyka, traktuj testy użytkowników jako rzeczywistą wersję, połącz dane, na których polega cały zespół, wbuduj pętlę uczenia się i projektuj z myślą o bezpieczeństwie już od pierwszego dnia.
Najtrudniejszy jest etap między działającym demem a momentem, w którym użytkownicy zaczynają ufać agentowi w codziennej pracy. „Najtrudniejszą częścią jest radzenie sobie z nietypowymi przypadkami, które pojawiają się między prezentacją a momentem, w którym użytkownicy naprawdę zaczynają ufać agentowi w codziennej pracy” – powiedział Max.
Wersje demonstracyjne działają na podstawie uporządkowanych danych wejściowych i założeń jednej osoby. Środowisko produkcyjne to bałagan w dokumentach, brakujące uprawnienia i współpracownicy, którzy pracują inaczej niż osoba, która była sponsorem projektu.
Najlepsze pierwsze agenty podejmują się zadań, które są niezbędne, ale czasochłonne. Max opisał zespół ds. ryzyka i zgodności w dużym europejskim banku. Za każdym razem, gdy pojawiała się propozycja zmiany biznesowej, menedżerowie ds. ryzyka porównywali ją z obszernym rejestrem ryzyka, aby zidentyfikować nowe zagrożenia, a następnie z rejestrem środków kontroli, aby przypisać działania ograniczające ryzyko.
Obecnie zespół publikuje propozycję w niestandardowym bocie Slacka. Przepływ pracy z aplikacji StackAI zwraca sformatowany skoroszyt programu Excel zawierający pełną ocenę ryzyka, oznaczone zagrożenia i przypisane środki kontroli. „Zadanie, które kiedyś zajmowało całe popołudnie, teraz trwa około 10–15 minut” – powiedział Max.
Dwa czynniki sprawiły, że rozwiązanie to się przyjęło: agent spotkał się z ludźmi w narzędziu, z którego już korzystali, a wynik został dostarczony w formacie, w którym już pracowali.
Testy akceptacyjne przez użytkowników (UAT) to moment, w którym wersja demonstracyjna staje się produktem. Max współpracował z zespołem asystentów kierownictwa w firmie private equity, aby zautomatyzować kodowanie wydatków w systemie SAP Concur. „Można bardzo szybko utworzyć wersję demonstracyjną do tego zadania” – powiedział. „Ale kiedy przedstawiliśmy ją testerom wersji beta, zaczęła się prawdziwa praca”.
StackAI przeprowadza ustrukturyzowaną fazę UAT przy każdym wdrożeniu, aby zidentyfikować przypadki, w których agent nie działa prawidłowo. Każda poprawka sprawia, że przepływ pracy staje się bardziej odporny na użytkowanie w warunkach rzeczywistych. Zaplanuj tę fazę w swoim harmonogramie; nie jest to oznaka opóźnienia projektu.
Agent utworzony we współpracy z jednym interesariuszem widzi tylko świat tego interesariusza. Zespół Alberto zbudował agenta do planowania mediów dla jednej z największych agencji medialnych i marketingowych w Europie Północnej. Na podstawie briefu klienta agent ten zaleca kanały, przydział środków budżetowych i plan wdrożenia.
W ocenie głównego interesariusza wyglądał solidnie. Kiedy przetestował go szerszy zespół, jego członkowie wskazali krytyczne zestawy danych, do których agent nie miał dostępu. „Stworzenie wersji demonstracyjnej jest łatwe; dopiero gdy udostępnisz ją prawdziwym testerom, odkryjesz brakujące uprawnienia systemowe lub błędy w logice” – powiedział Alberto. Rozwiązaniem było połączenie większej liczby narzędzi i rozbicie silosów między nimi.
Odzwierciedla to szerszą zmianę. Rok temu większość przypadków użycia łączyła agenta z jedną bazą wiedzy. Obecnie są to systemy orkiestracji, które pobierają dane z wielu źródeł, reagują na zdarzenia i podejmują działania w różnych narzędziach.
Agenci stają się bardziej użyteczni, gdy pamiętają to, czego się uczą. Agenci StackAI przechowują wspólne pliki pamięci dla wszystkich użytkowników w organizacji klienta. Gdy ludzie korzystają z agenta i przekazują informacje zwrotne, pamięć ta jest aktualizowana, a agent wczytuje ją podczas kolejnych uruchomień.
Alberto wskazał na drugą pętlę: zapisywanie wyników z powrotem w oryginalnej bazie wiedzy. „Ta ciągła pętla zapisywania informacji z powrotem jest ogromnym czynnikiem zwiększającym wartość naszych wdrożeń w organizacjach” – powiedział. Z biegiem czasu każde uruchomienie poszerza zasób wiedzy organizacji.
W branżach podlegających regulacjom to, gdzie agent działa, jest równie ważne, jak to, co robi. Największe instytucje finansowe coraz częściej wymagają, aby agenci działali w ich prywatnej chmurze lub lokalnie, a nie we wspólnej infrastrukturze SaaS. StackAI obsługuje również podwykonawców z sektora obronnego działających w środowiskach odizolowanych od sieci.
„W przypadku sektora obronnego, bankowości i funduszy hedgingowych bezpieczeństwo perymetru danych nie podlega negocjacjom” – mówi Max. Zarządzanie, obserwowalność i bezpieczeństwo stają się niezbędne, gdy agenci mają dostęp do wrażliwych danych i podejmują działania o wyższym ryzyku.
Modele dobrze radzą sobie teraz z danymi ustrukturyzowanymi. „Kiedy zaczynałem, powszechną radą było: jeśli Twój przepływ pracy zależy od chaotycznego, skomplikowanego arkusza kalkulacyjnego w formacie Excel, sztuczna inteligencja prawdopodobnie nie jest właściwym rozwiązaniem” – powiedział Max. Obecnie wiele tworzonych przez niego agentów generuje złożone, sformatowane skoroszyty programu Excel.
Agenci mogą również działać w tle, utrzymując warstwę danych, podczas gdy ludzie po prostu zadają pytania. Max uważa, że stawia to pod presją statyczne pulpity nawigacyjne BI: „Pulpity nawigacyjne to statyczne migawki tego, co ktoś przewidział, że możesz chcieć zobaczyć”.
Każda z powyższych praktyk sprowadza się do jednego: kontekstu, wiedzy organizacyjnej… zrozumienia, kto, co, na kiedy, jak i dlaczego musi wykonać. Agent przechodzi od fazy demonstracyjnej do codziennego użytku, gdy ma dostęp do danych, decyzji i informacji o osobach odpowiedzialnych za pracę. To właśnie znajduje się w Wykresie pracy® Asany. StackAI dodaje możliwość wykonywania zadań w różnych systemach, dzięki czemu agenci mogą podejmować działania w narzędziach, z których korzysta firma. W połączeniu z Asaną przepływ pracy nie musi rozpoczynać się w oknie czatu: przypisanie zadania w Asanie może spowodować, że agent StackAI wykona je od początku do końca, a osoby zaangażowane będą zatwierdzać i przekazywać sobie pracę na poszczególnych etapach. „Połączenie możliwości agentowych bezpośrednio z wykresami pracy w firmie otwiera zupełnie nowy poziom operacyjny” – mówi Alberto.
Chcesz przenieść własne przepływy pracy z udziałem agentów AI z etapu demonstracji do codziennego użytku? Dowiedz się, w jaki sposób StackAI od Asany pomaga przedsiębiorstwom tworzyć, testować i wdrażać agentów w systemach, na których opiera się ich działalność.
Alberto Arrighi kieruje zespołem ds. sukcesu klienta w StackAI, które obecnie jest częścią Asany. Jego zespół złożony ze specjalistów ds. strategii AI i inżynierów ds. wdrożeń współpracuje z klientami korporacyjnymi, aby znaleźć przepływy pracy o najwyższej wartości dla agentów i przekształcić je w specyfikacje oraz wymagania dotyczące wdrożeń produkcyjnych. Rozpoczął pracę w StackAI jako strateg ds. sztucznej inteligencji.
Max Poff jest inżynierem ds. wdrożeń w firmie StackAI, która obecnie jest częścią Asany. Dzieli swój czas między pisanie kodu a wdrażanie agentów u klientów korporacyjnych, w tym w zespołach ds. ryzyka i zgodności w sektorze bankowym oraz w zespołach operacyjnych w sektorze private equity, a także wykorzystuje zdobytą wiedzę do ulepszania produktu.