Fazer com que um agente de IA passe da fase de demonstração para o uso diário tem menos a ver com o modelo do que com casos extremos, dados ausentes e confiança. Alberto Arrighi lidera o Sucesso do cliente na StackAI, agora parte da Asana, e Max Poff é um dos seus engenheiros de implementação avançada, que dividem o tempo entre escrever código e implementar agentes em bancos, empresas de private equity, agências e prestadores de serviços de defesa. Em uma entrevista recente no MTS, eles compartilharam cinco práticas que levam um agente do protótipo à produção: começar com um fluxo de trabalho tedioso e de alto risco, tratar os testes com usuários como a versão real, conectar os dados dos quais toda a equipe depende, incorporar um ciclo de aprendizado e projetar com foco na segurança desde o primeiro dia.
A parte mais difícil é o intervalo entre uma demonstração funcional e o momento em que os usuários passam a confiar no agente em seu trabalho diário. "A parte mais difícil é lidar com os casos extremos que surgem entre a demonstração e o momento em que os usuários realmente confiam no agente na produção diária", disse Max.
As demonstrações são executadas com entradas limpas e com base nos pressupostos de uma única pessoa. O ambiente de produção apresenta documentos desorganizados, permissões ausentes e colegas que trabalham de forma diferente da pessoa que patrocinou o projeto.
Os melhores primeiros agentes assumem trabalhos que são essenciais, mas demorados. Max descreveu uma equipe de riscos e conformidade de um grande banco europeu. Sempre que chegava uma proposta de mudança nos negócios, os gestores de riscos consultavam um extenso registro de riscos para identificar novos riscos e, em seguida, um registro de controles para atribuir medidas de mitigação.
Agora, a equipe publica a proposta em um bot personalizado do Slack. Um fluxo de trabalho do StackAI retorna uma pasta de trabalho do Excel formatada com a avaliação de riscos completa, os riscos sinalizados e os controles mapeados. "Uma tarefa que costumava levar uma tarde inteira agora leva cerca de 10 a 15 minutos", disse Max.
Dois fatores foram decisivos para a adoção: o agente interagiu com as pessoas dentro de uma ferramenta que elas já usavam, e o resultado foi entregue no formato com o qual elas já trabalhavam.
Os testes de aceitação com os usuários (TAUs) são o momento em que uma demonstração se torna um produto. Max trabalhou com a equipe de assistentes executivos de uma empresa de private equity para automatizar a codificação de despesas no SAP Concur. "Você pode criar uma demonstração para isso muito rapidamente", disse ele. "Mas, assim que a apresentamos aos testadores da versão beta, o trabalho de verdade começou."
A StackAI realiza uma fase estruturada de TUA em cada implementação para identificar os casos em que o agente falha. Cada correção torna o fluxo de trabalho mais resiliente ao uso no mundo real. Planeje esta fase no seu cronograma; ela não é um sinal de que o projeto está atrasado.
Um agente desenvolvido com uma única parte interessada vê apenas o mundo dessa parte interessada. A equipe de Alberto desenvolveu um agente de planejamento de mídia para uma das maiores agências de mídia e marketing do norte da Europa. Com base no briefing de um cliente, ele recomenda canais, alocações orçamentárias e um plano de implementação.
Ele parecia sólido para a principal parte interessada. Quando a equipe mais ampla o testou, ela apontou conjuntos de dados críticos que o agente não conseguia acessar. "Criar uma demonstração é fácil; é quando você a disponibiliza para testadores reais que descobre permissões de sistema ausentes ou lógica com falhas", disse Alberto. A solução foi conectar mais ferramentas e desfazer a compartimentalização entre elas.
Isso reflete uma mudança mais ampla. Há um ano, a maioria dos casos de uso conectava um agente a uma única base de conhecimento. Hoje, são sistemas de orquestração que extraem informações de diversas fontes, são acionados por eventos e atuam em várias ferramentas.
Os agentes se tornam mais úteis quando se lembram do que aprendem. Os agentes da StackAI mantêm arquivos de memória compartilhados entre os usuários de uma organização cliente. À medida que as pessoas usam o agente e dão feedback, essa memória é atualizada e o agente a carrega em execuções futuras.
Alberto apontou para um segundo ciclo: registrar os resultados de volta na base de conhecimento original. "Esse ciclo contínuo de reinserção é um grande gerador de valor para as nossas implantações corporativas", afirmou ele. Com o tempo, cada execução contribui para o conhecimento da organização.
Em setores regulamentados, o modo como um agente opera é tão importante quanto o que ele faz. As principais instituições financeiras exigem cada vez mais que os agentes sejam executados em suas nuvens privadas ou em instalações locais, e não em infraestruturas de SaaS compartilhadas. O StackAI também oferece suporte a empresas contratadas do setor de defesa que operam em ambientes isolados da rede.
"Para os setores de defesa, bancário e de fundos de hedge, a segurança do perímetro de dados é inegociável", disse Max. A governança, a observabilidade e a segurança tornam-se essenciais quando os agentes têm acesso a dados confidenciais e realizam ações de maior risco.
Agora, os modelos lidam bem com dados estruturados. "Quando comecei, o conselho mais comum era: se o seu fluxo de trabalho depende de uma planilha do Excel desorganizada e complicada, a IA provavelmente não é a solução certa", disse Max. Hoje, muitos dos agentes que ele cria produzem pastas de trabalho do Excel complexas e formatadas.
Os agentes também podem ser executados em segundo plano, mantendo uma camada de dados enquanto as pessoas simplesmente fazem perguntas. Max acredita que isso coloca os painéis de BI estáticos sob pressão: “Os painéis representam instantâneos estáticos do que alguém supôs que você gostaria de ver.”
Todas as práticas mencionadas acima se resumem a uma coisa: contexto, conhecimento institucional… entender quem está fazendo o quê, até quando, como e por quê. Um agente passa da demonstração ao uso diário quando consegue ver os dados, as decisões e os responsáveis por trás do trabalho. É exatamente isso que está no Work Graph® da Asana. A StackAI acrescenta a execução entre sistemas, para que os agentes possam agir em todas as ferramentas que uma empresa utiliza. Juntos, eles fazem com que um fluxo de trabalho não precise começar em uma janela de chat: a atribuição de uma tarefa na Asana pode acionar um agente da StackAI para executar o trabalho do início ao fim, com as pessoas aprovando e repassando o trabalho ao longo do caminho. “Conectar as capacidades dos agentes diretamente aos diagramas de trabalho Enterprise abre caminho para um nível operacional totalmente novo”, afirmou Alberto.
Tudo pronto para transformar os seus próprios fluxos de trabalho de assistentes de IA de demonstração em uso diário? Saiba como o StackAI by Asana ajuda as empresas a criar, testar e implementar agentes nos sistemas em que seus negócios operam.
Alberto Arrighi lidera o Sucesso do cliente na StackAI, agora parte da Asana. Sua equipe de estrategistas de IA e engenheiros de implantação avançada trabalha com clientes corporativos para identificar os fluxos de trabalho de maior valor para os agentes e transformá-los em especificações e requisitos para implantações em produção. Ele começou na StackAI como estrategista de IA.
Max Poff é engenheiro de implantação avançada na StackAI, agora parte da Asana. Ele divide seu tempo entre escrever código e implementar agentes com clientes corporativos, incluindo equipes de risco e conformidade no setor bancário e equipes de operações no setor de private equity, e incorpora o que aprende ao produto.