Llevar a un agente de IA de la fase de demostración al uso diario tiene menos que ver con el modelo que con los casos extremos, los datos faltantes y la confianza. Alberto Arrighi lidera el equipo de Éxito del Cliente en StackAI, ahora parte de Asana, y Max Poff es uno de sus ingenieros desplegados en primera línea, que divide su tiempo entre escribir código e implementar agentes en bancos, firmas de capital privado, agencias y contratistas de defensa. En una entrevista reciente en MTS, compartieron cinco prácticas que llevan a un agente del prototipo a la producción: comenzar con un flujo de trabajo tedioso y de alto riesgo, tratar las pruebas de usuario como la versión real, conectar los datos de los que depende todo el equipo, incorporar un ciclo de aprendizaje y diseñar para la seguridad desde el primer día.
La parte más difícil es el tramo que va desde una demostración funcional hasta el momento en que los usuarios confían en el agente en su trabajo diario. “La parte más difícil es gestionar los casos extremos que surgen entre la demostración y el momento en que los usuarios realmente confían en el agente en la producción diaria”, dijo Max.
Las demostraciones se ejecutan con entradas limpias y los supuestos de una sola persona. La producción implica documentos desordenados, permisos faltantes y colegas que trabajan de manera diferente a la persona que patrocinó el proyecto.
Los mejores primeros agentes se encargan del trabajo que es esencial pero lento. Max describió un equipo de riesgos y cumplimiento de un gran banco europeo. Cada vez que llegaba una propuesta de cambio empresarial, los gestores de riesgos consultaban un extenso registro de riesgos para detectar nuevos riesgos y, luego, un registro de controles para asignar medidas de mitigación.
Ahora, el equipo publica la propuesta en un bot personalizado de Slack. Un flujo de trabajo de StackAI devuelve un libro de Excel con formato que contiene la evaluación de riesgos completa, los riesgos identificados y los controles asignados. “Una tarea que antes llevaba una tarde entera ahora lleva aproximadamente de 10 a 15 minutos”, dijo Max.
Dos cosas hicieron que funcionara: el agente se reunió con las personas dentro de una herramienta que ya usaban, y el resultado llegó en el formato en el que ya trabajaban.
La prueba de aceptación de usuario (UAT, por sus siglas en inglés) es donde una demostración se convierte en un producto. Max trabajó con el equipo de asistentes ejecutivos de una empresa de capital privado para automatizar la codificación de gastos en SAP Concur. “Puedes crear una demostración para eso muy rápidamente”, dijo. “Pero una vez que se la presentamos a los evaluadores de la versión beta, comenzó el verdadero trabajo”.
StackAI lleva a cabo una fase de UAT estructurada en cada implementación para identificar los casos en los que el agente falla. Cada corrección hace que el flujo de trabajo sea más resiliente al uso en el mundo real. Planifica esta fase en tu cronograma; no es una señal de que el proyecto vaya con retraso.
Un agente creado con una sola parte interesada solo ve el mundo de esa parte interesada. El equipo de Alberto creó un agente planificador de medios para una de las agencias de medios y marketing más grandes del norte de Europa. A partir de un brief del cliente, recomienda canales, asignaciones presupuestarias y un plan de implementación.
Parecía sólido para la parte interesada principal. Cuando el equipo más amplio lo probó, señaló conjuntos de datos críticos a los que el agente no podía acceder. “Crear una demostración es fácil; es cuando la pones a disposición de evaluadores reales que descubres los permisos del sistema que faltan o la lógica que no funciona”, dijo Alberto. La solución fue conectar más herramientas y eliminar los silos entre ellas.
Esto refleja un cambio más amplio. Hace un año, la mayoría de los casos de uso conectaban a un agente con una única base de conocimientos. Hoy en día, son sistemas de orquestación que obtienen información de muchas fuentes, se activan en función de eventos y toman medidas en diferentes herramientas.
Los agentes son más útiles cuando recuerdan lo que aprenden. Los agentes de StackAI mantienen archivos de memoria compartidos entre los usuarios de una organización cliente. A medida que las personas usan el agente y brindan comentarios, esa memoria se actualiza y el agente la carga en ejecuciones futuras.
Alberto señaló un segundo ciclo: volver a escribir los resultados en la base de conocimientos original. “Ese ciclo continuo de retroalimentación es un gran generador de valor para nuestras implementaciones empresariales”, afirmó. Con el tiempo, cada ejecución se suma a lo que la organización sabe.
En las industrias reguladas, dónde se ejecuta un agente es tan importante como lo que hace. Las principales instituciones financieras exigen cada vez más que los agentes se ejecuten en su nube privada o en sus instalaciones, no en una infraestructura SaaS compartida. StackAI también es compatible con los contratistas de defensa que operan en entornos aislados de la red.
“Para los sectores de defensa, banca y fondos de cobertura, la seguridad del perímetro de datos no es negociable”, afirmó Max. La gobernanza, la observabilidad y la seguridad se vuelven esenciales una vez que los agentes acceden a datos confidenciales y realizan acciones de mayor riesgo.
Ahora los modelos manejan bien los datos estructurados. “Cuando comencé, el consejo habitual era: si tu flujo de trabajo depende de una hoja de cálculo de Excel desordenada y complicada, la IA probablemente no sea la solución adecuada”, dijo Max. Hoy en día, muchos de los agentes que crea generan libros de Excel complejos y formateados.
Los agentes también pueden ejecutarse en segundo plano, manteniendo una capa de datos mientras las personas simplemente hacen preguntas. Max cree que esto pone bajo presión a los paneles de BI estáticos: “Los paneles representan instantáneas estáticas de lo que alguien supuso que te gustaría ver”.
Todas las prácticas anteriores se reducen a una cosa: el contexto, el conocimiento institucional... comprender quién hace qué, para cuándo, cómo y por qué. Un agente pasa de la demostración al uso diario cuando puede ver los datos, las decisiones y los responsables del trabajo. Eso es exactamente lo que contiene el Work Graph® de Asana. StackAI agrega la ejecución entre sistemas, para que los agentes puedan actuar en todas las herramientas que usa una empresa. Juntos, un flujo de trabajo no tiene por qué comenzar en una ventana de chat: asignar una tarea en Asana puede hacer que un agente de StackAI se ejecute de principio a fin, con personas que aprueban y transfieren el trabajo a lo largo del proceso. “Conectar las capacidades de los agentes directamente con los gráficos de trabajo empresariales abre un nivel operativo completamente nuevo”, afirmó Alberto.
¿Todo listo para pasar los flujos de trabajo de tus propios agentes de IA de la fase de demostración al uso diario? Descubre cómo StackAI by Asana ayuda a las empresas a crear, probar e implementar agentes en todos los sistemas en los que operan sus negocios.
Alberto Arrighi lidera el equipo de Éxito del Cliente en StackAI, ahora parte de Asana. Su equipo de estrategas de IA e ingenieros de implementación avanzada trabaja con clientes empresariales para encontrar los flujos de trabajo de mayor valor para los agentes y convertirlos en especificaciones y requisitos para las implementaciones de producción. Comenzó en StackAI como estratega de IA.
Max Poff es ingeniero de implementación avanzada en StackAI, ahora parte de Asana. Divide su tiempo entre escribir código e implementar agentes con clientes empresariales, incluidos los equipos de riesgos y cumplimiento en el sector bancario y los equipos de operaciones en el sector de capital privado, e incorpora lo que aprende al producto.