치명적인 3가지 요소 해소: Asana가 에이전틱 AI 보안을 생각하는 방식
에이전틱 AI는 업계에서 아직 해결되지 않은 보안 위험 유형을 도입합니다. Asana가 바라보는 보안 위험과 Asana의 AI 기능 전반에 걸쳐 적용하는 보안 불변 사항은 다음과 같습니다.
문제점
에이전틱 AI 시스템은 단순히 질문에 답하는 데 그치지 않습니다. 문서를 읽고, 조치를 취하고, 여러 도구 간에 조율합니다. 할 수 있는 일이 많을수록 공격 접점이 커집니다.
기존 코드와 달리 LLM에는 이를 근본적으로 어렵게 만드는 특성이 있습니다. LLM은 지침을 데이터와 안정적으로 구분할 수 없습니다. LLM에 제공되는 모든 것은 동일한 스트림에 들어갑니다. 따라서 정교하게 조작된 데이터는 합법적인 지침과 동일한 방식으로 모델을 가로챌 수 있습니다. 이것이 바로 Simon Willison이 LLM 기반 애플리케이션의 "원죄"라고 부르는 프롬프트 인젝션의 근본 원인입니다.
이것은 이론이 아닙니다. 연구자들은 Microsoft 365 Copilot, GitHub의 MCP 서버, Slack AI 등 다수에 대해 이 공격 클래스를 시연했습니다. Bruce Schneier는 이를 솔직하게 표현했습니다. 업계는 아직 이러한 유형의 공격에 대한 강력한 방어 수단을 갖추지 못했습니다.
그렇다면 업계가 기본을 파악하지 못한 상황에서 어떻게 에이전트 AI를 책임감 있게 구축할 수 있을까요?
치명적인 트라이펙타
Willison은 핵심 위험을 세 가지 기능으로 요약하며, 이 세 가지 기능이 결합하여 피해를 입힐 수 있는 조건을 만듭니다.
중요한 데이터에 대한 액세스. 에이전트는 기밀 정보나 비공개 정보를 읽을 수 있습니다.
신뢰할 수 없는 콘텐츠에 노출. 에이전트가 숨겨진 적대적 지침이 포함될 수 있는 입력을 처리합니다.
외부와 통신하는 능력. 에이전트는 시스템 외부로 정보를 보낼 수 있습니다.
세 번째 요소를 더 구체적으로 설명하면, 이는 단순히 외부 커뮤니케이션이 아니라 부작용을 일으킬 수 있는 능력입니다. 공격자의 서버로 데이터를 빼내는 것이 대표적인 예이지만, 작업 공간의 모든 프로젝트 제목을 조용히 변경하거나 민감한 내용을 잘못된 내부 채널로 보내는 악의적인 명령도 동일한 형태의 문제입니다. 우리는 '외부 커뮤니케이션'을 줄임말로 사용하지만, 실제로 우리가 방어하는 것은 더 광범위한 버전입니다.
트리펙타의 어느 한 가지 요소는 관리할 수 있습니다. 두 가지를 함께 관리하는 것도 보통 가능합니다. 그러나 세 가지가 모두 결합되면 실행 가능한 공격 경로가 생깁니다.
중요한 인사이트: 한 가지 요소를 제거하면 전체 리스크가 크게 감소합니다. 프롬프트 인젝션을 완벽하게 해결할 필요는 없습니다. 아무도 해결하지 못했습니다. 세 가지 조건이 모두 쉽게 공존할 수 없도록 해야 합니다.
Korny Sietsma는 이를 바탕으로 샌드박싱, 작업 분해, 최소 권한, HITL(Human-in-the-Loop) 등의 완화 조치에 이 세 가지를 매핑합니다. 이것들이 기본적인 구성 요소입니다. 문제는 이를 어떻게 운영할 것인가입니다.
컨텍스트, 체크 포인트 및 제어
우리는 치명적인 트라이펙타에 직접적으로 대응하는 세 가지 핵심 요소를 중심으로 사고를 구성합니다. 각각은 한 다리를 제약합니다.
Asana에는 여러 AI 영역이 있습니다. AI 팀원은 작업 공간에서 고유한 멤버십과 권한을 가진 에이전트 참여자입니다. 다른 AI 기능은 사용자로서 작동하며, 해당 사용자가 이미 액세스할 수 있는 범위가 경계입니다. 아래 불변 사항은 표면이 가장 큰 에이전트적 경우에 초점을 맞추고 있으며, 표면에 따라 구현이 다른 경우를 명시합니다.
맥락: AI가 볼 수 있는 내용 관리
Trifecta 레그: 중요한 데이터에 대한 액세스
에이전트 AI가 유용하려면 컨텍스트가 필요합니다. 문제는 마스터 키를 주지 않고도 도움이 될 만큼 충분한 것을 주는 것입니다.
당사의 기본 불변 사항은 최소 권한 원칙이며, 정확한 표현은 표면에 따라 다릅니다. 개별 사용자와는 별개의 멤버십을 갖는 AI 팀원의 경우, 경계는 팀원의 권한과 사용자의 권한이 교차하는 지점입니다. 사용자로서 작동하는 AI 기능의 경우, 경계는 단순히 해당 사용자의 액세스 권한입니다. 모든 경우에 Asana에서 다른 모든 상호 작용을 관리하는 것과 동일한 서버 측 권한 레이어가 AI의 액세스를 관리합니다. AI 기능은 더 높은 권한을 얻지 못합니다. 이 기능들은 Asana의 액세스 제어 시스템을 우회하는 것이 아니라 그 안에서 작동합니다.
맥락 정의는 Asana 내부의 데이터 액세스를 규제하는 것 이상의 의미를 갖습니다. 에이전트가 상호 작용할 수 있는 외부 연동도 동일하게 포함됩니다. 현재 연동에는 명시적인 사용자 권한이 필요하지만, Asana는 에이전트별로 세분화된 제어 경로를 개발하고 있습니다. 이를 통해 조직은 고위험 인풋을 처리하는 AI 팀원의 연동 권한을 제한할 수 있습니다. 당사의 핵심 아키텍처 불변성은 명확합니다. AI가 볼 수 있는 것의 경계는 하드코딩된 제품 기본 설정이 아니라 데이터 소유자가 주도하는 동적 경계여야 합니다.
공격자가 악의적인 지침을 AI의 맥락에 몰래 넣더라도 AI가 실제로 볼 수 있는 것은 다른 모든 것과 동일한 권한 모델에 의해 제한됩니다.
체크 포인트: AI가 수신하는 내용을 필터링
트라이펙타 구간: 신뢰할 수 없는 콘텐츠에 대한 노출
이것이 가장 어려운 단계입니다. 업무 관리 플랫폼에서 AI가 읽는 내용의 대부분은 사용자가 생성한 콘텐츠입니다. 작업, 댓글, 첨부 문서 등이 여기에 해당합니다. 그 중 일부는 조직 외부에서 제공됩니다. 읽기를 거부할 수 없습니다.
대신 체크 포인트를 설정합니다. 체크 포인트는 신뢰할 수 있는 의도와 임의의 콘텐츠를 구분하는 곳이며, 문제가 있는 경우 사람이 개입할 수 있는 곳입니다.
소스 인식 명령 처리. AI 기능은 작성자 신뢰도와 출처에 따라 콘텐츠에 태그를 지정하므로, 모델은 진행 과정에서 임의 콘텐츠에서 발견되는 지침보다 권한이 부여된 사용자의 지침에 더 높은 가중치를 부여할 수 있습니다. 이렇게 하면 프롬프트 삽입에 대한 공격 접점을 좁힐 수 있지만 완전히 차단하지는 못합니다. 모델은 여전히 모든 것을 맥락에 따라 읽으며, 보안 보장은 절대적이기보다는 부분적입니다. 이 접근 방식의 한계에 대해서는 아래에서 논의합니다.
로깅 및 포렌식 조사. 모든 모델 호출은 입력, 출력, 행위자, 기능 컨텍스트 및 다운스트림 이벤트와 함께 기록됩니다. 여기에는 자동화가 어떤 작업 그래프 객체를 건드렸는지, 어떤 URL이 출력에 나타났는지 등이 포함됩니다. 오류율 및 비용 급증과 같은 운영 신호에 대해 자동으로 경고합니다. 보안 관련 이상 징후의 경우, 동일한 로그를 통해 사람이 사후 조사를 수행할 수 있습니다. Willison이 지적했듯이, 대부분의 공격을 포착하는 패턴 기반 탐지조차도 그 자체로는 불합격입니다. 가시성과 조사 능력은 우리가 구축하는 내구성 있는 기반이며, 벽이 아닙니다.
Human-in-the-loop 디자인. AI 기능은 사람이 검토할 수 있도록 작업을 표시하며, 조용히 되돌릴 수 없는 조치를 취하지 않습니다.
작업 분해 및 범위가 지정된 실행 사항. 복잡한 워크플로는 더 작은 단계로 나뉘며, AI 기능이 사용할 수 있는 작업은 개방형이 아닌 의도적으로 제한됩니다.
이들 중 어느 것도 개별적으로는 완벽하지 않습니다. 이들이 함께하면 심층적인 방어를 형성합니다.
제어: AI가 실행할 수 있는 작업 제한
트라이펙타 레그: 부작용을 생성하는 능력
세 번째 다리는 대부분의 실제 공격이 발생하는 곳입니다. 공격자가 AI를 설득하여 민감한 데이터를 URL에 삽입하거나, 연동을 통해 전송하거나, 다른 사람이 의존하는 레코드를 변경하게 하면 공격이 성공합니다.
Asana는 여기에서 여러 가지 카테고리의 통제에 투자하고 있습니다.
LLM 아웃풋을 신뢰할 수 없는 것으로 취급합니다. 생성된 콘텐츠는 Asana AI에서 생성되었기 때문에 신뢰 범위가 확대되지 않습니다. 다른 사용자 생성 콘텐츠와 동일한 검증 및 렌더링 경로를 거칩니다.
영향력이 큰 작업에 대한 필수적인 사람의 승인. 특정 작업 카테고리는 AI의 신뢰도나 요청이 얼마나 일상적인지 여부에 관계없이 항상 명시적인 사람의 승인이 필요합니다. AI 팀원의 경우, 여기에는 액세스 권한을 상향 조정하는 작업(권한 변경, 멤버 추가)과 데이터를 파기하는 작업(삭제)이 포함됩니다. AI는 이러한 작업을 제안할 수 있지만 단독으로 실행할 수는 없습니다.
링크 처리 가드레일. AI가 생성한 콘텐츠의 외부 URL은 사용자에게 도달하기 전에 처리됩니다. 입력에 표시되지 않은 새 URL은 추가 검토를 거치고, 재라벨링된 앵커 텍스트가 아닌 가려지지 않은 전체 형태로 표시되므로, AI를 악용하여 유출 엔드포인트를 친근한 "요약을 보려면 여기를 클릭하세요"로 위장할 수 없습니다.
범용 아웃바운드 HTTP 없음. AI 기능에는 개방형 '모든 URL에 요청하기' 프리미티브가 없습니다. 외부 연동은 자체 권한을 가진 범위 지정 채널을 통과합니다.
실행 감사 추적. AI 기능이 수행하는 모든 쓰기, 변이, 아웃바운드 동작은 이를 촉발한 모델 호출과 함께 기록되므로 조사자는 AI가 요청받은 작업뿐만 아니라 AI가 수행한 작업을 재구성할 수 있습니다.
목표는 외부 커뮤니케이션을 불가능하게 만드는 것이 아닙니다. AI 기능은 링크를 참조하고, 작업을 업데이트하고, 유용한 출력을 생성해야 합니다. 목표는 사용자가 의도하지 않은 방식으로 AI 기능이 은밀하게 이러한 작업을 수행할 수 없도록 하는 것입니다.
AI가 생성한 값의 패턴
이 프레임 내에서 동일한 구체적인 하위 문제가 계속 발생합니다. AI 기능이 무언가(객체 ID, 수신자, URL)를 생성하고 다운스트림 코드가 이에 대해 작업하며, 종종 AI 자체보다 더 넓은 권한을 갖습니다. 환각과 프롬프트 주입은 동일한 지점에 도달합니다. 모델이 생성하는 값이 신뢰를 얻는 것입니다.
이러한 값�� 대한 디자인 검토 체크리스트로 4단계 패턴을 사용합니다.
검증을 실행하기 전에 처음부터 AI가 생성할 수 있는 것을 제한합니다.
AI가 생성한 모든 값을 서버 측에서 다른 모든 것과 동일한 권한 계층에 대해 검증합니다. 모델은 신뢰할 수 없는 클라이언트로 취급됩니다.
AI가 해당 항목을 선택한 이유를 설명할 수 있는 충분한 구조화된 배경 정보를 유지하여 선택을 정당화합니다. 이렇게 하면 나중에 조사, 평가, 인시던트 대응이 가능해집니다.
값이 고위험이거나 예상 범위를 벗어날 경우 프릭션, 폴백 또는 사람의 검토를 통해 상위 단계로 이관하세요.
이를 관통하는 핵심은 모델 동작이 주요 보안 제어 수단이 되어서는 안 된다는 것입니다. 더 나은 프롬프트와 "모델에 그렇게 하지 말라고 지시했습니다"는 심층 방어에 유용하지만, 지속적인 제어는 모델 주변의 시스템에 있습니다.
원칙에 기반
이러한 선택은 임시적인 것이 아닙니다. Asana가 공개한 AI 원칙에서 비롯된 것입니다.
사람들이 의사 결정에 대한 책임을 지는 것이 체크포인트 지향적 디자인의 원동력입니다. AI가 지원하지만, 인간은 최신 정보를 파악하고 책임을 집니다.
당사는 안전을 위해 최선을 다하고 있으며, 이는 마찰을 유발하더라도 계층화된 제어에 대한 투자를 정당화합니다. AI 기능이 더 복잡한 작업을 수행함에 따라 대안은 위험을 가중시킵니다.
당사는 투명성을 장려하며, 이것이 이 게시물을 작성하는 이유입니다. 저희는 에이전트형 AI 보안 문제를 아직 해결하지 못했습니다. 그러나 이러한 리스크에 대해 우리가 어떻게 추론하는지, 그리고 우리가 실행하는 완화 조치에 대해 공개적으로 밝히는 것은 더 넓은 커뮤니티가 공통의 과제에 대해 진전을 이루는 데 도움이 되며, 우리를 더 나은 방향으로 이끄는 면밀한 검토를 유도합니다.
정직한 한도
프롬프트 인젝션은 여전히 근본적으로 해결되지 않았으며, 간접 프롬프트 인젝션(사용자가 직접 제공하는 내용이 아닌 AI가 작업 중에 가져오는 내용에 포함된 악의적인 지침)은 2026년에 업계가 가장 큰 타격을 받은 변형입니다. 소스 인식 태깅은 도움이 되지만 이 격차를 완전히 해소하지는 못합니다. 왜냐하면 모델은 여전히 태그를 존중할지 선택해야 하기 때문입니다. 당사의 체크 포인트는 위험을 크게 줄이지만 위험을 제거하지는 않습니다. 지침과 데이터가 컨텍스트 창을 공유하는 한, 검색, 공개 양식 또는 연동을 통해 검색된 적대적 입력은 때때로 통과할 수 있습니다. 당사는 이를 적극적이고 지속적인 투자 영역으로 간주하며, 외부에서 작성된 콘텐츠가 에이전트 기능에 도달할 수 있는 모든 경로를 면밀히 조사합니다. LLM 에이전트를 보호하기 위한 디자인 패턴에 대한 작업은 유망한 방향으로 진행되고 있지만, 업계의 합의는 아직 초기 단계에 있습니다.
위협 환경은 빠르게 변화합니다. 눈에 보이지 않는 이미지 기반 프롬프트 삽입부터 다단계 유출 체인에 이르기까지 새로운 벡터가 계속 등장하고 있습니다. 당사는 새로운 위협이 등장할 때 새로운 완화 조치를 추가할 수 있도록 계층화되고 구성 가능한 제어 기능을 설계합니다. 이것은 한 번 해결하는 문제가 아니라 무기 경쟁입니다. OWASP Top 10 for LLM Applications는 유용한 실행 참조 자료입니다.
우리는 이러한 격차를 속도를 늦추는 이유로 여기지 않습니다. 우리는 이를 신중해야 할 이유로 봅니다. 치명적인 세 가지 요소는 위험을 알려줍니다. 컨텍스트, 체크 포인트, 제어는 우리에게 실행에 대한 프레임워크를 제공합니다. 그리고 어떤 팀도 이 문제를 혼자서 해결할 수 없기 때문에, 저희는 위협 환경이 진화함에 따라 이러한 표면을 강화하기 위해 연구 및 고객 파트너와 함께 적극적으로 투자하고 있습니다.
참조
Simon Willison, "The lethal trifecta for AI agents," 2025년 6월
Korny Sietsma, "Agentic AI and Security," Martin Fowler, 2025년 10월
Bruce Schneier, "We Are Still Unable to Secure LLMs from Malicious Inputs," 2025년 8월
OWASP, "LLM 애플리케이션 상위 10가지"
