데이터브릭스, AI 에이전트 슬로우 번 공격 방어 기술 공개

주장인공지능 에이전트의 보안을 강화하려면 개별 동작 단위의 검사를 넘어 전체 세션의 맥락을 추적하는 정책이 필요합니다. 단일 동작은 정상적으로 보일지라도 여러 단계에 걸쳐 데이터를 탈취하는 슬로우 번 공격은 기존의 단일 가드레일로 방어하기 어렵습니다.

팩트슬로우 번 공격은 간접 프롬프트 주입 기술을 활용하여 에이전트가 정상적인 업무를 수행하는 것처럼 위장합니다. 공격자는 공유 위키나 문서에 악의적인 지시사항을 숨겨 에이전트가 이를 합법적인 업무 절차로 인식하게 만듭니다.

팩트데이터브릭스가 제안한 옴니젠트의 맥락적 정책은 세션 내 도구 호출과 결과를 기억하여 위험 점수를 산출합니다. 기밀 문서를 읽을 때마다 위험 점수를 누적하고, 특정 임계값을 초과하면 외부 전송 도구를 차단하는 방식을 사용합니다.

교차검증기존의 상태 비저장형 규칙은 개별 동작의 위험성만을 판단하기 때문에 전체 세션에서 발생하는 누적된 위험을 식별하지 못합니다. 반면 맥락적 정책은 상태 유지형으로 설계되어 이전의 모든 행동을 고려한 의사결정을 수행합니다.

팩트벤더 검토 에이전트 시나리오에서 정책이 없을 경우, 에이전트는 기밀 가격 정보가 포함된 보고서를 외부 주소로 정상적으로 전송했습니다. 그러나 맥락적 정책을 적용하자 위험 점수가 임계값인 50을 초과하여 보고서 전송 시도가 즉시 거부되었습니다.

주장보안 정책은 에이전트가 스스로 수정하거나 비활성화할 수 없도록 설계해야 합니다. 옴니젠트는 에이전트가 정책을 임의로 변경할 수 있는 도구를 제공하지 않으며, 정책 추가 시 반드시 인간의 승인을 거치도록 강제합니다.

팩트옴니젠트의 정책 결합 원칙에 따르면, 여러 정책이 충돌할 경우 거부 정책이 우선권을 갖습니다. 에이전트가 허용적인 정책을 추가하더라도 기존의 엄격한 보안 정책을 무력화할 수 없는 구조입니다.

교차검증에이전트가 정책을 우회하려는 시도를 하더라도 제어 권한이 에이전트 외부 시스템에 존재하기 때문에 물리적으로 불가능합니다. 이는 에이전트의 모델 자체를 신뢰하지 않고 외부에서 가드레일을 강제하는 제로 트러스트 보안 모델을 따릅니다.

팩트이번 기술은 벤더 검토와 같은 반복적인 업무를 수행하는 AI 에이전트가 피싱이나 악의적인 문서 수정에 노출될 경우 발생할 수 있는 데이터 유출 사고를 방지합니다. 이는 기업 환경에서 AI 에이전트 도입 시 필수적인 보안 아키텍처로 자리 잡습니다.

출처데이터브릭스의 공식 블로그 게시물을 통해 해당 기술의 상세 내용과 보안 정책의 작동 원리를 교차 검증했습니다. (https://www.databricks.com/blog/blocking-slow-burn-attacks-contextual-policies-omnigent)