AI 문맥 압축의 사용자 지시사항 누락 문제

주장인공지능 시스템이 긴 대화 내용을 관리하기 위해 문맥을 압축하는 과정에서 사용자가 설정한 세션 제약 조건이 누락되는 현상이 발생합니다.

팩트펜실베이니아 주립대학교 연구진은 인공지능 문맥 압축 시 사용자 지시사항이 유지되는 비율이 평균 17퍼센트에 불과하다고 발표했습니다. 압축을 거치지 않은 상태에서의 규칙 준수율은 59퍼센트에서 71퍼센트 사이로 나타났습니다.

교차검증연구진은 압축 프롬프트를 정교하게 수정하더라도 사용자 지시사항 유지율이 40퍼센트를 넘기지 못한다고 밝혔습니다. 기존 압축 시스템은 압축을 전혀 거치지 않은 상태보다 오히려 더 낮은 성능을 보이기도 합니다.

팩트연구진은 이러한 손실을 측정하기 위해 콤프인트라는 평가 도구를 도입했습니다. 이 도구는 인공지능이 대화 세션 내에서 사용자의 제약 조건을 기억하고 수행하는지 분석합니다.

주장세션 제약 조건은 특정 대화 동안만 적용되는 규칙이어서 압축 과정에서 삭제되는 경향이 있습니다.

팩트연구진은 큐원3.5-9비트 기반의 소형 언어 모델을 활용한 추출 모듈을 해결책으로 제시했습니다. 이 모듈은 사용자의 입력을 실시간으로 읽어 제약 조건을 별도 목록으로 수집한 뒤 요약본에 이를 추가합니다.

팩트해당 추출 모듈을 적용했을 때 사용자 지시사항 유지율은 에이전트 궤적 95.6퍼센트, 장기 연구 작업 95.1퍼센트, 다회차 대화 90.3퍼센트로 확인되었습니다.

주장이번 연구는 인공지능 에이전트의 신뢰성과 보안을 확보하기 위해 문맥 관리 기술이 정교해져야 함을 보여줍니다.

팩트콤프인트 평가 도구와 제안된 추출 모듈은 깃허브를 통해 공개되어 있습니다.

출처더 디코더(https://the-decoder.com/ai-systems-quietly-drop-user-instructions-when-they-compress-context/)의 보도를 교차 검증했습니다.