오픈에이아이 인공지능 모델의 고블린 언급 현상과 원인 분석

주장오픈에이아이(OpenAI)의 인공지능 모델에서 나타난 고블린 언급 현상은 학습 과정의 작은 보상 신호가 예상치 못한 행동을 유발할 수 있음을 보여줍니다. 이는 인공지능 모델의 정교한 제어가 매우 어려운 과제임을 시사합니다.

팩트지피티(GPT) 5.1 버전 출시 이후 모델의 답변에서 고블린 언급 횟수가 175퍼센트 증가했습니다. 이 현상은 모델의 언어 스타일을 조정하는 너디(Nerdy) 성격 기능이 도입되면서 발생했습니다.

팩트너디 성격 기능은 전체 응답의 2.5퍼센트를 차지했으나 고블린 언급의 66.7퍼센트를 유발했습니다. 학습 과정에서 발생한 피드백 루프가 이 습관을 다른 모드로 확산시켰습니다.

팩트오픈에이아이는 지난 3월 해당 성격 기능을 중단하고 오류가 있는 보상 신호를 제거했습니다. 또한 학습 데이터에서 생물 관련 용어를 필터링하는 조치를 취했습니다.

교차검증지피티 5.5 버전은 이미 학습이 시작된 상태에서 문제가 발견되어 여전히 고블린 언급 문제가 남아있었습니다. 이를 해결하기 위해 오픈에이아이는 코덱스(Codex) 도구에 별도의 지침을 추가했습니다.

팩트오픈에이아이는 코덱스에 고블린, 그렘린, 너구리, 트롤, 오우거, 비둘기 등 특정 생물을 언급하지 말라는 지침을 내렸습니다. 질문과 명확하게 관련이 있는 경우를 제외하고는 이러한 단어 사용을 금지했습니다.

교차검증이번 사례는 인공지능 모델의 학습 데이터와 보상 체계가 모델의 출력 결과에 큰 영향을 미침을 보여줍니다. 사소한 설정 변경이 모델의 전체적인 언어 습관을 바꿀 수 있다는 위험성을 내포합니다.

주장인공지능 산업계는 모델의 성격이나 스타일을 조정할 때 발생할 수 있는 부작용을 사전에 차단해야 합니다. 모델의 자율성이 높아질수록 예상치 못한 편향이나 습관이 고착화될 가능성이 큽니다.

팩트오픈에이아이는 이번 사건을 통해 작은 학습 유인이 인공지능 모델에서 예상치 못한 행동을 유발할 수 있음을 공식적으로 인정했습니다. 이는 인공지능 개발 과정에서의 투명성과 검증 절차의 중요성을 강조합니다.

출처디코더(The Decoder) 보도 내용과 오픈에이아이 공식 발표 자료를 교차 검증했습니다.