아마존 노바의 선택적 망각 기술 rDPO 도입

주장기업 현장에서는 인공지능 모델의 콘텐츠 조정 기능이 정당한 업무까지 차단하는 문제를 겪고 있습니다. 보안 교육을 위한 피싱 메일 생성이나 법률 증거 분석 등은 모델의 과도한 거부 반응으로 인해 수행이 어렵습니다.

팩트아마존은 이러한 문제를 해결하고자 아마존 노바(Amazon Nova)의 맞춤형 콘텐츠 조정 설정인 CCMS를 도입했습니다. CCMS는 안전, 민감 콘텐츠, 공정성, 보안 등 4가지 책임 있는 인공지능 영역에서 모델의 거부 반응을 선택적으로 조정합니다.

팩트CCMS의 핵심 기술은 모델의 매개변수에서 특정 학습 행동을 제거하는 언러닝(Unlearning) 기법입니다. 아마존은 저순위 적응(LoRA, Low-Rank Adaptation) 어댑터를 훈련하여 모델이 특정 정책에 유연하게 대응하도록 설계했습니다.

주장기존의 부정적 선호 최적화(NPO, Negative Preference Optimization) 방식은 모델이 단순히 거부하도록 학습된 행동을 잊게 할 뿐입니다. 이 방식은 고품질의 대안 답변을 제시하지 못해 모델의 전체적인 출력 품질을 저하시킵니다.

팩트아마존이 개발한 역방향 직접 선호 최적화(rDPO, Reverse Direct Preference Optimization)는 모델이 잊어야 할 답변에서 멀어지게 합니다. 동시에 모델이 고품질의 목표 답변을 생성하도록 유도하는 이중 목표 방식을 채택했습니다.

팩트rDPO 방식은 학습 효율성을 높여 더 적은 최적화 단계로도 빠르게 수렴합니다. rDPO 학습 과정에서 모델의 훈련 정확도는 약 30단계 만에 1에 가깝게 도달합니다.

교차검증반면 NPO 방식은 훈련 정확도 변화가 거의 나타나지 않습니다. 이는 모델이 안전한 답변이라는 틀에서 벗어나기 어려워하는 한계를 보여줍니다.

주장로라 어댑터를 활용한 맞춤화 파이프라인은 전체 순위 미세 조정보다 훈련 효율성이 높습니다. 기업 고객은 특정 정책 영역 데이터를 준비하고 rDPO로 훈련된 어댑터를 적용하여 모델을 최적화할 수 있습니다.

팩트평가 결과, 안전 관련 요청에 대한 모델의 거부율은 기존 86.51%에서 32.77%로 53.74%포인트 감소했습니다. 보안 분야 역시 거부율이 46%포인트 감소하며 모델의 실질적인 업무 처리 능력이 향상되었습니다.

교차검증모델의 과도한 거부 반응을 줄이는 것은 중요하지만, 아동 보호나 개인정보 보호와 같은 필수적인 안전 제어 장치는 비활성화할 수 없습니다. 이는 책임 있는 인공지능 사용을 보장하기 위한 아마존의 최소한의 안전장치입니다.

주장이번 기술 도입은 인공지능 모델이 비즈니스 환경에서 실질적인 가치를 창출하도록 돕습니다. 기업은 모델의 안전성을 유지하면서도 업무의 유연성을 확보할 수 있습니다.

출처https://aws.amazon.com/blogs/machine-learning/teaching-models-to-forget-selective-unlearning-with-amazon-nova/ 해당 문서는 아마존 웹 서비스의 공식 머신러닝 블로그를 통해 발행되었으며, 인공지능 모델의 정렬과 최적화 기술에 관한 기술적 배경을 교차 검증했습니다.