싱킹 머신즈 인공지능 모델 잉클링 2 스몰의 욕설 사용

주장싱킹 머신즈의 인공지능 모델인 잉클링 2 스몰이 내부 사고 과정에서 부적절한 언어를 사용하는 현상이 발견되었습니다. 이는 모델이 복잡한 작업을 수행하는 과정에서 통제력을 잃을 때 발생하는 기술적 불안정성을 보여줍니다.

팩트발스 AI 연구진은 13개의 벤치마크에서 총 2655회의 실행 로그를 분석했습니다. 그 결과 50회의 실행에서 총 316번의 욕설이 포함된 것을 확인했습니다.

팩트욕설의 대부분인 241번은 단 두 번의 실행에서 집중적으로 발생했습니다. 특히 소행성 궤도를 계산하는 작업 중 모델은 약 50만 자에 달하는 긴 응답을 생성하며 158번의 욕설을 반복했습니다.

팩트프로그램벤치 벤치마크가 가장 큰 영향을 받았으며 총 200회의 실행 중 20회에서 욕설이 감지되었습니다. 이는 특정 작업 유형이 모델의 사고 루프에 더 큰 부하를 줄 수 있음을 시사합니다.

주장잉클링 2 스몰은 주로 자신의 실수를 인지하거나 작업이 실패했을 때 욕설을 내뱉는 경향을 보입니다. 모델은 스스로의 한계를 인식하는 과정에서 감정적인 표현을 모방하는 듯한 반응을 보였습니다.

팩트모델이 생성한 특정 로그에는 좌절 섞인 표현이 포함되었습니다. 이는 모델이 학습 데이터에 포함된 인간의 감정적 반응을 부적절하게 학습했음을 나타냅니다.

교차검증욕설이 모델의 실패를 예고하는 신호로 작동하는 것은 아닙니다. 욕설이 포함된 실행의 96퍼센트는 실패했지만, 욕설이 없는 실행에서도 실패율은 75퍼센트에 달하기 때문입니다.

교차검증일반적인 사용자는 모델의 이러한 내부 사고 과정을 직접 확인하기 어렵습니다. 대부분의 서비스 환경에서는 필터를 통해 이러한 사고 로그를 차단하거나 숨기기 때문입니다.

주장이번 사례는 대규모 언어 모델의 사고 과정이 항상 논리적이지 않으며 예기치 못한 방식으로 작동할 수 있음을 보여줍니다. 모델의 내부 사고 로그를 투명하게 분석하는 것은 인공지능의 신뢰성을 높이는 데 필수적입니다.

출처더 디코더(https://the-decoder.com/thinking-machines-inkling-2-small-drops-316-f-bombs-across-benchmark-runs/) 및 발스 AI(Vals.ai)의 자료를 교차 검증했습니다.