아마존 렉스 어시스티드 NLU 기반 봇 정확도 개선

주장아마존 렉스의 어시스티드 NLU 기능은 대규모 언어 모델을 도입하여 기존 규칙 기반 자연어 이해 시스템의 한계를 극복합니다. 고객의 다양한 발화 방식과 모호한 표현을 효과적으로 처리하여 봇의 대화 정확도를 개선하는 것이 핵심 목표입니다.

팩트아마존 렉스 어시스티드 NLU는 의도 분류 정확도 92퍼센트, 슬롯 추출 정확도 84퍼센트를 평균적으로 달성합니다. 실제 도입 고객은 의도 분류 성능이 11에서 15퍼센트 향상되었으며, 폴백 응답은 23.5퍼센트 감소했다고 보고했습니다.

팩트해당 기능은 프라이머리 모드와 폴백 모드라는 두 가지 운영 방식을 제공합니다. 프라이머리 모드는 모든 입력을 대규모 언어 모델로 처리하며, 폴백 모드는 기존 NLU의 신뢰도가 낮을 때만 언어 모델을 호출합니다.

교차검증기존에 이미 높은 성능을 유지하는 봇의 경우, 무분별하게 프라이머리 모드로 전환하면 불필요한 지연 시간이 발생할 수 있습니다. 따라서 기존 봇은 폴백 모드를 우선 사용하고 성능 지표를 모니터링하며 점진적으로 전환하는 전략이 필요합니다.

주장효과적인 의도 분류를 위해서는 의도 설명문을 명확하게 작성해야 합니다. 설명문은 팀을 위한 문서가 아니라 대규모 언어 모델을 위한 프롬프트 역할을 하므로, 목적과 행동 동사를 포함한 일관된 패턴을 따라야 합니다.

팩트설명문 작성 시 'Intent to'로 시작하여 행동 동사, 객체, 맥락을 명확히 기술하는 방식을 권장합니다. 예를 들어 'Intent to book a hotel room for overnight accommodation'과 같이 구체적으로 작성해야 모델이 의도를 정확히 파악합니다.

교차검증설명문에 슬롯 값이나 특정 예시를 포함하는 것은 지양해야 합니다. 또한 여러 행동을 하나의 의도에 묶거나 의도 간에 중복되는 언어를 사용하는 것은 분류 정확도를 떨어뜨리는 주요 원인이 됩니다.

팩트어시스티드 NLU 기능은 추가 비용 없이 표준 아마존 렉스 요금제에 포함되어 제공됩니다. 사용자는 아마존 렉스 콘솔의 로케일 설정에서 해당 기능을 활성화하고 원하는 모드를 선택하여 즉시 적용할 수 있습니다.

주장봇의 성능을 최적화하기 위해서는 아마존 클라우드워치(Amazon CloudWatch) 로그의 'fulfilledByAssistedNlu' 지표를 지속적으로 모니터링해야 합니다. 폴백 모드에서 언어 모델 호출 비중이 30퍼센트를 넘어서면 일관성을 위해 프라이머리 모드로 전환하는 것을 고려합니다.

출처아마존 웹 서비스(AWS) 공식 블로그의 'Improve bot accuracy with Amazon Lex assisted NLU' 게시글을 교차 검증했습니다.