아마존 베드록의 프로그래밍 방식 도구 호출(PTC) 구현

주장프로그래밍 방식 도구 호출(Programmatic Tool Calling, PTC)은 거대 언어 모델이 외부 도구와 상호작용하는 방식을 근본적으로 변화시킵니다. 기존 방식은 도구 호출마다 모델이 추론 과정을 반복해야 했으나, PTC는 모델이 직접 파이썬 코드를 작성하여 여러 도구를 한 번에 실행합니다.

팩트전통적인 도구 호출 방식은 모델이 도구를 호출하고 결과를 받은 뒤 다시 추론하는 과정을 반복합니다. 이 과정에서 지연 시간이 길어지고, 특히 수천 개의 데이터를 처리할 때 모든 중간 결과가 모델의 문맥 창(Context Window)을 통과하며 토큰 소비량이 급증합니다.

주장PTC는 모델이 단 한 번의 샘플링으로 파이썬 코드를 생성하고, 샌드박스 환경에서 이를 실행하여 최종 결과만 모델에 반환합니다. 이러한 구조는 대규모 데이터 처리, 복잡한 수치 계산, 다단계 프로세스 조정에 효과적입니다.

팩트PTC를 활용하면 모델은 루프, 조건문, 필터링 로직이 포함된 파이썬 코드를 작성합니다. 예를 들어 20명의 경비 내역을 조회할 때, 비동기 처리를 지원하는 라이브러리인 `asyncio.gather()`를 사용하여 20개의 호출을 병렬로 처리함으로써 지연 시간을 최소화합니다.

교차검증PTC는 모델이 생성한 코드를 실행하는 샌드박스 환경이 필요하므로 보안과 격리가 중요합니다. 관리형 솔루션을 사용할 수도 있지만, 기업의 요구사항에 따라 직접 도커(Docker) 샌드박스를 호스팅하여 제어권을 확보하는 방식도 가능합니다.

팩트아마존 베드록(Amazon Bedrock)에서 PTC를 구현하는 방법은 세 가지입니다. 아마존 탄력적 컨테이너 서비스(Amazon ECS)를 활용한 자체 호스팅 도커 샌드박스, 아마존 베드록 에이전트 코드 인터프리터를 활용한 관리형 솔루션, 그리고 프록시를 통한 앤스로픽(Anthropic) 소프트웨어 개발 키트(SDK) 호환 방식이 있습니다.

주장자체 호스팅 방식은 특정 모델에 종속되지 않는다는 장점이 있습니다. 기업은 아마존 베드록에서 제공하는 클로드(Claude), 라마(Llama), 노바(Nova) 등 다양한 모델을 활용하며 내부 보안 정책에 맞춰 환경을 구성합니다.

팩트시스템 프롬프트는 모델이 PTC를 지원하도록 만드는 핵심 요소입니다. 모델에게 실행 환경, 사용 가능한 도구, 파이썬 코드 작성 규칙을 명확히 지시해야 하며, 특히 상태가 유지되지 않는 환경임을 인지시켜야 합니다.

교차검증모델이 생성한 코드가 외부 환경에서 실행되므로 코드의 안정성과 보안성을 보장하는 작업이 필요합니다. 샌드박스 내부에서만 데이터 처리가 이루어지도록 설계하여 원본 데이터가 모델의 문맥에 노출되는 상황을 방지합니다.

출처아마존 웹 서비스(AWS) 머신러닝 블로그(https://aws.amazon.com/blogs/machine-learning/implementing-programmatic-tool-calling-on-amazon-bedrock/)의 공식 기술 문서를 교차 검증했습니다.