LLM

명령줄 환경에서 대규모 언어 모델을 제어하는 llm 도구의 최신 버전이 출시되었습니다. 이와 함께 새로운 인공지능 모델의 성능과 기업 보안 관리 방안이 주목받고 있습니다.

llm-openrouter가 0.7 버전으로 업데이트되었습니다. 이번 버전은 LLM 0.32 버전 호환성을 갖추고 세 가지 서버 측 도구를 도입했습니다.

대규모 언어 모델 도구 0.32.1 버전이 배포되었습니다. 외부 라이브러리 변경에 따른 오류를 해결하기 위해 의존성 버전을 고정했습니다. 앞으로 라이브러리 전면 교체를 진행합니다.

글린(Glean)이 기업용 인공지능 시장에서 모델 라우팅 기술을 바탕으로 급격한 성장을 기록하고 있습니다. 아르빈드 자인 대표는 단순한 대형 언어 모델 의존을 지양하고 작업 성격에 맞춘 효율적 모델 선택의 중요성을 강조합니다.

거대언어모델에 방대한 태그 목록을 한 번에 입력하는 방식은 정확도 저하를 유발합니다. 모델이 자유롭게 태그를 생성하게 한 뒤 벡터 임베딩으로 매칭하는 전략이 효율적입니다. 사이먼 윌리슨의 기술 블로그 사례를 통해 구체적인 방법론을 확인했습니다.

인도 공과대학교와 어도비 연구진은 거대언어모델의 출력물만으로 원래의 프롬프트를 거의 완벽하게 복원하는 기술을 개발했습니다. 이 기술은 모델의 내부 가중치에 접근하지 않고도 프롬프트를 역공학할 수 있어 인공지능 보안에 새로운 과제를 던집니다.

연구진은 거대 언어 모델의 지식 증류 과정에서 발생하는 막대한 자원 소모를 해결하기 위해 오프라인 증류 방식과 융합 청크 손실 함수를 개발했습니다. 해당 기술은 8K 및 32K 토큰 환경에서 메모리 사용량을 획기적으로 줄이며, 관련 구현 코드는 깃허브를 통해 공개되었습니다.

네이선 램버트가 매닝 출판사를 통해 대형 언어 모델 사후 학습 도서를 출간했습니다. 이 책은 강화학습 알고리즘과 거부 샘플링 등 실무 핵심 주제를 다룹니다. 독자들은 할인 코드와 온라인 무료 열람을 통해 책을 이용할 수 있습니다.

거대언어모델의 암호화된 사고 과정 블록을 재사용하여 추론 내용을 복구하는 취약점이 발견되었습니다. 연구진은 하위 모델을 탈옥시켜 숨겨진 추론을 평문으로 확인했습니다. 해당 취약점은 현재 제공업체의 조치로 수정되었습니다.

듀크대학교와 어도비 리서치 등 공동 연구진이 개방형 과제에서도 스스로 보상을 검증하는 RLSVR 학습 패러다임을 제안했습니다. 이 기술은 추론 능력을 넘어 창의적 글쓰기 등 다양한 영역에서 모델의 성능을 향상합니다.