LLM Wiki

SkillComposer: 스킬을 몇 개나 어떤 순서로 쓸지 한 번에 예측하는 LLM 에이전트 스킬 조합 방식에 대한 연구

Properties2
description스킬 라이브러리가 커질수록 '어떤 스킬을, 몇 개나, 어떤 순서로 쓸지'를 정하는 조합 선택이 추론 병목이 되고 있다.
tagsai-models, research

6 min read

출처

개요

스킬 라이브러리가 커질수록 “어떤 스킬을, 몇 개나, 어떤 순서로 쓸지”를 정하는 조합 선택이 추론 병목이 되고 있다. SkillComposer는 이 세 가지 결정을 하나의 시퀀스 생성 문제로 정식화해, 3.9M 파라미터의 초경량 자기회귀 디코더가 작업 설명만 보고 닫힌 스킬 인덱스 시퀀스를 단 한 번의 디코딩으로 예측한다. 검색 목적으로 튜닝된 동결 임베딩 인코더, 개수/집합 소속을 각각 감독하는 보조 헤드, TF-IDF 기반 검색 증강 디코딩을 결합한 아키텍처로, 196개 스킬 라이브러리에서 600M 파라미터 SFT를 분포 이동 상황에서 +19.3 pp 차이로 앞섰다.

핵심 포인트

  • 공동 정식화(Joint Formulation): 부분집합·개수·순서라는 세 결정을 분리하지 않고 하나의 시퀀스 생성 문제로 통합. STOP 토큰이 개수를 결정하고 생성 순서가 실행 순서를 결정.
  • 9,872개 학습 데이터: 196개 사람 큐레이션 스킬 라이브러리 기반. 실제 앵커 65개 + 단일 스킬 합성 2,880개 + 다중 스킬 합성 6,927개. 스킬 의존성 그래프(658개 데이터 흐름 간선 + 266개 워크플로우 간선)로 순서 제약을 인코딩.
  • 3.9M 파라미터로 600M SFT를 이김: 학습 파라미터 규모 약 1/154, 연산량 약 1/25. 인-분포 테스트에서 SFT 대비 +2.8 pp, LLM 판정 대비 +12.9 pp. 분포 이동(홀드아웃 실제 작업)에서는 +19.3 pp 차이.
  • 다운스트림 에이전트 성능: SkillsBench 75개 과제에서 SkillComposer가 GPT-5.2-Codex 45.3%, Gemini-3-Pro-Preview 44.0% 통과율. 스킬 없는 베이스라인 대비 각각 +23.1 pp, +18.2 pp. 오라클 상한선 대비 80% 개선 여지 회복. 검색 베이스라인 상회, 가장 적은 프롬프트 토큰(Codex 기준 1.03M).
  • 검색 증강 디코딩: 세 가지 신호(문맥, TF-IDF 어휘적 유사도, 집합 헤드 소속 점수)를 디코딩 단계마다 융합. 스킬 라이브러리 롱테일 분포에서 검색의 강점과 학습 표현의 강점을 결합. TF-IDF가 밀집 임베딩 코사인·BM25를 구문적 특수성 면에서 앞섬.
  • 보조 헤드 설계: 개수 헤드는 STOP 토큰과 독립적인 길이 신호를 제공해 k=1 과잉 방출 억제에 기여. 집합 헤드는 순서 무관하게 모든 관련 스킬에 그래디언트를 흘려줘 Set F1 69.3%→71.8% 향상.
  • 강건성 원천: 동결된 Qwen3-Embedding-0.6B 인코더의 검색 목적 귀납적 편향이 분포 이동에서 전이에 유리하게 작용. 반면 SFT는 합성 템플릿 분포를 암기해 홀드아웃에서 27.5 pp 급락.

왜 중요한가

기존 접근은 (1) 스킬 전체를 문맥에 밀어넣기(비싸고 비효율적), (2) 검색으로 개별 관련 스킬을 뽑기(순서와 개수 정보 없음), (3) 도구 수준의 계획 수립을 그대로 가져오기(스킬의 비구조적 특성에 부적합)라는 각각의 한계를 가졌다. SkillComposer는 스킬 조합 자체를 최적화 대상으로 삼아, 작고 빠르며 검사 가능한 계획 생성기를 제안했다는 점에서 의미가 있다. 특히 합성 데이터만으로 학습하고도 분포 이동에 강건하고 다운스트림 성능으로 이어진다는 실증은, 스킬 라이브러리 운영에서 “추론 시점의 선택” 문제를 자원 효율적으로 해결할 수 있는 방향을 보여준다.

후속 링크 / 키워드

원문 보존 위치

원문 전체는 raw source: web-2026-07-07-pytorchkr-topic-11090-skillcomposer-llm-agent-skill-composition에 source_url 및 HTML 원문과 함께 저장되어 있습니다.

백링크