LLM 에이전트 워크플로우를 위한 비용 효율적 파레토 추천

대규모 언어 모델 기반 에이전트 워크플로우에서는 전문화된 역할에 따라 서로 다른 모델을 배치하는 경우가 늘고 있다. 사용자는 작업 품질과 배포 비용, 때로는 지연 시간 간의 적절한 균형을 원하지만, 다양한 후보를 평가하는 과정에서 별도의 탐색 비용이 발생한다. 본 연구에서는 평가 비용과 배포 비용의 상관관계를 고려한 다목적 최적화 기법인 CC-Gittins를 제안하며, 품질 향상과 비용 절감을 번갈아 추구하면서 각 평가 결과를 두 목적에 동시에 반영하는 방식으로 효율성을 극대화한다. 실험 결과, CC-Gittins는 전수 평가 비용의 약 10% 수준에서 진정한 파레토 프론티어의 상당 부분을 재현했으며, 30% 수준에서 거의 대부분을 회복하면서도 오경보를 최소화하는 성능을 보였다. 원문: