청화대 AI, LLM 에이전트용 캐시 서버 AKV 오픈소스 공개

청화대 연구진이 SGLang 기반의 캐시 엔지니어링 서버 AKV를 공개했습니다. AKV는 기존의 대화 기록 요약 방식 대신 키-밸류 캐시를 동적으로 조정함으로써, 4개 에이전트 벤치마크에서 평균 비용을 27.7% 절감하는 성과를 달성했습니다. 원문: