잠재적 추론과 관측을 결합한 에이전트 기반 동영상 이해 프레임워크 제안

에이전트 기반 동영상 이해를 위해서는 단순한 답변 생성뿐 아니라 다음 관측 위치를 결정하는 능력이 필수적이다. 본 연구에서는 관측 정보와 추론 과정을 함께 학습하는 ‘LARVA(Latent Agentic Reasoning for Video Analysis)’ 프레임워크를 제안하며, 캡션이 아닌 연속적인 잠재 표현을 통해 관측자와 추론자 간 효율적인 정보 전달을 구현하였다. 텍스트 기반 사고 과정을 따르는 모델보다 뛰어난 성능을 보이며, 다양한 동영상 이해 벤치마크에서 4B 및 7B 규모 모델에서 강력한 결과를 달성하였다. 원문: