4-텐서 어텐션 모델을 통한 의미적 물리 현실 예측

본 연구는 비디오 생성 및 로봇 계획을 위해 장면의 다음 의미 상태를 예측하는 4-텐서 어텐션 모델을 제안한다. 제안된 모델은 위치와 시간 정보, 의미적 및 시간적 문맥 텐서를 결합한 윈도우 기반 어텐션 구조를 사용하며, ROCStories 데이터셋 기반 평가에서 기존 1차원 트랜스포머 대비 낮은 교차 엔트로피를 기록하여 성능 우위를 입증하였다. 특히 동일한 파라미터 수준에서 학습 속도가 약 19배 빠르게 나타나 효율성 면에서도 뚜렷한 개선을 보였다. 원문: