RLVR에서 샘플러 불일치에 따른 엔트로피 변화의 부호 법칙

강화학습 기반 검증 가능 보상(RLVR) 환경에서 정책의 엔트로피 변화 방향은 정확한 샘플링 하에서는 미미한 영향을 미치는 요소들, 예를 들어 과도한 응답을 마스킹 처리할지 실패로 간주할지 여부에 따라 달라질 수 있다. 이 현상은 학습기와 다른 샘플링 방식(예: top-k, top-p, 온도 조정)을 사용하는 '샘플러 불일치'에서 비롯되며, 이 경우 일정한 어드밴티지 시프트가 기대값에서 정책의 엔트로피 변화 방향을 고정된 부호로 유도함을 수학적으로 증명하였다. 특히, 토큰 확률에 따라 샘플러의 우도 비율이 증가하는 경우(예: top-k, top-p, min-p, 온도 1 미만)에는 양의 시프트가 정책을 더 날카롭게 만들지만, 더 평탄한 샘플러에서는 정책이 완만해진다. 그룹 기반 RLVR에서 토큰 수준 손실을 고려할 때, 마스킹과 실패 처리 방식이 네트 어드밴티지의 부호에 반대 방향의 영향을 미칠 수 있으며, 이로 인해 엔트로피 드리프트가 자기강화적 양상을 보일 수 있다. 원문: