데이터 스케줄과 학습률 스케줄은 함께 설계해야 한다

대규모 언어 모델 훈련에서 사전 훈련 후 고가치 데이터로 추가 훈련하는 중간 훈련(MT) 단계의 데이터 도입 시점과 학습률 스케줄 간의 상호작용이 최종 성능에 중요한 영향을 미친다. 기존 방식처럼 사전 훈련(PT) 데이터만으로 시작해 MT 데이터를 후반에 몰아넣는 완전 전환 방식이 항상 최적은 아니며, 이는 학습률 감소 방식에 따라 달라진다. 학습률을 지속적으로 감소시키는 경우 초기부터 PT와 MT 데이터를 혼합하는 것이 성능을 개선하지만, 일정한 학습률을 유지할 때는 반대 결과가 나타난다. 연구에서는 MT 데이터 도입 이후에 학습률 감소를 시작하는 것이 더 효과적임을 실험과 이론 모델을 통해 제시한다. 원문: