분산 손실은 소규모 언어 모델의 임베딩 응축 효과를 상쇄한다는 내용입니다. 이는 분산 손실이 모델의 임베딩 압축에 영향을 미친다는 것을 시사합니다. 해당 연구는 이러한 관계를 다루고 있습니다.