엔비디아 모델익스프레스로 AI 모델 기동 시간이 크게 단축됨
엔비디아가 '모델익스프레스'를 공개하여 대규모 언어 모델의 가중치 배포 속도를 개선했습니다. 이 기술은 딥시크 V4 프로 기준으로 가중치와 커널 캐시를 10초 내에 전송하여 모델 기동 시간을 8분에서 1분 44초로 단축했습니다. 이는 AI 모델 배포 효율성을 높이는 데 기여합니다.
댓글
0개
첫 댓글을 남겨보세요.