디노티시아 연구팀, KV 캐시 75% 압축 시 성능 유지 기술 발표
디노티시아 연구진과 한양대학교 연구진이 'STAR-KV' 논문을 발표했습니다. 이 연구는 적응형 랭크 제어를 위해 소프트 임계값 처리를 사용하여 저랭크 KV 캐시를 압축하면서 성능을 유지하는 방법을 다룹니다. 이는 KV 캐시의 75% 압축에도 성능을 보존할 수 있음을 보여줍니다.
댓글
0개
첫 댓글을 남겨보세요.