#STAR-KV
관련 뉴스 3건
-
IT
디노티시아와 한양대 연구팀, KV 캐시 압축 시 성능 유지 기술 발표
캘리포니아 샌디에이고 대학교와 디노티시아 연구진, 한양대학교 연구팀이 KV 캐시 압축 시 성능을 유지하는 기술을 공동 연구했습니다. 이 연구는 적응형 랭크 제어를 위한 소프트 임계값 처리를 통해 저랭크 KV 캐시 압축 방법을 제시합니다. 이는 AI 반…
-
IT
디노티시아 연구팀, KV 캐시 75% 압축 시 성능 유지 기술 발표
디노티시아 연구진과 한양대학교 연구진이 'STAR-KV' 논문을 발표했습니다. 이 연구는 적응형 랭크 제어를 위해 소프트 임계값 처리를 사용하여 저랭크 KV 캐시를 압축하면서 성능을 유지하는 방법을 다룹니다. 이는 KV 캐시의 75% 압축에도 성능을 …
-
IT
디노티시아, KV 캐시 20배 압축 기술 STAR-KV 공개
디노티시아가 LLM 추론의 병목 현상을 해결하기 위해 KV 캐시를 20배 압축하는 'STAR-KV' 기술을 공개했습니다. 이 기술은 메모리 용량과 처리 속도 문제를 개선하는 데 중점을 둡니다. 해당 연구는 UC 샌디에이고(UCSD) VVIP 랩과 협력…
