디노티시아가 LLM 추론의 병목 현상을 해결하기 위해 KV 캐시를 20배 압축하는 'STAR-KV' 기술을 공개했습니다. 이 기술은 메모리 용량과 처리 속도 문제를 개선하는 데 중점을 둡니다. 해당 연구는 UC 샌디에이고(UCSD) VVIP 랩과 협력하여 진행되었습니다.