#LLM 추론
관련 뉴스 2건
-
IT
하이퍼엑셀, AI 인프라 협력으로 추론용 반도체 개발 가속화
하이퍼엑셀은 애니브릿지와 AI 인프라 공동 기술 개발 및 협력 업무협약을 체결했습니다. 하이퍼엑셀은 대규모 언어모델 추론에 특화된 AI 반도체 LPU를 개발 중이며, 올해 말에서 내년 초에 1세대 제품인 베르다 양산을 목표로 하고 있습니다.
-
IT
디노티시아, KV 캐시 20배 압축 기술 STAR-KV 공개
디노티시아가 LLM 추론의 병목 현상을 해결하기 위해 KV 캐시를 20배 압축하는 'STAR-KV' 기술을 공개했습니다. 이 기술은 메모리 용량과 처리 속도 문제를 개선하는 데 중점을 둡니다. 해당 연구는 UC 샌디에이고(UCSD) VVIP 랩과 협력…
