#VLLM
관련 뉴스 4건
-
IT
MemStitch 기술로 vLLM에서 제로 카피 컨텍스트 브리징 구현, 응답 속도 25배 향상
MemStitch는 vLLM을 위한 제로 카피 컨텍스트 브리징 기술을 소개합니다. 이 기술은 25배의 TTFT 속도 향상을 달성했습니다. 해당 프로젝트는 GitHub에 공개되어 있습니다.
-
IT
리벨리온, AI 양자화 기업 인수하며 AI 생태계 지원 강화
리벨리온이 AI 추론 최적화 기술기업인 스퀴즈비츠를 인수했습니다. 리벨리온은 현재 서버용 반도체 및 NPU 양산에 집중하고 있습니다. 이번 인수를 통해 AI 모델 양자화 및 추론 서빙 기술 분야에서 협력을 강화할 것으로 보입니다.
-
IT
리벨리온 스퀴즈비츠 인수 AI 생태계 지원 기대
리벨리온이 AI 추론 최적화 기술기업인 스퀴즈비츠를 인수했습니다. 리벨리온은 현재 서버용 반도체 및 NPU 양산에 집중하고 있습니다. 이번 인수를 통해 AI 모델 양자화, 추론 서빙 기술 등 전방위적인 AI 생태계 지원을 기대하고 있습니다.
-
IT
AMD Strix Halo RDMA 클러스터 설정 방법 안내
이 기사는 AMD Strix Halo RDMA 클러스터를 설정하는 방법에 대한 가이드입니다. 해당 가이드는 VLLM 툴박스를 사용하여 RDMA 클러스터를 설정하는 절차를 설명합니다. 이는 특정 하드웨어 환경에서 클러스터 구성을 위한 기술적인 지침을 제…
