AI 가속기 성능은 연산 능력뿐 아니라 메모리 대역폭에 의해 결정된다. 거대언어모델의 학습과 추론에는 초당 수 테라바이트의 메모리 대역폭이 필요하다. 따라서 고대역폭 메모리(HBM)는 AI 시대에 필수적인 부품으로 인식되고 있다.