KV 캐시 압축이 HBM 판도를 바꿀까요, 투자자가 읽어야 할 포인트

KVTC는 재사용 가능한 KV 캐시를 더 작게 저장해 on-GPU와 off-GPU 보관 비용을 줄이는 쪽에 가깝고, TurboQuant는 KV 병목 자체를 정량화 기반으로 더 효율적으로 계산하고 저장하는 방향에 더 가깝습니다. 그래서 20배 대 6배를 단순 우열 비교로 읽기 어렵습니다.

토큰당 메모리 비용이 낮아지면 서비스 사업자는 더 긴 컨텍스트, 더 많은 동시 사용자, 더 복잡한 에이전트 워크플로를 붙이기 쉬워집니다. 즉 절감된 메모리가 다시 수요로 재투입되는 제번스 효과가 나타날 수 있습니다.

HBM은 여전히 가장 뜨거운 데이터가 머무는 초고속 메모리로 중요합니다. 다만 앞으로는 HBM 하나만이 아니라 SOCAMM, 서버 DRAM, eSSD, 그리고 SK hynix가 표준화를 시작한 HBF 같은 중간 메모리 레이어가 더 중요해질 수 있습니다.

SK hynix는 HBM3E·HBM4뿐 아니라 HBF, eSSD, SOCAMM2 같은 포트폴리오 확장 논리를 강화할 수 있고, 삼성전자는 HBM4와 logic base die, foundry 연계를 통해 추론 시대의 통합 제안력을 키울 기회를 갖게 됩니다.

KV 캐시는 긴 컨텍스트와 다회전 대화에서 빠르게 커지는 영역입니다. 이 비용이 줄어들면 기업은 같은 GPU 자원으로 더 많은 사용자와 더 긴 세션을 처리할 수 있습니다. 즉 압축 기술의 1차 효과는 AI 서비스 공급 확대입니다.

가장 뜨거운 데이터는 여전히 HBM에 남겠지만, 압축 기술이 발전할수록 덜 뜨거운 KV는 HBF, 서버 DRAM, SOCAMM, eSSD 같은 다른 층으로 이동하기 쉬워집니다. 그래서 승부 포인트가 “HBM 수량”에서 “HBM을 포함한 전체 메모리 아키텍처”로 옮겨갈 수 있습니다.

같은 GPU를 가지고도 누가 더 좋은 런타임, 더 좋은 KV 관리, 더 좋은 오프로딩 정책, 더 좋은 양자화 기법을 붙이느냐에 따라 원가 구조가 달라집니다. 앞으로는 반도체만이 아니라 추론 소프트웨어 스택이 밸류체인의 일부가 될 가능성이 높습니다.

메모리 병목이 완화되면 일부 워크로드에서는 GPU 중심 구조보다 ASIC 중심 구조가 더 쉽게 경제성을 확보할 수 있습니다. 그래서 장기적으로는 GPU 판매 증가만 볼 것이 아니라, AI 인프라가 어떤 메모리 조합으로 표준화되는지를 함께 봐야 합니다.

SK hynix는 2026년 3월 GTC 자료에서 자사 메모리 솔루션이 AI training과 inference 모두의 병목을 줄인다고 설명했고, HBM4, HBM3E, SOCAMM2, eSSD까지 함께 전시했습니다. 여기에 2026년 2월에는 Sandisk와 함께 HBM과 SSD 사이의 새 레이어인 HBF 표준화까지 시작했습니다. 이건 inference 시대에 유리한 포지션입니다.

삼성전자는 2026년 2월 12일 HBM4 양산과 상업 출하를 발표하면서, 2026년 HBM 매출이 2025년 대비 3배 이상 늘어날 것으로 예상한다고 밝혔습니다. 단순 수량 싸움뿐 아니라 4nm logic base die, DTCO, custom HBM 샘플 일정까지 언급한 점은 메모리와 로직을 묶어 파는 전략이 중요해졌다는 의미로 읽힙니다.

SK hynix가 “AI inference era”를 언급하며 HBF를 HBM과 SSD 사이의 레이어로 규정한 것은 매우 상징적입니다. 앞으로 AI 서버는 HBM만 많이 붙인다고 끝나는 구조가 아니라, 어떤 데이터를 어느 층에 둘지가 점점 더 중요해질 가능성이 큽니다.

압축 기술이 발전해도 HBM4처럼 더 높은 대역폭과 더 많은 I/O, 더 높은 적층은 계속 요구됩니다. 그래서 한국 입장에서는 메모리 칩 자체뿐 아니라 고도 패키징, 본딩, 검사, 냉각까지 포함한 후공정 경쟁력이 계속 중요합니다.