KV 캐시 압축이 HBM 수요를 꺾을까: KVTC·TurboQuant, 시장 영향과 한국 반도체 전망

KVTC 논문은 공개 초록에서 재사용 가능한 KV 캐시가 채팅, 코드 편집 같은 반복형 워크로드에서 중요한데, 오래된 캐시가 GPU 메모리를 잡아먹거나 오프로딩과 재계산 비용을 키운다고 설명합니다. 즉 이 기술의 관심사는 “캐시를 얼마나 작게 보관하느냐”에 가깝습니다.

반면 Google Research는 TurboQuant를 소개하면서 기존 벡터 정량화 방식이 zero-point, scale 같은 상수를 따로 저장해야 해서 정작 메모리 오버헤드가 다시 생긴다고 짚습니다. TurboQuant는 PolarQuant와 QJL을 결합해 그 오버헤드를 줄이고, KV 메모리 footprint를 최소화하면서도 attention 계산 속도까지 끌어올리려 합니다. 즉 이쪽은 “KV를 더 작게, 더 빨리 다루는 방법”에 더 가깝습니다.

그래서 시장에서 흔히 보이는 “엔비디아 20배 vs 구글 6배” 식 비교는 다소 거칠 수 있습니다. 제가 보기에는 두 기술은 같은 문제를 향하지만 서로 다른 지점에서 메모리 병목을 푸는 접근이기 때문에, 압축률 headline만 보고 어느 쪽이 우월하다고 결론내리면 해석이 틀어질 가능성이 큽니다.

특히 중요한 점은 NVIDIA가 2025년 11월 19일 실적 발표에서 “학습과 추론 수요가 모두 지수적으로 늘고 있다”고 말한 부분입니다. 이 말은 현재 시장이 “훈련은 끝났고 이제 추론만 남았다”가 아니라, 양쪽이 동시에 커지는 국면에 있다는 뜻에 가깝습니다.

따라서 압축 기술은 곧바로 HBM 수요를 꺾는 칼이 되기보다, 같은 메모리를 더 효율적으로 써서 추론 시장의 총량을 키우는 촉매가 될 가능성이 있습니다. 비용이 내려가면 기업은 절감분을 이익으로만 남기지 않고 더 긴 컨텍스트, 더 많은 에이전트 호출, 더 풍부한 멀티모달 처리에 다시 투입하기 쉽기 때문입니다.

제가 보기에는 한국 반도체에 대한 진짜 질문은 “KV 캐시 압축이 나오면 HBM이 끝나는가”가 아니라, “한국 업체들이 HBM 이후의 메모리 계층 구조를 누가 더 잘 장악하느냐”입니다. 이 관점에서 보면 SK hynix의 HBF 움직임은 단순 부가 뉴스가 아니라, inference 시대를 겨냥한 포지셔닝으로 읽힙니다.

삼성전자 쪽도 단순 추격 스토리보다, HBM4 양산과 logic base die, foundry 연계를 통해 AI 고객에게 더 통합된 제안을 할 수 있느냐가 중요합니다. 만약 inference 최적화가 본격화될수록 고객이 “메모리 칩”보다 “전체 시스템 최적화 파트너”를 찾게 된다면, 이는 한국 업체들에도 분명한 기회가 될 수 있습니다.

현재 공개된 공식 자료만 놓고 보면, 저는 아직 베이스 시나리오가 가장 유력하다고 봅니다. NVIDIA는 2025년 11월 19일 실적 발표에서 training과 inference 수요가 모두 지수적으로 늘고 있다고 밝혔고, Samsung은 2026년 HBM 매출이 3배 이상 늘어날 것이라고 했습니다. Micron도 2026년 3월 16일 HBM4의 고부가 양산과 NVIDIA Vera Rubin용 설계를 공식화했습니다.

이 흐름을 종합하면, 적어도 단기적으로는 압축 기술이 등장했다고 해서 HBM 수요가 바로 꺾인다고 보기 어렵습니다. 오히려 HBM은 계속 필요하지만, HBM 혼자 모든 데이터를 책임지지 않는 방향으로 갈 가능성이 더 큽니다. 쉽게 말해 “HBM + 중간 레이어 + 스토리지”의 구조가 강해지는 쪽입니다.

다만 투자 관점에서 주의할 점도 분명합니다. 시장이 이미 “HBM 슈퍼사이클이 영원히 간다”는 식으로 너무 강한 낙관을 가격에 반영하고 있다면, 이런 압축 기술 뉴스는 앞으로 밸류에이션 멀티플을 흔드는 변수가 될 수 있습니다. 수요 자체가 꺾이지 않더라도, 투자자들이 “단위 추론당 필요한 HBM은 생각보다 빨리 줄 수 있겠다”는 의심을 갖기 시작하면 주가 변동성은 커질 수 있습니다.

제 개인적인 정리로는, 이번 이슈는 “HBM이 끝났다”는 결론보다 “HBM만 보면 부족하다”는 결론으로 읽는 편이 맞습니다. 그래서 일반 투자자라면 앞으로는 HBM 출하량 뉴스만이 아니라, 각 회사가 inference 시대에 맞는 메모리 계층 구조를 어떻게 제안하는지, 그리고 그 과정에서 어떤 제품 믹스를 가져가는지까지 함께 보시는 게 좋겠습니다.

물론 이 글은 투자 권유가 아니라 구조 해석입니다. 실제 투자 판단은 각자의 리스크 감내 수준과 보유 기간, 밸류에이션 수준을 같이 보셔야 합니다.