AI 메모리 전쟁 — 엔비디아·인텔·마이크론·브로드컴의 글로벌 반도체 격돌 [2편]

키워드: AI 반도체, 엔비디아, HBM 공급망, 마이크론, 인텔, 브로드컴, InfiniBand, AI 데이터센터, GPU 클러스터, AI 메모리 전쟁

AI 붐이 만들어낸 새로운 전쟁터

2022년 11월 ChatGPT의 등장은 단순한 기술 사건이 아니었다. 반도체 산업 전체의 지형을 바꾼 지각 변동이었다. 출시 5일 만에 100만 사용자, 2개월 만에 1억 사용자를 돌파한 ChatGPT는 AI 컴퓨팅 인프라에 대한 수요를 수직 상승시켰고, 이 수요를 충족하기 위한 반도체 쟁탈전이 시작됐다.

이 전쟁의 핵심 자원은 AI 가속기(GPU/NPU/TPU)와 HBM이다. AI 학습에는 수천~수만 개의 GPU가 필요하고, 각 GPU에는 반드시 HBM이 탑재된다. 수요는 기하급수적으로 늘어나는데 공급은 하루아침에 늘릴 수 없다. 이 구조적 불균형이 AI 반도체 전쟁의 본질이다.

이 전쟁에 참전한 플레이어는 크게 세 진영으로 나뉜다. 첫째는 AI 가속기 제조사(엔비디아, AMD, 인텔, 구글, 아마존, 애플, 메타). 둘째는 HBM·DRAM 제조사(SK하이닉스, 삼성전자, 마이크론). 셋째는 AI 인프라 제공사(브로드컴, 마벨, 인피니밴드 생태계)다.

엔비디아 제국의 해부학: GPU가 아닌 생태계가 강점

CUDA: 소프트웨어로 쌓은 해자(垓字)

엔비디아의 시가총액이 애플과 어깨를 나란히 하는 이유를 GPU 성능만으로 설명하는 것은 절반만 맞는 이야기다. 진짜 비결은 CUDA(Compute Unified Device Architecture)다. 2006년 공개된 CUDA는 GPU를 범용 병렬 컴퓨팅에 활용할 수 있게 해주는 소프트웨어 플랫폼이다.

지금까지 CUDA 기반으로 작성된 AI 연구 논문, 오픈소스 프레임워크, 기업 솔루션은 수백만 개에 달한다. PyTorch, TensorFlow, JAX 등 모든 주요 딥러닝 프레임워크가 CUDA를 1순위로 지원한다. AI 스타트업이 새 모델을 훈련할 때 CUDA로 짜인 코드를 바꾸는 것은 거의 불가능에 가깝다. 이게 바로 소프트웨어 해자다.

AMD의 ROCm, 인텔의 oneAPI 등이 CUDA 호환성을 확보하려 노력하지만, 수십 년간 쌓인 CUDA 생태계의 두께를 단기간에 넘기는 어렵다. 엔비디아가 AI 칩 시장에서 70~80% 점유율을 유지하는 핵심 이유다.

NVLink와 NVSwitch: GPU를 묶는 인터커넥트 전략

AI 학습에는 단일 GPU만으로는 부족하다. 수천 개의 GPU를 하나의 거대한 컴퓨터처럼 묶어야 한다. 이를 위한 엔비디아의 솔루션이 NVLink와 NVSwitch다. NVLink는 GPU 사이를 연결하는 고속 인터커넥트로, PCIe 대비 7배 이상 높은 대역폭을 제공한다. NVSwitch는 여러 GPU를 메시 구조로 연결해 수십~수백 개의 GPU가 마치 하나의 GPU처럼 작동할 수 있게 한다.

AMD의 도전: CUDA 아성에 균열을 낸 MI300 시리즈

AMD는 AI 반도체 경쟁에서 한동안 소외됐지만, 2023년 MI300X의 등장으로 판세를 바꾸기 시작했다. MI300X는 HBM3 192GB라는 엄청난 메모리 용량(H100의 2.4배)을 탑재해 대용량 AI 모델 추론에서 강점을 보였다. 특히 중요한 것은 ROCm 소프트웨어 스택의 발전이다. AMD는 PyTorch·TensorFlow의 AMD GPU 지원을 빠르게 개선했고, 메타·마이크로소프트 등 일부 빅테크들이 AMD GPU를 실제 AI 작업에 도입하기 시작했다.

인텔의 시련: 너무 늦은 AI 반도체 전략

가우디(Gaudi) AI 칩의 도전과 한계

인텔은 2019년 하바나 랩스 인수로 AI 가속기 시장에 뛰어들었다. 가우디 2, 가우디 3 칩은 가격 경쟁력 측면에서 엔비디아 대비 30~40% 저렴하다는 장점을 내세웠다. 그러나 CUDA 대체 소프트웨어 생태계의 부재, 실제 AI 워크로드에서의 성능 격차, 메모리 대역폭의 한계 등이 발목을 잡았다. 인텔은 2024년 가우디 사업 전략을 대폭 수정하고 맞춤형 AI 칩 설계 서비스로 방향을 전환하는 모양새다.

마이크론의 HBM 추격전: 미국의 반격

마이크론은 세계 3위 메모리 반도체 기업으로, HBM 시장에서는 뒤늦게 출발했다. 2024년 HBM3E 양산을 시작하며 빠르게 시장 점유율을 높이고 있다. 마이크론의 강점은 미국 기업이라는 지정학적 위치다. 미국 정부의 반도체 정책(CHIPS Act)과 AI 규제 환경에서 미국 클라우드 기업들이 마이크론 HBM을 선호할 동기가 생기기 때문이다.

마이크론은 또한 HBM과 NAND 플래시의 통합, 즉 HBF(High Bandwidth Flash) 방향에도 적극적이다. AI 추론 서비스의 폭발적 성장으로 대용량·고속·저비용 스토리지 메모리 수요가 늘어나면서, 마이크론의 NAND 기술력이 새로운 경쟁 우위가 될 수 있다.

브로드컴과 ASIC 혁명: 빅테크의 탈(脫)엔비디아 전략

왜 구글, 메타, 아마존은 자체 칩을 만드는가

엔비디아 GPU가 AI 학습·추론에 탁월한 것은 사실이지만, 빅테크 기업들에게는 심각한 약점이 있다. 첫째, 비용이다. H100 하나의 가격은 3~4만 달러, 한화로 4~5천만 원이다. 수만 대를 구매해야 하는 빅테크에게 이 비용은 거대한 부담이다. 둘째, 공급 의존성이다. 엔비디아의 수급 상황에 따라 AI 인프라 확장 계획이 흔들릴 수 있다.

이 이유로 구글, 메타, 아마존, 애플 등은 자체 AI 칩(ASIC) 개발에 뛰어들었다. 구글의 TPU(Tensor Processing Unit)는 2016년부터 구글 검색, Gmail, 번역 등 자사 AI 서비스에 쓰이고 있다. 아마존의 트레이니엄(Trainium)과 인퍼렌시아(Inferentia)는 AWS AI 서비스의 근간이다. 이 커스텀 칩 설계를 수탁하는 핵심 파트너가 바로 브로드컴(Broadcom)이다.

브로드컴의 이더넷 전략: AI 네트워크를 장악하라

브로드컴은 AI 칩 설계 수탁만이 아니라 AI 데이터센터 네트워킹 시장에서도 강자다. 자사의 토마호크(Tomahawk) 5·6 이더넷 스위치 칩은 AI 클러스터 내 GPU 서버 간 통신을 담당한다. InfiniBand가 지배하던 AI 학습 네트워크 시장에서, 성능이 빠르게 향상된 RoCE(RDMA over Converged Ethernet) 기반 이더넷이 대안으로 부상하면서 브로드컴의 입지가 강화되고 있다.

AI 클러스터 인터커넥트 전쟁: InfiniBand vs. 이더넷

수만 개의 GPU를 묶어 하나의 거대한 AI 학습 시스템으로 만들려면 초고속·초저지연 네트워크가 필수다. 이 인터커넥트 시장은 엔비디아가 인수한 멜라녹스의 InfiniBand가 오랫동안 지배해 왔다.

InfiniBand의 강점과 엔비디아 종속성

InfiniBand는 초저지연(약 1마이크로초)과 초고대역폭(HDR: 200Gb/s, NDR: 400Gb/s)을 동시에 달성하는 독자적인 네트워크 프로토콜이다. 특히 AI 분산 학습에서 GPU 수천 개가 AllReduce 같은 집합 통신을 수행할 때 탁월한 성능을 보인다. 그러나 InfiniBand는 엔비디아 독점 기술이다. 구매비용이 높고 엔비디아에 대한 기술 종속성이 심화된다는 점에서, 빅테크들은 오픈 생태계인 이더넷 기반 솔루션을 강력히 선호한다.

울트라 이더넷 컨소시엄: 산업의 반격

2023년 AMD, 인텔, 브로드컴, 마이크로소프트, 메타, 구글 등이 모여 UEC(Ultra Ethernet Consortium)를 출범시켰다. UEC의 목표는 이더넷 기술을 AI 학습 워크로드에 최적화해 InfiniBand의 대안을 만드는 것이다. 400GbE, 800GbE, 1.6TbE로 발전하는 이더넷 기술이 AI 클러스터 요구사항을 충족하면, 수백억 달러 규모의 InfiniBand 시장이 이더넷으로 대체될 수 있다.

HBM 공급망의 지정학: 반도체 전쟁의 다른 이름

중국의 HBM 개발: 제재 속의 추격

미국의 반도체 수출 규제(Entity List, Export Controls)로 인해 화웨이, CXMT 등 중국 기업들은 최첨단 HBM을 구매하지 못한다. 중국은 자체 HBM 개발을 시도하고 있지만, TSV 장비·소재의 대부분이 미국·일본·네덜란드 기업에 의존하기 때문에 고립된 생태계에서의 개발은 극도로 어렵다. 최신 HBM의 기술 수준을 따라가는 데 최소 5~7년이 필요하다는 분석이 지배적이다.

HBM 수급 위기와 AI 인프라의 미래

현재 HBM 시장은 수요가 공급을 크게 초과하는 상황이다. SK하이닉스와 삼성전자가 HBM 생산 능력을 빠르게 확장하고 있지만, TSV 적층 장비의 리드타임(발주~납품)이 18~24개월에 달하기 때문에 단기간 내 공급 확대는 어렵다. 엔비디아의 블랙웰(Blackwell) 시리즈 GPU 수요 급증으로 2025년까지는 HBM3E 공급이 빠듯하고, 2026년에나 HBM4 공급이 안정화될 것이라는 전망이 주류다.