엔비디아와 HPC를 양분하는 경쟁자 AMD의 첫 번째 랙(rack) 스케일 AI 시스템 ‘헬리오스’가 마이크로소프트(MS) 애저 데이터센터에 들어간다는 소식에 전 세계가 들썩이고 있다. 헬리오스는 엔비디아 주력 제품 그레이스 블랙웰과 베라 루빈을 겨냥해 만든 AMD의 야심작이다.

MS는 AMD의 최신 CPU 베니스에서 실행되는 서버 인프라 2개를 추가한다. 서버 하나는 반도체 설계용이고, 하나는 AI 에이전트용이다.

AI 반도체 경쟁의 단위가 칩에서 랙으로 바뀌고 있다. 랙은 서버를 꽂아두는 철제 캐비닛처럼 보인다. 데이터센터 사진에서 검은 장비들이 줄지어 들어간 그 수납장이다.

하지만 이 수납장의 정체는 무시무시할 정도다. 수십 개의 GPU, CPU, HBM, 초고속 네트워크 스위치, 전력공급장치, 냉각 시스템, 그리고 이 모든 것을 움직이는 소프트웨어가 한 몸으로 묶여 있다. AI 모델은 이제 GPU 하나에서 도는 것이 아니라 랙 전체에서 돈다. 더 큰 모델은 랙 여러 개를 묶어야 한다.

엔비디아는 이달 들어 performance per watt를 AI 인프라 효율 지표로 제시했다. 고정된 전력 안에서 얼마나 많은 토큰을 생산하느냐가 매출과 수익성을 결정하기 때문이다.

이는 HBM 하나에 취해 있는 한국 반도체 산업에 시사하는 바가 크다. 아무리 빠른 GPU라도 전기를 너무 많이 먹으면 문제다. 아무리 좋은 HBM을 붙여도 GPU끼리 데이터를 주고받는 길이 막히면 성능이 죽는다. 아무리 연산 성능이 높아도 열을 빼지 못하면 클럭을 낮춰야 한다. 아무리 하드웨어가 좋아도 소프트웨어가 랙 전체를 효율적으로 쓰지 못하면 토큰 생산량은 떨어진다.

블랙웰 NVL72가 상징적이다. 72개 GPU가 하나의 큰 연산 도메인처럼 움직이는 구조다. 대형 MoE(Mixture of Experts) 모델에선 GPU들이 빨리 소통해야 한다. GPU를 느린 네트워크로 묶으면 병목이 생긴다.

이 때문에 랙 안의 연결망이 중요해진다. 엔비디아 생태계에선 NV링크가 그것이다. AMD는 인피니티 패브릭과 UA(울트라 엑셀러레이팅)링크를 발전시키고 있다. 브로드컴도 여기에 가세했다.

엔비디아는 이달 베라 루빈 기반 AI 팩토리를 일본 정부와 산업계에 공급한다고 밝혔다. 규모가 상당히 크다. 베라 CPU 1만3750개, 루빈 GPU 2만7500개다. 국가 전체를 상대로 한 AI 빌드업이다.

반도체는 이제 나노미터 이하 미세화 경쟁과 HBM 등 메모리 용량 경쟁을 한참 넘어섰다. GPU는 HBM을, HBM은 패키징을 필요로 한다. 패키징은 기판과 인터포저가 필요하다. 랙은 전력 공급과 냉각 설비가 필요하다. 마지막으로 이 모든 것들은 소프트웨어 최적화가 이뤄져야 한다.

HBM은 AI 전장으로 입장권
퇴장할 때 위치는 아무도 몰라

한국 시장과 투자자, 언론들은 HBM만 이야기하고 있다. HBM은 중요하다. SK하이닉스와 삼성전자는 AI 메모리 공급망의 핵심에 있다. HBM 없이는 대형 AI GPU가 제 성능을 내기 어렵다. 이는 명백한 사실이다. 그러나 AI 반도체 패권의 종착지는 메모리 공급만으로 결정되지 않는다.

누가 GPU와 HBM을 잘 묶는가, 누가 랙 안에서 GPU를 효율적으로 연결하는가, 누가 소프트웨어로 토큰당 비용을 낮추는가가 중요하고 이를 해결하는 기업이 표준을 잡는다. TSMC가 세계 최대 파운드리 기업으로 철옹성을 지키고 있는 이유도 여기에 있다. TSMC의 독보적 기술 CoWoS는 단순한 후공정이 아니다.

AI가 등장하기 전인 과거에는 전공정 미세화가 중요했다. AI 에이전트 시대인 이제는 패키징, 인터커넥트, 전력효율, 랙 설계, 냉각, 소프트웨어가 함께 가야 한다. 한국의 위치는 애매하다. HBM은 종주국이지만 패키징 주도권은 약하고, AI 서버 시스템 브랜드는 보이질 않는다. 랙 스케일 AI 팩토리 아키텍처를 파는 한국 기업은 없다.

한국은 HBM 호황을 뒤로 하고 이제 차기, 차차기 반도체 시스템을 봐야 한다. AI 반도체 전쟁은 칩을 잘 만드는 싸움에서, 칩을 어떻게 묶어 토큰 생산 공장으로 만드는가의 싸움으로 넘어갔다. 칩을 묶는 기술로는 광통신이 급부상했다. HBM만으로는 AI 반도체 패권을 쥘 수 없다.

김정호 KAIST 전기및전자공학부 교수는 ‘학습과 추론, 메모리와 비메모리 반도체 경계가 무너지고 있다. 이제 한국에 남은 유일한 자산인 HBM을 시스템반도체로 정의하고 확장해야 한다’고 말했다. HBM의 아버지로 불리는 김 교수는 2029년 HBM5, 2032년 HBM6, 2035년 HBM7 상용화 등 HBM의 미래를 새로 그리고 있다.

AI 반도체 패권의 트로피는 칩을 하나의 토큰 생산 공장으로 묶는 시스템 역량이 결정한다.