AI 데이터센터 랙 구조: GPU 72개가 한 대의 컴퓨터처럼 움직이는 원리
AI 데이터센터 랙은 이제 ‘서버 여러 대를 꽂아 두는 선반’이 아니라, GPU 72개를 하나로 묶은 한 대의 거대한 컴퓨터입니다. 이 글은 조립식 PC와 AI 서버의 부품을 하나씩 비교하고, GPU 칩 크기와 전력, 엔비디아 NVL72 랙 안의 구성, 그리고 랙 수천 개가 모여 데이터센터가 되는 구조까지 풀어 줍니다.
1편 공정 순서 · 2편 미세공정 · 3편 HBM4·메모리 · 4편 패키징·기판 · 5편 데이터센터 랙(지금)
조립식 PC와 AI 서버, 부품을 하나씩 비교하면
집에서 쓰는 조립식 PC를 떠올려 봅시다. 메인보드 위에 CPU 하나, 램 두세 개, 그래픽카드 한 장, SSD, 파워, 쿨링팬이 들어갑니다. AI 서버도 기본 부품 이름은 같습니다. 차이는 개수, 크기, 그리고 연결 방식입니다. 엔비디아 GB300 NVL72 랙의 서버 한 칸(컴퓨트 트레이)을 PC와 나란히 놓으면 다음과 같습니다.
| 부품 | 조립식 PC(예) | AI 서버 트레이 1칸(GB300) | 역할 |
|---|---|---|---|
| CPU | 1개(8~16코어) | 엔비디아 그레이스 2개(각 72코어, Arm 기반) | 작업 지시·데이터 준비 |
| GPU | 그래픽카드 1장(게임용) | B300 GPU 4개(보드에 직접 장착된 모듈) | AI 계산의 주력 |
| GPU 메모리 | 그래픽카드 메모리 8~32GB | HBM3E 합계 1,152GB(GPU당 288GB) | 모델 데이터를 GPU 바로 옆에 보관 |
| 시스템 메모리(램) | DDR5 16~64GB | LPDDR5X 약 1TB | CPU용 작업 공간 |
| 저장장치 | SSD 1~2TB | 운영체제용 NVMe 1개 + 캐시용 E1.S NVMe 4개 | 대용량 데이터는 별도 스토리지 랙에 |
| 네트워크 | 랜 1~2.5Gb/s | ConnectX-8 4개(각 최대 800Gb/s) + BlueField-3 DPU | 다른 랙·스토리지와 통신 |
| 냉각 | 공랭 팬·간이 수랭 | 액체 냉각(칩 위 냉각판으로 물이 흐름) | 열 제거 |
| 전원 | 파워 750~1,000W | 랙 전체 최대 142kW(33kW 전원 선반 8개) | 전력 공급 |
자료: 엔비디아 NVL72 AI 팩토리 레퍼런스 아키텍처, 슈퍼마이크로 SRS-GB300-NVL72 사양. PC는 일반적인 예
자주 나오는 질문 몇 가지를 정리하면 이렇습니다. 그래픽카드는 있나? 데이터센터 GPU도 원래 그래픽 칩에서 출발했지만, NVL72 같은 최신 랙에서는 슬롯에 꽂는 카드가 아니라 CPU와 함께 보드에 붙은 모듈 형태이고 화면 출력 기능은 쓰지 않습니다. NPU는 있나? NPU는 노트북·스마트폰에서 가벼운 AI 작업을 저전력으로 처리하는 전용 칩입니다. AI 서버에서는 GPU가 그 역할을 훨씬 큰 규모로 하며, 구글 TPU나 아마존 트레이니엄 같은 AI 전용 칩(ASIC)은 별도 계열입니다. 하드디스크는? 서버 안에는 빠른 SSD만 두고, 대용량 데이터는 스토리지 전용 랙에 따로 둡니다.
부품 이름은 PC와 같지만, AI 서버는 GPU 중심 설계다. CPU는 보조, 메모리는 GPU 옆 HBM이 핵심, 냉각은 공기 대신 물.
GPU 칩 하나는 얼마나 클까
4편에서 본 것처럼 노광기가 한 번에 찍을 수 있는 칩 크기는 약 26×33mm, 우표 한 장 정도가 한계입니다. 블랙웰 GPU는 이 한계 크기의 다이 두 개를 붙여 만들고, 루빈 GPU는 계산 다이 2개와 입출력 다이 2개, HBM4 8개를 레티클 4배 크기의 판 위에 올립니다. 그래서 완성된 GPU 패키지는 우표 몇 장을 붙인 크기가 되고, 그 위에 냉각판이 덮여 트레이에 들어갑니다.
| 항목 | 가정용 PC | 블랙웰 B200 | 루빈 |
|---|---|---|---|
| 트랜지스터 | — | 2,080억 개 | 3,360억 개 |
| 다이 구성 | 1개 | 계산 다이 2개 | 계산 다이 2 + 입출력 다이 2 |
| 메모리 | 그래픽카드 수십 GB | HBM3E 192GB | HBM4 288GB(초당 22TB) |
| 소비 전력 | 최고급 그래픽카드 600W 안팎 | 약 1,000W | 약 1,800~2,300W(추정) |
| 생산 공정 | — | TSMC 4NP | TSMC 3나노 |
자료: 엔비디아 발표, Wikipedia, Barrack AI 정리. 루빈 전력은 공식 확정치가 아닌 추정
GPU 하나가 전기레인지 화구 한두 개만큼 전기를 쓰고, 그만큼 열을 냅니다. 이런 칩 72개가 한 랙에 모이면 공기로는 열을 뺄 수 없습니다. 그래서 최신 AI 랙은 칩 위에 금속 냉각판을 얹고 그 안으로 냉각수를 흘려보내는 액체 냉각이 기본입니다.
랙 하나가 한 대의 슈퍼컴퓨터일까?
기존 데이터센터의 랙은 서버 여러 대를 층층이 꽂아 두는 선반이었습니다. 각 서버는 독립된 컴퓨터이고, 랙은 공간과 전원을 나눠 쓰는 아파트 같은 존재였습니다. 일반 서버 랙 하나의 전력도 대개 한 자릿수~10kW대였습니다.
NVL72 랙은 다릅니다. 결론부터 말하면 네, AI 데이터센터 랙 하나가 한 대의 거대한 컴퓨터에 가깝습니다. 랙 안에 컴퓨트 트레이 18개(트레이마다 CPU 2개 + GPU 4개)와 NVLink 스위치 트레이 9개가 들어 있고, 랙 뒤쪽을 지나는 수천 가닥의 구리 케이블이 GPU 72개를 모두 서로 직접 연결합니다. 그래서 소프트웨어 입장에서는 GPU 72개가 메모리를 공유하는 하나의 거대한 GPU처럼 보입니다. NVL72라는 이름도 NVLink로 묶인 GPU 72개라는 뜻입니다.
| 구성 | 수량 | 하는 일 |
|---|---|---|
| 컴퓨트 트레이 | 18개 | 트레이마다 그레이스 CPU 2 + B300 GPU 4 |
| NVLink 스위치 트레이 | 9개(스위치 칩 18개) | GPU 72개를 모두 서로 연결, GPU 간 초당 1.8TB |
| 전원 선반 | 8개(각 33kW) | 랙 전체 최대 132~142kW |
| 냉각 | 랙 내 냉각수 분배 장치(CDU) 등 | 냉각판에 물 공급·회수 |
| 크기 | 48U, 폭 60cm·깊이 약 1.07m·높이 약 2.24m | 일반 서버 랙과 비슷한 외형 |
자료: 엔비디아 레퍼런스 아키텍처, 슈퍼마이크로 사양
하지만 ‘슈퍼컴퓨터’ 전체는 랙 하나로 끝나지 않습니다. 거대한 AI 모델을 학습시키려면 이런 랙 수백~수천 개를 다시 연결해야 합니다. 랙 안을 NVLink로 묶는 것을 스케일업, 랙끼리 인피니밴드나 이더넷 네트워크로 묶는 것을 스케일아웃이라고 합니다. 비유하면 랙 하나는 한 팀이 한 사무실에서 붙어 일하는 것이고, 데이터센터 전체는 수천 개 사무실이 사내 메신저로 협업하는 회사입니다.
랙 하나 = GPU 72개가 한 몸처럼 움직이는 ‘한 대의 컴퓨터’(스케일업). 데이터센터 = 이런 랙 수천 개를 네트워크로 엮은 ‘AI 공장’(스케일아웃).
AI 데이터센터 랙의 세대 변화: GB200 → GB300 → 베라 루빈
엔비디아는 거의 매년 랙 세대를 바꾸고 있습니다. 외형(랙 크기)은 비슷하게 유지하면서 안에 들어가는 칩과 메모리, 전력이 빠르게 커지고 있습니다.
| 항목 | GB200 NVL72 | GB300 NVL72 | 베라 루빈 NVL72 |
|---|---|---|---|
| GPU / CPU | 블랙웰 72 / 그레이스 36 | 블랙웰 울트라 72 / 그레이스 36 | 루빈 72 / 베라 36(88코어) |
| GPU당 HBM | 192GB HBM3E | 288GB HBM3E | 288GB HBM4 |
| 랙 전체 HBM | 약 13.5TB | 약 21TB | 약 20.7TB(초당 1.6PB) |
| 랙 전력 | — | 최대 142kW | 250kW 이상(추정), 800V 직류 |
| 추론 성능(FP4) | 약 0.72엑사플롭스 | — | 3.6엑사플롭스(엔비디아 발표) |
| 냉각 | 액체 | 액체 | 100% 액체(45℃ 냉각수) |
자료: 엔비디아 레퍼런스 아키텍처, 슈퍼마이크로, Barrack AI 정리. ‘—’는 확인한 자료에 없음
베라 루빈 랙은 발표 초기에 다이 수를 세어 ‘NVL144’라는 이름으로 소개되기도 했지만, 이후 GPU 패키지 수 기준인 NVL72로 불리고 있습니다. 엔비디아 로드맵에 따르면 2027년 하반기에는 GPU 576개(다이 기준)를 묶는 ‘카이버(Kyber)’ 랙이 랙당 600kW 규모로 예정되어 있습니다. 랙 하나가 작은 동네 하나만큼 전기를 쓰는 시대가 오는 셈입니다.
데이터센터 전체로 보면: 전기·물·돈
AI 데이터센터 랙이 바뀌면 건물 전체가 바뀝니다. 랙당 전력이 10배 이상 커지면서 변전 설비와 배전 방식(고전압 직류), 냉각수 배관과 냉각탑, 바닥 하중 설계까지 새로 해야 합니다. 그래서 새 AI 데이터센터는 서버 대수보다 ‘몇 기가와트(GW)’로 규모를 말합니다. 1GW는 원전 1기 출력과 비슷한 수준입니다.
돈의 흐름도 커졌습니다. 랙 하나 가격은 수백만 달러로 추정되고(GB200 약 335만 달러, 베라 루빈 350만~400만 달러 추정), 여기에 건물·전력·냉각 비용이 더해집니다. 이 막대한 투자를 누가 대고 어떻게 회수하는지가 시장의 관심사입니다. 우주 기업이 AI 연산을 빌려주며 돈을 버는 구조는 스페이스X 실적으로 본 AI 연산 돈의 흐름에서, AI 인프라를 빚으로 짓는 위험은 AI 회사채 신용 스프레드 읽는 법에서 다뤘습니다.
- ▸ 기본: 2026년 하반기~2027년 베라 루빈 랙이 본격 출하되며 데이터센터 투자 지속. 확인 신호는 빅테크 분기 설비투자와 엔비디아 데이터센터 매출.
- ▸ 낙관: 전력 효율이 빠르게 좋아져 같은 전기로 더 많은 AI 서비스 제공. 확인 신호는 토큰당 비용 하락 발표.
- ▸ 비관: 전력망 연결 지연, 냉각수 부족, 투자 회수 우려로 건설 속도 둔화. 확인 신호는 데이터센터 착공 연기와 AI 관련 회사채 금리 상승.
반대 의견과 주의할 점
이 글의 루빈 관련 숫자 중 일부(전력, 랙 가격)는 엔비디아의 공식 확정치가 아니라 업계 추정이며, 독립된 성능 측정 결과도 아직 없습니다. 또 모든 AI 데이터센터가 엔비디아 랙만 쓰는 것은 아닙니다. 구글·아마존·메타 등은 자체 AI 칩으로 다른 구조의 랙을 짓고 있어, NVL72가 유일한 표준이라고 보기는 어렵습니다. 마지막으로 GPU는 세대 교체가 1년 단위로 빨라 장비 가치가 빨리 떨어질 수 있다는 감가상각 우려도 꾸준히 제기됩니다.
🗒️ 한 장 요약
| 개념 | 한 줄 정리 |
|---|---|
| AI 데이터센터 랙 | GPU 72개를 NVLink로 묶은 한 대의 거대한 컴퓨터(NVL72) |
| 컴퓨트 트레이 | CPU 2 + GPU 4가 들어간 서버 한 칸. 랙에 18개 |
| NVLink 스위치 | 랙 안 GPU 72개를 모두 직접 연결하는 장치. 랙에 9트레이 |
| GPU 크기·전력 | 다이 하나가 우표 크기 한계, GPU 하나 1,000~2,000W대 |
| 액체 냉각 | 칩 위 냉각판으로 물을 흘려 열 제거. 최신 AI 랙의 기본 |
| 스케일업·스케일아웃 | 랙 안 연결(NVLink)과 랙끼리 연결(인피니밴드·이더넷) |
함께 알면 좋은 용어
- DPU — 네트워크·보안·저장장치 처리를 CPU 대신 맡는 데이터 처리 칩. 엔비디아 BlueField가 대표적이다.
- CDU — 냉각수 분배 장치. 건물 냉각수와 랙 안 냉각 회로 사이에서 물을 순환시킨다.
- 엑사플롭스 — 1초에 100경(10의 18제곱) 번 계산하는 성능 단위.
자주 묻는 질문
Q1. AI 데이터센터 랙 하나가 슈퍼컴퓨터인가요?
NVL72 같은 최신 랙은 GPU 72개를 NVLink로 직접 연결해 하나의 거대한 GPU처럼 움직이므로 ‘한 대의 컴퓨터’에 가깝습니다. 다만 대형 AI 학습용 슈퍼컴퓨터는 이런 랙 수백~수천 개를 네트워크로 다시 묶어 만듭니다.
Q2. AI 서버에는 어떤 칩이 들어가나요?
GB300 기준 서버 한 칸에 그레이스 CPU 2개, B300 GPU 4개, GPU 옆 HBM3E 1,152GB, 시스템 메모리 약 1TB, NVMe SSD, 고속 네트워크 칩(ConnectX-8·BlueField-3)이 들어가고 액체 냉각으로 식힙니다.
Q3. AI 서버에도 NPU나 그래픽카드가 있나요?
NPU는 주로 PC·스마트폰용이고 AI 서버에서는 GPU가 그 역할을 합니다. 데이터센터 GPU는 그래픽 칩에서 출발했지만 최신 랙에서는 꽂는 카드가 아니라 보드에 붙은 모듈 형태입니다.
함께 읽으면 좋은 글
- 피지컬 AI 관련주 세계 지도 — 데이터센터에서 학습한 AI가 로봇으로 나오는 다음 단계
- 일본 증시 전망과 반도체·금리 시나리오 — 데이터센터 투자가 소부장 강국 증시에 주는 영향
📚 시리즈 「반도체 A to Z」 전 5편
공정 순서부터 AI 데이터센터 랙까지
참고 자료
- NVIDIA: NVL72 AI 팩토리 레퍼런스 아키텍처(하드웨어 구성)
- Supermicro: SRS-GB300-NVL72 사양
- Barrack AI: 엔비디아 루빈 사양과 랙 비교
- Wikipedia: Blackwell 아키텍처
2026년 10월 22일 기준 공개 자료를 바탕으로 정리했습니다. 보도·추정치는 본문에 따로 표시했습니다. 정보 제공용이며 투자 권유가 아닙니다.