H100은 NVIDIA의 Hopper 아키텍처 데이터센터 GPU입니다. 80GB HBM3 메모리, 3TB/s 메모리 대역폭, FP8 연산 지원을 갖춰 현세대 LLM 학습·추론 인프라의 표준 하드웨어로 자리잡았습니다.

대당 가격은 클라우드에서 시간당 2~4달러, 구매가는 3만~4만 달러 선. GPT-4급 모델 학습에는 수천~수만 장이 동시에 묶여 돌아갑니다. 로컬에서 한 장 구매하는 건 개인 영역이 아니라서, 대부분 RunPod·Lambda Labs 같은 시간당 임대로 접근합니다.

→ 원본 소스: NVIDIA · H100 Tensor Core GPU