H100はNVIDIAのHopperアーキテクチャ・データセンターGPUです。80GB HBM3メモリ、3TB/sメモリ帯域、FP8演算対応を備え、現世代LLMの学習・推論インフラの標準ハードウェアとして定着しています。

価格はクラウドで1時間あたり2~4ドル、購入なら3万~4万ドル前後。GPT-4級モデルの学習には数千~数万枚が同時に束ねられて動きます。個人でローカルに1枚買うのは現実的ではなく、多くはRunPodやLambda Labsなど時間課金レンタルでアクセスします。

→ 原典: NVIDIA · H100 Tensor Core GPU