生成AI時代の「GPUネットワーク選定・設計ガイド」

AIサーバ・GPU・NVIDIA関連生成AI関連

AIシステムにおけるネットワークの重要性

みなさんこんにちは。アプライド広域システム営業部です。

近年、生成AIや大規模言語モデル（LLM）の登場により、AIサーバーや開発用ワークステーションの導入をご検討される企業様が急増しています。

AIシステムをご提案する際、多くのお客様が「どのGPUを何台載せるか」に注目されます。しかし、実はAIの学習スピードやシステムの安定性を大きく左右するのは、サーバー同士やデスクサイド端末を繋ぐ「ネットワーク（配線とスイッチ）」です。

「GPUは最高スペックなのに、なぜか計算が終わらない…」といった失敗を防ぐため、AIサーバーメーカーの視点から、ネットワーク設計の重要ポイントと最新の構成パターンを分かりやすく解説します！

AIの学習では、1台の機器に収まりきらない膨大なデータを、複数台のAIサーバーや端末で同時に分け合って計算します。このとき、機器同士が「計算結果（勾配やパラメータ）」をミリ秒・マイクロ秒レベルで頻繁にやり取りします。

💡 日常で例えると：巨大なジグソーパズル

100人で巨大なパズルを解いている場面を想像してください。自分の作業が早く終わっても、隣の人とピース（データ）を交換する廊下（ネットワーク）が混雑して渡せなければ、全員の作業がストップしてしまいます。

普通のLANケーブル（TCP/IP）ではダメな理由

一般的なオフィスやWEBサーバーで使われるネットワーク（TCP/IP）は、データを送るたびに「CPU」が割り込み処理を行い、データを何度もメモリ間でコピーします。これでは通信のたびに遅延が発生し、高価なGPUが「データ待ち」でサボってしまう現象（GPUスターベーション）が起きます。

そこで使われるのが、CPUを通さずにGPUとネットワーク機器が直接データをやり取りする「RDMA（Remote Direct Memory Access）」という超高速・低遅延な通信技術です。

① InfiniBand（インフィニバンド）

特徴: 最初からデータ通信の渋滞やデータ消失が絶対に起きないよう設計された、AI・HPC専用のネットワークです。

メリット: 設定や運用がシンプルで、導入した瞬間から最高のパフォーマンスを発揮します。

デメリット: 専用機器（NVIDIA製など）で揃える必要があり、導入コストが高めです。

② RoCEv2（ロシー・バージョンツー）

用語解説: RDMA over Converged Ethernet の略。普通のイーサネット（LAN）上でRDMAを実現する技術です。

メリット: 既存のイーサネット技術の延長であるため機器の選択肢が多く、調達コストを抑えられます。

デメリット: データが1パケットでも落ちると全体の通信をやり直す性質があるため、データが絶対に落ちない（Lossless）ようにネットワークスイッチ側で極めて複雑なチューニングを行う必要があります。

AIサーバーやワークステーションの背面に刺さり、RDMA通信をハードウェアレベルで処理しているエンジンが NVIDIA ConnectX（コネクトエックス） シリーズです。GPUの世代進化に併せて、ConnectXも以下のように進化してきました。

📖 用語解説：NIC / SmartNIC（スマートニック）

サーバーにネットワーク機能を拡張する専用カード（板）のこと。通信処理をCPUから肩代わりして高速化するものをSmartNICと呼びます。

📖 用語解説：QSFP（Quad Small Form-factor Pluggable）

4本の通信レーン（Quad）を束ねて高速化した光トランシーバーの標準形状です。

QSFP56 (200G): 200Gbps対応。従来型のAIネットワークやDGX Sparkの接続で普及。
QSFP-DD (400G/800G): 奥行き方向に接点を2列化（Double Density）して8レーン化。イーサネットスイッチで汎用的に使われます。
QSFP112 (400G): 1レーン100Gの高速信号を4本束ねた最新規格。WS300やConnectX-8の省スペースなポートで400G/800Gを出すのに重宝されます。
OSFP (800G/1.6T): QSFPより一回り大きく、熱を逃がす能力に長けた次世代規格。NVIDIA Quantum-2（NDR）スイッチや大型AIサーバーの標準です。