AI学習では、数千～数万基のGPUを一つのタスクに投入する。ネットワークの遅延が増大したり、パケットの再送が発生したりすれば、高価なアクセラレーターが処理待ちに陥る可能性がある。
ブロードコム（Broadcom、NASDAQ：AVGO）のコア・スイッチング・グループ シニアバイスプレジデント兼ゼネラルマネージャー、アサド・カミシー（Asad Khamisy）氏は2日、「SEMICON Taiwan 2026」のマスターズ・フォーラムで、従来のクラウドネットワークの利用率が約60％であるのに対し、AIネットワークでは現在90％を超えていると指摘した。
高負荷の状態でも遅延やパケットロス、障害の影響を抑える必要があり、ネットワークアーキテクチャーをラック内の「Scale-up（スケールアップ）」から建屋内の「Scale-out（スケールアウト）」、さらに建屋間・キャンパス間の「Scale-across（スケールアクロス）」まで拡張する必要があるという。
カミシー氏によると、クラウドコンピューティングの主な役割は、異なる顧客やアプリケーションの仮想マシン間でCPUリソースを共有しながら、互いを隔離することにある。一方、AI学習ではモデルを単一のGPUに収めることができないため、モデルを分割して数十～数千基のGPUに配置し、すべてのアクセラレーターが同一のタスクを共同で処理する必要がある。
そのため、ネットワークは単にデータを伝送する外部設備ではなく、GPU利用率や出力トークン1個当たりの所要時間を直接左右する演算システムの一要素となる。
576基GPUのシミュレーション、ネットワーク遅延が並列演算の効果を相殺
ブロードコムは、4000億パラメーターのFP16モデルを576基のGPUに分散させたシミュレーションを用いて説明した。テンソル並列度を高めるほど、GPU1基当たりが担う演算量とHBMへのアクセス時間は減少する。一方、演算に参加するGPUの数が増えるほど、GPU同士の通信によるネットワーク遅延は増大する。
ネットワークの階層が増え、遅延が大きくなると、GPUを追加することで得られる効果が通信時間によって相殺される。ネットワーク遅延を低減することで、初めて有効に利用できるGPUの数をさらに増やすことができるという。
カミシー氏は、AIネットワークには低遅延だけでなく、拡張性、耐障害性、低パケットロスも求められると指摘した。
「クラウドでは、顧客のネットワーク利用率はおよそ60％だ。AI環境では現在、すでに90％を超えている」と同氏は述べた。
3層のネットワーク、単一ラックからキャンパス間まで拡張
ブロードコムはAIネットワークを3つの階層に分けている。
Scale-upは主に単一ラック内で使われ、GPUがメモリーのロード／ストア操作を行う。パケットは短く、遅延に敏感だ。Scale-outは複数のラックを建屋内のクラスターとして接続するもので、主にClos型やFat-tree型のトポロジーを採用し、約10万基のGPUまで拡張できる。
単一の建屋では電力が不足し、演算能力を複数の建屋や異なる拠点に分散する必要がある場合には、Scale-acrossが必要になる。
製品構成では、Tomahawk UltraがScale-up向けで、64バイトパケットの遅延は約250ナノ秒。Tomahawk 6はScale-upとScale-outの双方に対応し、スイッチング容量は102.4Tbpsに達する。512レーンの200G SerDes、または1024レーンの100G SerDesを構成できる。
Jericho 4は、ディープバッファ、ワイヤレートでの暗号化・復号、トラフィックエンジニアリングによって、建屋間や拠点間の接続に対応する。
カミシー氏は、AIバックエンドネットワークの3つの階層すべてで同一のイーサネット技術を採用すれば、管理ツールやソフトウェアスタックを共通化でき、ワークロードに応じてインターフェースやアクセラレーターのリソースを再配分できるとの考えを示した。
同氏は「ネットワークこそがコンピューターであり、イーサネットはこのネットワークをエンドツーエンドで構築するための方法だ」と総括した。
AIクラスターが数千基から数十万基、さらには100万基規模のアクセラレーターへと拡大するにつれ、ネットワークもデータセンターの付帯設備から、AIシステムそのものの一部へと変わっていくことになる。
WACOCA: People, Life, Style.