テンソル並列化

ニューラルネットワークの重みなどのテンソルを分割し、複数の GPU などで演算を分担する並列化手法。大規模な AI モデルの学習や推論で使われ、各 GPU に必要なメモリ容量や計算の負担を減らす。分割した演算の結果を共有・集約するため、GPU 間の通信性能が処理効率に影響する。