NVIDIA 展示 8 節點 DGX Spark 叢集
- 8 台 DGX Spark 可提供 1 TB 統一記憶體，讓完整的 GLM 5.3 753B 模型能在本機載入。
- 在 4 節點 NVFP4 測試中，Spark 專用通訊後端的 prefill 吞吐量約增加 5%，decode 約增加 21%。
- 4 節點推論可採用直接環狀連線；若要擴至 8 節點或拆分叢集，則需要交換器。
- Switchyard 將請求分流至不同模型，在測試中相較於僅使用 Qwen，整體吞吐量約可達 1.5 倍或 3 倍，取決於分流比例。
- nanochat 從頭預訓練時，8 節點達到 7.79 倍加速與 97.4% 效率。
本站見解
RoCEnante 針對交換器連接、低併發的小訊息情境降低通訊延遲，但 NCCL 仍是預設選項，且更適合大型叢集與高併發負載。部署時可先依模型分片需求選擇環狀或交換器拓撲；若採用多模型分流，則需預留交換器連線與調整路由政策的工作。
展示 節點 叢集 可提 提供 統一 一記 記憶 憶體 讓完 完整 整的 模型 型能 能在 在本 本機 機載 載入 測試 試中 專用 用通 通訊 訊後 後端 端的 吞吐 吐量 量約 約增 增加 點推 推論 論可 可採 採用 用直 直接 接環 環狀 狀連 連線 若要 要擴 擴至 點或 或拆 拆分 分叢 則需 需要 要交 交換 換器 將請 請求 求分 分流 流至 至不 不同 同模 在測 中相 相較 較於 於僅 僅使 使用 整體 體吞 約可 可達 倍或 取決 決於 於分 流比 比例 從頭 頭預 預訓 訓練 練時 點達 達到 倍加 加速 速與 效率 針對 對交 器連 連接 低併 併發 發的 的小 小訊 訊息 息情 情境 境降 降低 低通 訊延 延遲 仍是 是預 預設 設選 選項 且更 更適 適合 合大 大型 型叢 集與 與高 高併 發負 負載 部署 署時 時可 可先 先依 依模 型分 分片 片需 需求 求選 選擇 擇環 狀或 或交 器拓 拓撲 若採 用多 多模 需預 預留 留交 線與 與調 調整 整路 路由 由政 政策 策的 的工 工作
來源
- Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes · NVIDIA Developer
本文摘要與見解由 AI 自動生成，事實以原文為準。 AI 內容政策