一台跑不动就上16台!英伟达DGX Spark集群成功跑通Kimi K3:生成速度达38 t/s|新模型|kimi|spark|英伟达dgxs_网易订阅

[娱乐] 时间:2026-10-17 13:17:56 来源:知难而退网 作者:娱乐 点击:130次
快科技9月5日消息,台跑通英伟达开发者论坛用户ciprianveg近日公布了一项本地AI算力测试,不动通过将16台英伟达DGX Spark组成运算集群,上台生成速度成功运行了完整的英伟k英Kimi-K3大模型,测试结果表明,达D达t订阅该系统在16000深度下的群成最高生成速度可达38 t/s。英伟达DGX Spark原本是功跑面向本地AI开发和推理的桌面设备,随之Qwen、模型DeepSeek等模型的伟达网易普及,单台设备的台跑通计算和显存资源往往未便满足千亿参数模型的要求。该品种通过直接增加计算节点的不动方式,将应用场景从单机测试扩展到了多机并行。上台生成速度为了满足16台设备协同工作时庞大的英伟k英数据吞吐要求,该品种在网络互联上进行了专门配置,达D达t订阅系统通过一台MikroTik CRS804-4DDQ核心交换机进行网络调度,群成并搭配4根400G转4×100G的迅速分支线缆,将所有GB10节点串联。系统运行基于Inferact/Kimi-K3-DSpark环境,以分布式方式初次启动了该模型。具体的基准测试成绩上,集群在4000深度下,预填充(即模型处理输入提示词的准备阶段)吞吐量为654.89 t/s,初次响应时间约8.3秒,生成速度为21.71 t/s。当上下文深度增加至16000时,预填充吞吐量提升至758.78 t/s,初次响应等待时间延长至约21.5秒,但生成速度反而提升至25.39 t/s,峰值达到38.00 t/s。该发帖人还表示,这仅是未经过充分调优的初次测试成绩,后续他计划继续优化整体性能,并将在近期把运行镜像和使用说明上传至代码托管平台GitHub。

(责任编辑:娱乐)

相关内容
精彩推荐
热门点击
友情链接