智东西
作家王涵
智东西5月28日音尘，近期，深圳河套学院（SLAI）AI熟习平台技俩团队，蚁合哈尔滨工业大学（深圳）、深圳大数据究诘院、华为GTS（大众本事做事）团队与深智城AI算力平台，仅用1个月，共同基于昇腾910C国产算力集群结束DeepSeek-V4-Pro全参数续熟习/SFT踏实驱动，完成长稳熟习1500+步，熟习MFU超30%，要道熟习算子效能提高14%。
博亚体育2026世界杯中国官方入口据公开尊府，本使命是公开可查畛域内业界首个由第三方机构基于国产算力集群完成的DeepSeek-V4-Pro全参数后熟习工程实践。
深圳河套学院于2025年9月深远揭牌，其并非传统意旨上的大学，而是造就部部署竖立的国度级东说念主工智能拔尖转变东说念主才培养试验区，与中关村塾院、上海创智学院并排为三大AI海外级学院。
一、DeepSeek-V4-Pro在昇腾集群完周详参数熟习，MFU踏实达34.9%
DeepSeek-V4-Pro是1.6万亿参数级MoE开源旗舰模子，经受DeepSeekMoE寥落羼杂众人结构，模子架构引入了CSA+HCA羼杂寥落清雅力、mHC勾通等新机制。相较于DeepSeek-V3/R1等上一代旗舰MoE模子，DeepSeek-V4-Pro对国产熟习框架、羼杂并行、众人通讯、算子效能、显存管制和长稳熟习技艺均建议挑战。
经过蚁合攻关，团队刻下已结束DeepSeek-V4-Pro在国产算力集群上的全参数熟习踏实驱动。同期，DeepSeek-V4-Flash的全参数续熟习与SFT链路也已同步买通。
▲DeepSeek-V4-Pro@昇腾超节点熟习，MFU最终踏确切34.9%
另外，该技俩还考据了熟习平台在垂直限度模子技艺构建上的实践价值。团队围绕工业级自动化运筹建模场景，应用专科限度数据，在数周内完成从数据坐褥、样本筛选、熟习链路买通到末端评测的闭环考据，以较短周期和较低试错资本构建了面向垂直专科任务的模子增强技艺。
据公开尊府，刻下业界流露的DeepSeekV4国产算力进展，主要会聚在V4-Pro推理适配、V4-Flash熟习参考结束及通用框架适配，尚未有第三方机构在国产算力集群上完成DeepSeek-V4-Pro全参数续熟习/SFT踏实驱动的公开信息。
因此，本使命可视为公开可查畛域内，业界首个由第三方机构完成的国产算力集群DeepSeek-V4-Pro全参数后熟习工程实践。
二、双场景踏实敛迹，微调后四项筹办均超原模子
本次攻关面向DeepSeek-V4-Pro全参数熟习链路考据，分手于LoRA、Adapter等一丝参数微调，要点考据1.6万亿参数级MoE模子在国产算力集群上的端到端熟习可行性、踏实性和效能提高空间。
蚁合团队酿成了4类要道技艺：
一是1.6TMoE模子权重、梯度、激活、优化器现象的散布式承载技艺；
二是数据并行、张量并行、活水并行、众人并行协同的羼杂并行技艺；
三是面向长稳熟习的loss、梯度、众人负载、显存和十分收复监控技艺；
四是羼杂寥落清雅力、MoE路由、归一化、矩阵盘算推算等要道熟习算子的适配优化技艺。
本次攻关以工业级自动化运筹建模场景四肢后熟习考据任务。该场景对模子复杂推理、记号抒发、长链路筹办、器具调用和末端校验技艺条目较高，大致历练DeepSeek-V4-Pro在全参数后熟习过程中的敛迹踏实性、基础技艺保持情况和复杂任务适配后劲。
为了进一步考据DeepSeek-V4在昇腾集群上进行后熟习的技艺，本技俩想象了大模子增强专科数学建模技艺的熟习实验，搭建了一条SFT建模数据坐褥workflow，产出了3000条高质料数学建模任务SFT样本，掩盖了4类标的任务和3种问题花式。
基于上述workflow生成的数据，蚁合团队对DeepSeek-V4进行了后熟习，开云足球世界杯2026最新版app下载相应弧线如下图：
不错看出，LMloss和MTP-1loss在熟习前半段快速下落，最终LMloss敛迹至0.2056，MTP-1loss敛迹至0.2538；梯度范数也从熟习初期高位逐渐下落，莫得出现持续放大或loss失控。单步耗时全体踏确切27秒傍边，skippediterations和NaNiterations均为0。
本技俩将原参数模子与本秩序微调后模子在主流建模技艺Benchmark下进行不雅察对比：
不错看到，DeepSeek-V4模子经后熟习，在4项要道筹办上均显耀逾越原模子。其中ORGEval的提高尤其赫然，进一步阐发了DeepSeek-V4在国产算力集群上进行后熟习的可行性。
三、42名学生干与，从信得过熟习场景提高本事技艺
本次攻关亦然河套学院熟习平台型东说念主才培养体系的一次会聚实践。不同于传统课程式熟习，本技俩以万亿级模子熟习攻关为牵引，把学生培养径直镶嵌国产算力信得过熟习场景。
约束刻下，技俩已组织培养学生42名，酿成了由后生教师提示、博士生中枢攻坚、工程团队相沿的协同培养机制。
在这一过程中，同学们不仅仅参与技俩进展，而是围绕信得过问题承担具体任务：有的负责熟习数据构造和样内容量分析，有的负责散布式熟习确立与并行计谋考据，有的跟进熟习踏实性监控和十分收复，有的负责模子评测、本事阐发和工程文档千里淀。
一次次熟习启动、报错定位、参数调节和末端复盘，王人使同学们大致径直衔接超大模子熟习中模子结构、算力系统、通讯效能、显存管制和熟习踏实性之间的复杂关系。
通过这种培养样式，学生技艺提高体当今3个方面：
一是建立了对国产算力大模子熟习全链路的系统性意志；
二是掌持了从限度数据到模子技艺增强的全过程技艺；
三是在信得过技俩中酿成了问题拆解、实验想象、熟习复盘和团队统一技艺。
▲技俩团队开展本事复盘与学生实战培养
四、畴前进一步优化熟习算子，同步鼓励工程千里淀与AGI基础究诘
下一阶段，深圳河套学院将陆续蚁合哈尔滨工业大学（深圳）、深圳大数据究诘院、华为GTS（大众本事做事）团队和深智城关连团队，在现存全参数续熟习/SFT链路基础上，要点鼓励3项任务：
一是持续优化熟习框架和要道熟习算子，进一步提高熟习效能（MFU）；
二是相沿512K至1M超长高下文熟习，提高复杂专科任务中的长文档衔接和长链路推理技艺；
三是进一步松懈DeepSeek-V4-Pro强化学习后熟习本事，围绕数学建模优化、代码Agent、长高下文推理等任务，构建rollout生成、器具扩充、reward/verifier、计谋更新和评测反应闭环，酿成从SFT到AgenticRL的完好后熟习链路。
后续，技俩将同步鼓励本事开源与东说念主才培养千里淀：一方面酿成可复现的本事阐发和开源工程实践，分阶段洞开熟习确立、评测剧本、合成数据、本事阐发及关连模子与框架技艺；另一方面，将技俩中的信得过熟习任务、数据构造秩序、故障排查案例和评测进程退换为课程案例、实训任务和学生科研技俩；同期基于此熟习场，开展新一代通用东说念主工智能的基础表面、新范式和新架构的究诘。
究诘团队还将陆续究诘新一代通用东说念主工智能的科学范式、基础表面、使命机理、可评释性、持续学习、系念学习、智能体表面等基础科学本事问题开云足球2026世界杯官方最新版app，究诘记号、勾通和举止认识有契机通的东说念主工智能新框架，力争对信息宇宙、物理宇宙和东说念主类社会，从单一智能体到群体智能到东说念主契机通进行灵验建模。