🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:
Response:
Calculated Shard: 16 (from laksa113)

2. Crawled Status Check

Query:
Response:

3. Robots.txt Check

Query:
Response:

4. Spam/Ban Check

Query:
Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

🚫
NOT INDEXABLE
CRAWLED
6 months ago
🤖
ROBOTS ALLOWED

Page Info Filters

FilterStatusConditionDetails
HTTP statusPASSdownload_http_code = 200HTTP 200
Age cutoffFAILdownload_stamp > now() - 6 MONTH6.6 months ago
History dropPASSisNull(history_drop_reason)No drop reason
Spam/banPASSfh_dont_index != 1 AND ml_spam_score = 0ml_spam_score=0
CanonicalPASSmeta_canonical IS NULL OR = '' OR = src_unparsedNot set

Page Details

PropertyValue
URLhttps://www.163.com/dy/article/K51569SI051180F7.html
Last Crawled2025-09-25 04:34:09 (6 months ago)
First Indexednot set
HTTP Status Code200
Meta Title摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求|fp|值域|王华(明朝)_网易订阅
Meta Description摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求,fp,值域,算力,程王华,摩尔线程,王华(明朝)
Meta Canonicalnull
Boilerpipe Text
智东西(公众号:zhidxcom) 作者 | 中国AI算力大会 6月26日,2025中国AI算力大会在北京热烈召开。从国产AI算力的突围与崛起,到智算中心深层软硬件技术创新解决算力落地产业难题,近30位重量级嘉宾与会带来致辞、报告、演讲和对话,全方位解构DeepSeek引爆的AI算力变局。 摩尔线程副总裁王华在主会场以《基于FP8的国产集群训练》为题进行了主题演讲。在演讲中他提到2020至2025年间,大模型训练的算力需求激增近1000倍 ,而驱动力来自参数规模与数据量双向增长。 王华认为,大集群和FP8成为大模型现阶段的最强需求。对此,他围绕大模型算力需求、混合精度训练、FP8训练技术演进等方面进行了深入浅出地剖析阐释。 此外,王华还分享道,摩尔线程提供包括FP8在内的全精度算力,构建了支持多种不同数据类型的混合精度训练方案,还可以提供万卡集群开箱即用的产品,可以满足大模型的算力需求,并大幅提升其训练效果。 以下为王华的演讲实录精华: 一、5年,大模型训练算力需求增长千倍 首先来看一下大型训练需求的趋势。2020年,算力需求训练需求最高是在1023flops。到25年,训练算力需求最高的是xAI的Grok3,算力需求差不多到了1026flops。从1023到1026,算力需求增长了1000倍。 增长主要来自两个方面:一是模型参数。大模型的模型参数规模是在不断增加的,最近的模型动辙都是数千亿甚至到万亿的参数规模;第二是训练数据量。早期训练数据量可能到几百B,稍微多一点到1T,但现在基本都是十几T。 所以,算力需求和模型参数数量与训练数据量的乘积成正比,而这两个维度的增长,带来模型训练算力需求的大幅增长。 再举一个例子,比如,Llama 3 70B大概是在1024flops左右,然后更大一点Llama 3 405B在1025flops左右,GPT 4也在1025左右,早期的Llama 2大概在1023flops左右。虽然Llama 2与Llama 3的模型参数和模型结构比较类似,但是因为Llama 2的训练数据量低一个数量级,所以它要求的算力也会低一个数量级。 不只是算力,这些大规模训练所需要的集群也越来越大。为了校正所需要的算力,用H100的千卡、五千卡到万卡量级的集群来作类比。表格中的数据是按照MFU算的,当然不同模型的参数大小对MFU有影响,另外集群规模增大之后由于加速比效应,MFU会下降,所以这里只是大致的估算。 这个量级中,DeepSeek V3的算力需求大概在3.4×1024flops。在千卡集群上,1024的训练时间大概是97天,五千卡集群需要22天,到万卡级别就只需要13天了。再举一个例子,Qwen 3 235B,虽然模型参数小一些,但因为数据集更大,它的实际算力会更高,所以Qwen 3 235B计算量约为4.75×1024flops。再看一下训练时间,这个计算量在千卡集群上需要136天,五千卡上是37天,到万卡就只需要18天。这是两个比较典型的国内MOE模型的例子。 再比如说Llama 3 370B,这是比较典型的Dense模型(稠密模型),训练数量也差不多在1024flops左右,训练时间也与Qwen 3差不多。 更大的模型,比如GPT 4,训练数量有1025flops,这几乎是千卡不可能完成的任务,到这个量级基本需要万卡级别的集群来支撑。尤其是现在大模型的训练参数基本都在向着万亿发展,数量级十分巨大,所以后续训练需要的算力也会非常大。 二、混合精度训练缓解算力需求激增难题 为了解决算力需求,摩尔线程采用混合精度训练的方法。在整个模型训练过程中,识别出对精度要求不高的操作,将其替换为低精度计算。 更低精度带来的优势,首先体现在算力层面:精度降低一半,算力翻倍,同时显存占用、显存带宽及传输带宽消耗均减半。本质上,采用更低精度的数据类型进行训练,相当于实现了算力的翻倍。但需注意,低精度替换只能部分进行,无法完全替代,精度敏感的环节仍需保留高精度计算。因此,降低精度可在一定程度上提升算力或降低模型训练的算力需求。 在精度策略的设计上,可从两个维度考量:第一个维度是模型权重。以相同算力条件为例,对比多参数低精度模型与少参数高精度模型,如100B参数规模的FP16模型和200B参数规模的FP8模型,从数学表达能力来看,其可表达的理论空间是等价的。 但当前行业趋势更倾向于优先扩展模型参数规模。这是因为模型训练中实际使用的精度范围仅占理论值域的一部分,造成“精度空间浪费”,而增大参数规模能有效提升模型效果。 从行业技术演进来看,精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段,而DeepSeek已将其成功应用于模型训练,预计未来会有更多模型采用FP8精度。 三、FP8训练挑战解析:数值范围局限与精度损失引发的梯度问题 FP8训练面临什么挑战?首先我们看一下不同浮点数的值域。因为指数位不同,取值范围其实差别很大。比如BF16,忽略正负号,可以看到值域靠低端的部分可以到2-126,然后高端的可以到2127。FP16的值域会小很多,但有十位尾数,值域靠低端部分接近2-14,然后高端部分是六万多。 FP8有E4M3和E5M2两种,可以看到,E4M3的取值范围其实非常窄,只有2-6到448,E5M2跟FP16类似,但其实跟现在广泛用的BF16比,取值范围还是小很多。这里面有两个因素,一个是取值范围,一个是精度。 取值范围就是刚刚讲到的从小数到大数的范围,因为FP8的数值范围小,很可能在计算过程中遇到数值上溢和下溢的问题,如此就会带来一个典型问题:梯度爆炸和梯度消失。 精度就是尾数部分能够表达的数量。精度低会带来舍入误差的问题。例如在做数值转换的时候,可能BF16能表示的数在FP8里就会丢失掉一些小数。另外就是一个大数加一个很小的数,由于小数部分太小了,两者就相当于没加,这样就会造成信息丢失,对模型训练过程会带来梯度无法更新的问题。 四、FP8训练技术不断演进,4大创新攻克低精度核心难题 这两年FP8训练技术取得多项进展,已经应用在一些模型的训练中。 模型训练中不同操作对精度的需求是不一样的: 1、矩阵乘操作:作为两数相乘的基础运算,FP8的数值范围易于控制,可通过值域限定避免溢出,对精度要求较低; 2、累加与规约操作:矩阵乘中隐含的累加过程(尤其大矩阵运算时多数相加)存在值域溢出风险,对精度要求处于中等水平; 3、非线性函数运算:如指数函数等场景,数值易快速超出值域,对精度要求最高。 基于此,训练中可对不同操作采用差异化精度策略,通过中间过程的量化与反量化实现精度适配。 Tensor Core技术提供了混合精度运算的硬件支持。自2017年引入以来,该技术持续进化,现可支持以FP8格式矩阵为输入,通过硬件级混合精度运算输出高精度矩阵结果。 此外,训练框架也在支持混合精度训练。例如在BF16与FP32的混合训练中,多数操作采用BF16执行,但权重更新时会切换至FP32,通过维护FP32权重副本确保训练稳定性。 还有就是Tensor Scaling(张量缩放)技术。在进行高精度向低精度转换时,由于值域范围不同,会出现信息丢失问题。因此在数据类型转换前,需先将高精度值域乘以Scaling Factor(缩放因子)参数,使其缩放到低精度值域范围内,以此确保转换过程中尽可能减少数据丢失。 Scaling Factor的选择可以有不同的策略。在时间维度上来看可以是在量化前直接计算,也可以采用基于历史数据的Delayed Scaling Factor(延迟缩放因子)。 从颗粒度来看,既可以对整个 Tensor 应用统一的Scaling Factor,也能进行更精细的选择,比如Per-Channel(逐通道)缩放,甚至还能进一步细化到Per-Channel的子区域。DeepSeek在其论文中提及,他们采用的是Per-Block(逐块)的缩放策略。 简单说一下DeepSeek的论文。DeepSeek-V3就使用了FP8混合精度训练,其中主要采用了以下策略: 1、前向和后向传播的3次GEMM使用FP8; 2、激活值的缓存和传输使用FP8; 3、Embedding、激活函数等模块使用高精度浮点数; 4、主权重、权重梯度、优化器状态使用高精度浮点数。 五、摩尔线程全栈支持FP8训练,性能提升20%~30%,对标主流水平 那我们说回到摩尔线程在采用FP8训练上面的一些工作。 首先,摩尔线程的全功能GPU计算卡在精度上的支持非常全面,摩尔线程是国内少数可以支持FP8精度的GPU供应商。不同计算精度可以用在图形、计算等不同场景,摩尔线程计算卡的优势就是支持全精度计算。 第二点就是在集群方面的工作。摩尔线程可以说是在集群这一方面投入很大的国产GPU公司。我们的夸娥(KUAE)智算集群系列产品可以让客户实现开箱即用,已经做到千卡规模,可支持万卡,未来还会向着更大规模集群前进。 在这一整个过程中,我们积累了很多实践。摩尔线程搭建了完整的软硬件栈,从硬件设计到集群管理、调度等全部包含。在大规模集群的运维方面也积累了丰富的经验。在大规模训练时,经常会出现计算错误、卡异常等情况,如何快速定位出现故障的部分将其替换是很重要的。我们采用了分布式的故障监测方法,实现分钟级的故障定位和恢复。 另外还有支持FP8训练的摩尔线程软件栈。我们开源了3个组件:提供MUSA后端加速支持的Torch-MUSA、混合并行训练框架MT-MegatronLM以及主要用于Transformer的高效训练和推理优化的MT-TransformerEngine。基于摩尔线程软件栈,我们成功复现了DeepSeek-V3满血版训练。 在此之上我们做了一系列的实验,基于我们自己的夸娥(KUAE)集群,在性能方面,在Llama3 8B、Qwen、DeepSeek-V2 16B以及V3 30B上,目前采用FP8混合训练可以带来20%~30%的性能提升,且引入FP8前后loss曲线基本一致,在采用FP8训练方面,摩尔线程的GPU计算卡与国际主流的卡做精度对比也基本吻合。 此外,摩尔线程在Scaling Factor的选择上也做了许多探索,例如:amax的统计信息表明Per-Tensor的Scaling Factor适合采用Delayed Scaling策略,而Per-Block则适合采用JIT Scaling策略。我们还用摩尔线程GPU计算卡做了Smooth SwiGLU论文的复现,我们发现,通过Smooth SwiGLU可以有效降低outlier的影响。 今天我给大家汇报的内容就是这些,谢谢。
Markdown
[网易首页](https://www.163.com/ "网易首页") [应用](https://www.163.com/#f=topnav) - [*网易新闻*](https://m.163.com/newsapp/#f=topnav) - [*网易公开课*](https://open.163.com/#f=topnav) - [*网易红彩*](https://hongcai.163.com/?from=pcsy-button) - [*网易严选*](https://u.163.com/aosoutbdbd8) - [*邮箱大师*](https://mail.163.com/client/dl.html?from=mail46) - [*网易云课堂*](https://study.163.com/client/download.htm?from=163app&utm_source=163.com&utm_medium=web_app&utm_campaign=business) [*快速导航*]() - ### [新闻](https://news.163.com/) - [国内](https://news.163.com/domestic) - [国际](https://news.163.com/world) - [王三三](https://news.163.com/special/wangsansanhome/) - ### [体育](https://sports.163.com/) - [NBA](https://sports.163.com/nba) - [CBA](https://sports.163.com/cba) - [综合](https://sports.163.com/allsports) - [中超](https://sports.163.com/zc) - [国际足球](https://sports.163.com/world) - [英超](https://sports.163.com/yc) - [西甲](https://sports.163.com/xj) - [意甲](https://sports.163.com/yj) - ### [娱乐](https://ent.163.com/) - [明星](https://ent.163.com/star) - [电影](https://ent.163.com/movie) - [电视](https://ent.163.com/tv) - [音乐](https://ent.163.com/music) - [封面故事](https://ent.163.com/special/fmgs/) - ### [财经](https://money.163.com/) - [股票](https://money.163.com/stock) - [原创](https://money.163.com/special/caijingyuanchuang/) - [智库](https://money.163.com/special/wycjzk-pc/) - ### [汽车](https://auto.163.com/) - [购车](https://auto.163.com/buy) - [车型库](http://product.auto.163.com/) - ### [科技](https://tech.163.com/) - [网易智能](https://tech.163.com/smart/) - [原创](https://tech.163.com/special/S1554800475317/) - [IT](https://tech.163.com/it) - [互联网](https://tech.163.com/internet) - [通信](https://tech.163.com/telecom/) - ### [时尚](https://fashion.163.com/) - [艺术](https://fashion.163.com/art) - [旅游](https://travel.163.com/) - ### [手机](https://mobile.163.com/) / [数码](https://digi.163.com/) - [惊奇科技](https://mobile.163.com/special/jqkj_list/) - [易评机](https://mobile.163.com/special/cpshi_list/) - [家电](https://hea.163.com/) - ### [房产](https://house.163.com/) / [家居](https://home.163.com/) - [北京房产](https://bj.house.163.com/) - [上海房产](https://sh.house.163.com/) - [广州房产](https://gz.house.163.com/) - [楼盘库](https://xf.house.163.com/) - [设计师库](https://designer.home.163.com/search) - [案例库](https://photo.home.163.com/) - ### [教育](https://edu.163.com/) - [留学](https://edu.163.com/liuxue) - [高考](https://edu.163.com/gaokao) [查看网易地图](https://sitemap.163.com/) [登录](https://reg.163.com/) [注册免费邮箱](https://mail.163.com/register/index.htm?from=163navi&regPage=163) - [注册VIP邮箱(特权邮箱,付费)](https://reg1.vip.163.com/newReg1/reg?from=new_topnav&utm_source=new_topnav) - [免费下载网易官方手机邮箱应用](https://mail.163.com/client/dl.html?from=mail46) [安全退出]() - [*移动端*](https://www.163.com/newsapp/#f=163nav) [![](https://static.ws.126.net/f2e/include/common_nav/images/topapp.jpg)](https://www.163.com/newsapp/#f=163nav) - [*网易公开课*](https://open.163.com/#ftopnav0) - [TED](https://open.163.com/ted/#ftopnav1) - [中国大学视频公开课](https://open.163.com/cuvocw/#ftopnav2) - [国际名校公开课](https://open.163.com/ocw/#ftopnav3) - [赏课·纪录片](https://open.163.com/appreciation/#ftopnav4) - [付费精品课程](https://vip.open.163.com/#ftopnav5) - [北京大学公开课](https://open.163.com/special/School/beida.html#ftopnav6) - [英语课程学习](https://open.163.com/newview/movie/courseintro?newurl=ME7HSJR07#ftopnav7) - [*网易严选*](https://you.163.com/?from=web_fc_menhu_xinrukou_1) - [新人特价](https://act.you.163.com/act/pub/ABuyLQKNmKmK.html?from=out_ynzy_xinrukou_2) - [9\.9专区](https://you.163.com/topic/v1/pub/Pew1KBH9Au.html?from=out_ynzy_xinrukou_3) - [新品热卖](https://you.163.com/item/newItemRank?from=out_ynzy_xinrukou_4) - [人气好物](https://you.163.com/item/recommend?from=out_ynzy_xinrukou_5) - [居家生活](https://you.163.com/item/list?categoryId=1005000&from=out_ynzy_xinrukou_7) - [服饰鞋包](https://you.163.com/item/list?categoryId=1010000&from=out_ynzy_xinrukou_8) - [母婴亲子](https://you.163.com/item/list?categoryId=1011000&from=out_ynzy_xinrukou_9) - [美食酒水](https://you.163.com/item/list?categoryId=1005002&from=out_ynzy_xinrukou_10) - [*支付*](https://ecard.163.com/) - [一卡通充值](https://ecard.163.com/#f=topnav) - [一卡通购买](https://ecard.163.com/script/index#f=topnav) - [我的网易支付](https://epay.163.com/) - [网易跨境支付](https://globalpay.163.com/home) - [*邮箱*]() - [免费邮箱](https://email.163.com/#f=topnav) - [VIP邮箱](https://vipmail.163.com/#f=topnav) - [企业邮箱](https://qiye.163.com/?from=NetEase163top) - [免费注册](https://mail.163.com/register/index.htm?from=ntes_nav&regPage=163) - [客户端下载](https://mail.163.com/dashi/dlpro.html?from=mail46) [网易首页](https://www.163.com/) \> [网易号](https://dy.163.com/) \> 正文 [申请入驻](https://dy.163.com/wemedia/index.html) # 摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求 2025-07-21 20:54:41 来源: [智东西](https://www.163.com/dy/media/T1409815021259.html) ![](https://static.ws.126.net/163/f2e/dy_media/dy_media/static/images/ipLocation.f6d00eb.svg)北京 [举报](https://www.163.com/special/0077jt/tipoff.html?title=%E6%91%A9%E5%B0%94%E7%BA%BF%E7%A8%8B%E7%8E%8B%E5%8D%8E%EF%BC%9A%E7%AE%97%E5%8A%9B%E9%9C%80%E6%B1%82%E5%8D%83%E5%80%8D%E5%A2%9E%E9%95%BF%EF%BC%8C%E5%A4%A7%E9%9B%86%E7%BE%A4%E5%92%8CFP8%E6%88%90%E4%B8%BA%E5%BC%BA%E9%9C%80%E6%B1%82) [0](https://www.163.com/dy/article/K51569SI051180F7.html "点击查看跟贴") 分享至 用微信扫码二维码 分享至好友和朋友圈 ![](https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F0721%2F8367e1acj00szr2id000id000hs007km.jpg&thumbnail=660x2147483647&quality=80&type=jpg) **智东西(公众号:zhidxcom)** **作者 \| 中国AI算力大会** 6月26日,2025中国AI算力大会在北京热烈召开。从国产AI算力的突围与崛起,到智算中心深层软硬件技术创新解决算力落地产业难题,近30位重量级嘉宾与会带来致辞、报告、演讲和对话,全方位解构DeepSeek引爆的AI算力变局。 摩尔线程副总裁王华在主会场以《基于FP8的国产集群训练》为题进行了主题演讲。在演讲中他提到2020至2025年间,大模型训练的算力需求激增近1000倍 ,而驱动力来自参数规模与数据量双向增长。 王华认为,大集群和FP8成为大模型现阶段的最强需求。对此,他围绕大模型算力需求、混合精度训练、FP8训练技术演进等方面进行了深入浅出地剖析阐释。 此外,王华还分享道,摩尔线程提供包括FP8在内的全精度算力,构建了支持多种不同数据类型的混合精度训练方案,还可以提供万卡集群开箱即用的产品,可以满足大模型的算力需求,并大幅提升其训练效果。 **以下为王华的演讲实录精华:** 一、5年,大模型训练算力需求增长千倍 首先来看一下大型训练需求的趋势。2020年,算力需求训练需求最高是在1023flops。到25年,训练算力需求最高的是xAI的Grok3,算力需求差不多到了1026flops。从1023到1026,算力需求增长了1000倍。 ![](https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F0721%2F9af37e81j00szr2id004md000hs008km.jpg&thumbnail=660x2147483647&quality=80&type=jpg) 增长主要来自两个方面:一是模型参数。大模型的模型参数规模是在不断增加的,最近的模型动辙都是数千亿甚至到万亿的参数规模;第二是训练数据量。早期训练数据量可能到几百B,稍微多一点到1T,但现在基本都是十几T。 所以,算力需求和模型参数数量与训练数据量的乘积成正比,而这两个维度的增长,带来模型训练算力需求的大幅增长。 再举一个例子,比如,Llama 3 70B大概是在1024flops左右,然后更大一点Llama 3 405B在1025flops左右,GPT 4也在1025左右,早期的Llama 2大概在1023flops左右。虽然Llama 2与Llama 3的模型参数和模型结构比较类似,但是因为Llama 2的训练数据量低一个数量级,所以它要求的算力也会低一个数量级。 ![](https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F0721%2Fca365ccbj00szr2id001wd000hs006pm.jpg&thumbnail=660x2147483647&quality=80&type=jpg) 不只是算力,这些大规模训练所需要的集群也越来越大。为了校正所需要的算力,用H100的千卡、五千卡到万卡量级的集群来作类比。表格中的数据是按照MFU算的,当然不同模型的参数大小对MFU有影响,另外集群规模增大之后由于加速比效应,MFU会下降,所以这里只是大致的估算。 这个量级中,DeepSeek V3的算力需求大概在3.4×1024flops。在千卡集群上,1024的训练时间大概是97天,五千卡集群需要22天,到万卡级别就只需要13天了。再举一个例子,Qwen 3 235B,虽然模型参数小一些,但因为数据集更大,它的实际算力会更高,所以Qwen 3 235B计算量约为4.75×1024flops。再看一下训练时间,这个计算量在千卡集群上需要136天,五千卡上是37天,到万卡就只需要18天。这是两个比较典型的国内MOE模型的例子。 再比如说Llama 3 370B,这是比较典型的Dense模型(稠密模型),训练数量也差不多在1024flops左右,训练时间也与Qwen 3差不多。 更大的模型,比如GPT 4,训练数量有1025flops,这几乎是千卡不可能完成的任务,到这个量级基本需要万卡级别的集群来支撑。尤其是现在大模型的训练参数基本都在向着万亿发展,数量级十分巨大,所以后续训练需要的算力也会非常大。 二、混合精度训练缓解算力需求激增难题 为了解决算力需求,摩尔线程采用混合精度训练的方法。在整个模型训练过程中,识别出对精度要求不高的操作,将其替换为低精度计算。 更低精度带来的优势,首先体现在算力层面:精度降低一半,算力翻倍,同时显存占用、显存带宽及传输带宽消耗均减半。本质上,采用更低精度的数据类型进行训练,相当于实现了算力的翻倍。但需注意,低精度替换只能部分进行,无法完全替代,精度敏感的环节仍需保留高精度计算。因此,降低精度可在一定程度上提升算力或降低模型训练的算力需求。 ![](https://nimg.ws.126.net/?url=http%3A%2F%2Fdingyue.ws.126.net%2F2025%2F0721%2F1ce4fab0j00szr2id003ed000hs00a0m.jpg&thumbnail=660x2147483647&quality=80&type=jpg) 在精度策略的设计上,可从两个维度考量:第一个维度是模型权重。以相同算力条件为例,对比多参数低精度模型与少参数高精度模型,如100B参数规模的FP16模型和200B参数规模的FP8模型,从数学表达能力来看,其可表达的理论空间是等价的。 但当前行业趋势更倾向于优先扩展模型参数规模。这是因为模型训练中实际使用的精度范围仅占理论值域的一部分,造成“精度空间浪费”,而增大参数规模能有效提升模型效果。 从行业技术演进来看,精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段,而DeepSeek已将其成功应用于模型训练,预计未来会有更多模型采用FP8精度。 三、FP8训练挑战解析:数值范围局限与精度损失引发的梯度问题 FP8训练面临什么挑战?首先我们看一下不同浮点数的值域。因为指数位不同,取值范围其实差别很大。比如BF16,忽略正负号,可以看到值域靠低端的部分可以到2-126,然后高端的可以到2127。FP16的值域会小很多,但有十位尾数,值域靠低端部分接近2-14,然后高端部分是六万多。 FP8有E4M3和E5M2两种,可以看到,E4M3的取值范围其实非常窄,只有2-6到448,E5M2跟FP16类似,但其实跟现在广泛用的BF16比,取值范围还是小很多。这里面有两个因素,一个是取值范围,一个是精度。 取值范围就是刚刚讲到的从小数到大数的范围,因为FP8的数值范围小,很可能在计算过程中遇到数值上溢和下溢的问题,如此就会带来一个典型问题:梯度爆炸和梯度消失。 精度就是尾数部分能够表达的数量。精度低会带来舍入误差的问题。例如在做数值转换的时候,可能BF16能表示的数在FP8里就会丢失掉一些小数。另外就是一个大数加一个很小的数,由于小数部分太小了,两者就相当于没加,这样就会造成信息丢失,对模型训练过程会带来梯度无法更新的问题。 四、FP8训练技术不断演进,4大创新攻克低精度核心难题 这两年FP8训练技术取得多项进展,已经应用在一些模型的训练中。 模型训练中不同操作对精度的需求是不一样的: 1、矩阵乘操作:作为两数相乘的基础运算,FP8的数值范围易于控制,可通过值域限定避免溢出,对精度要求较低; 2、累加与规约操作:矩阵乘中隐含的累加过程(尤其大矩阵运算时多数相加)存在值域溢出风险,对精度要求处于中等水平; 3、非线性函数运算:如指数函数等场景,数值易快速超出值域,对精度要求最高。 基于此,训练中可对不同操作采用差异化精度策略,通过中间过程的量化与反量化实现精度适配。 Tensor Core技术提供了混合精度运算的硬件支持。自2017年引入以来,该技术持续进化,现可支持以FP8格式矩阵为输入,通过硬件级混合精度运算输出高精度矩阵结果。 此外,训练框架也在支持混合精度训练。例如在BF16与FP32的混合训练中,多数操作采用BF16执行,但权重更新时会切换至FP32,通过维护FP32权重副本确保训练稳定性。 还有就是Tensor Scaling(张量缩放)技术。在进行高精度向低精度转换时,由于值域范围不同,会出现信息丢失问题。因此在数据类型转换前,需先将高精度值域乘以Scaling Factor(缩放因子)参数,使其缩放到低精度值域范围内,以此确保转换过程中尽可能减少数据丢失。 Scaling Factor的选择可以有不同的策略。在时间维度上来看可以是在量化前直接计算,也可以采用基于历史数据的Delayed Scaling Factor(延迟缩放因子)。 从颗粒度来看,既可以对整个 Tensor 应用统一的Scaling Factor,也能进行更精细的选择,比如Per-Channel(逐通道)缩放,甚至还能进一步细化到Per-Channel的子区域。DeepSeek在其论文中提及,他们采用的是Per-Block(逐块)的缩放策略。 简单说一下DeepSeek的论文。DeepSeek-V3就使用了FP8混合精度训练,其中主要采用了以下策略: 1、前向和后向传播的3次GEMM使用FP8; 2、激活值的缓存和传输使用FP8; 3、Embedding、激活函数等模块使用高精度浮点数; 4、主权重、权重梯度、优化器状态使用高精度浮点数。 五、摩尔线程全栈支持FP8训练,性能提升20%~30%,对标主流水平 那我们说回到摩尔线程在采用FP8训练上面的一些工作。 首先,摩尔线程的全功能GPU计算卡在精度上的支持非常全面,摩尔线程是国内少数可以支持FP8精度的GPU供应商。不同计算精度可以用在图形、计算等不同场景,摩尔线程计算卡的优势就是支持全精度计算。 第二点就是在集群方面的工作。摩尔线程可以说是在集群这一方面投入很大的国产GPU公司。我们的夸娥(KUAE)智算集群系列产品可以让客户实现开箱即用,已经做到千卡规模,可支持万卡,未来还会向着更大规模集群前进。 在这一整个过程中,我们积累了很多实践。摩尔线程搭建了完整的软硬件栈,从硬件设计到集群管理、调度等全部包含。在大规模集群的运维方面也积累了丰富的经验。在大规模训练时,经常会出现计算错误、卡异常等情况,如何快速定位出现故障的部分将其替换是很重要的。我们采用了分布式的故障监测方法,实现分钟级的故障定位和恢复。 另外还有支持FP8训练的摩尔线程软件栈。我们开源了3个组件:提供MUSA后端加速支持的Torch-MUSA、混合并行训练框架MT-MegatronLM以及主要用于Transformer的高效训练和推理优化的MT-TransformerEngine。基于摩尔线程软件栈,我们成功复现了DeepSeek-V3满血版训练。 在此之上我们做了一系列的实验,基于我们自己的夸娥(KUAE)集群,在性能方面,在Llama3 8B、Qwen、DeepSeek-V2 16B以及V3 30B上,目前采用FP8混合训练可以带来20%~30%的性能提升,且引入FP8前后loss曲线基本一致,在采用FP8训练方面,摩尔线程的GPU计算卡与国际主流的卡做精度对比也基本吻合。 此外,摩尔线程在Scaling Factor的选择上也做了许多探索,例如:amax的统计信息表明Per-Tensor的Scaling Factor适合采用Delayed Scaling策略,而Per-Block则适合采用JIT Scaling策略。我们还用摩尔线程GPU计算卡做了Smooth SwiGLU论文的复现,我们发现,通过Smooth SwiGLU可以有效降低outlier的影响。 今天我给大家汇报的内容就是这些,谢谢。 特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。 Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services. */*阅读下一篇*/* ### [返回网易首页](https://www.163.com/?f=post2020_dy) [下载网易新闻客户端](https://www.163.com/newsapp/#f=post2020_dy) 相关推荐 热点推荐 - [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0924/50fa6319p00t32zh2001yc0009c0070c.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends) ### [重庆泰克公司在仁怀投资建厂遭强行接管?官方:成立专班展开调查](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends) 界面新闻 2025-09-24 14:32:47 [34586 *跟贴* 34586](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0924/ab6d0f1ap00t33gk2006jc0009c0070c.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends) ### [【解局】中方这项重要宣示,有三点值得关注](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends) 环球网资讯 2025-09-24 20:49:37 [1276 *跟贴* 1276](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little258272963cbj00t34ixe000vd000sg00g0c.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends) ### [安徽芜湖市副市长朱的娥已任市委常委、宣传部部长](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends) 澎湃新闻 2025-09-25 10:58:27 [4 *跟贴* 4](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little299d694f56aj00t33qik00ewd200o900irg00o900ir.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends) ### [张春艳,为追求个人政绩、争取职务升迁,擅自对集体研究内容作重大调整](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends) 新京报政事儿 2025-09-25 00:44:45 [131 *跟贴* 131](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little839e91d10ddj00t332eo000md000gv0090g.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends) ### [月薪高达92万,怕不相信,写的15万!河南一企业低调招人](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends) 大象新闻 2025-09-24 16:13:07 [1624 *跟贴* 1624](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/doccover_gen/KA8ATQDA0514BQ68_cover.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends) ### [美空军:开始生产首架F-47战机](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends) 参考消息 2025-09-24 19:08:04 [387 *跟贴* 387](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/doccover_gen/KA84JCT60512D3VJ_cover.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends) ### [台风“桦加沙”已在广东省阳江市海陵岛沿海登陆](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends) 新京报 2025-09-24 17:17:31 [2184 *跟贴* 2184](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little42884943e65j00t33qs8000zd000u000k0g.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends) ### [四川通报:田蓉多次携家人到云南、海南旅游,无偿接受老板服务](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends) 极目新闻 2025-09-25 00:59:35 [161 *跟贴* 161](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little522e07b1933j00t335jp00jnd000u000i4g.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends) ### [被嘲笑“是三流大学毕业”,泡泡玛特创始人王宁:母校西亚斯是一流大学](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends) 潇湘晨报 2025-09-24 17:12:11 [0 *跟贴* 0](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/doccover_gen/KA86D7TD0514D3UH_cover.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends) ### [家长投诉学校不执行高中双休,多方回应](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends) 封面新闻 2025-09-24 17:49:06 [457 *跟贴* 457](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/doccover_gen/KA9JB9FC0512B07B_cover.png&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends) ### [伊朗曝以色列核基地 独家情报](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends) 每日经济新闻 2025-09-25 06:54:28 [107 *跟贴* 107](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/three4735ec8d9cej00t33ua0001xd000hs00bvg.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends) ### [屡次推迟的登月计划可能提前,NASA哪来的自信?](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends) 澎湃新闻 2025-09-25 02:40:05 [80 *跟贴* 80](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little4392e5fb3a8j00t330z0001ed000hs00fcg.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends) ### [动物园回应黑熊被质疑是人扮的:是真熊,从小被饲养员养大,有仿人行为](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends) 观威海 2025-09-24 15:49:02 [1117 *跟贴* 1117](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little7817213f45dj00t34eau0018d000u000j5g.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends) ### [雷军:五十岁正是闯的年纪](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends) 极目新闻 2025-09-25 09:25:15 [6 *跟贴* 6](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little1413160769dj00t34boo000od000hs0099g.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends) ### [太阳老板:没人能质疑杜兰特的伟大 但他不适合太阳的未来规划](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends) 北青网-北京青年报 2025-09-25 08:34:08 [17 *跟贴* 17](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little529239fd18ej00t3484c001gd000hs00dcg.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends) ### [这里的人吃了五十年预制菜](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends) 中国新闻周刊 2025-09-25 07:26:04 [0 *跟贴* 0](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little416d39d6bb7j00t349u4002xd000zk00qog.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends) ### [百万元房车不上锁异地停放十余天,陌生人开走带全家旅游,车主:房车空着是浪费](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends) 极目新闻 2025-09-25 07:53:46 [0 *跟贴* 0](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little7115e989a17j00t34k0o0018d000hs008xg.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends) ### [刚刚!知名车企正式上市](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends) 鲁中晨报 2025-09-25 11:30:05 [0 *跟贴* 0](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends) - [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little82411c7acc6j00t34lss002md000u000gwg.jpg&thumbnail=140y88&quality=80&type=jpg)](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends) ### [博主吐槽“医院乱收费没医德”引纠纷,法院判决厘清是非](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends) 极目新闻 2025-09-25 12:15:52 [0 *跟贴* 0](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends) [![巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0925/6a60a3f5j00t3455k011fd000qo00htm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA9G8UIV0529BA9O.html?f=post1603_tab_news "巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求") ### [巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求](https://www.163.com/dy/article/KA9G8UIV0529BA9O.html?f=post1603_tab_news "巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求") 罗说NBA 2025-09-25 06:02:07 [![张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0924/da7ad56dj00t33ewe001zd000xp00tnm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA8FR27D05568PJ4.html?f=post1603_tab_news "张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了") ### [张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了](https://www.163.com/dy/article/KA8FR27D05568PJ4.html?f=post1603_tab_news "张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了") 史行途 2025-09-24 20:33:58 [![11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0923/27d4b0c1j00t30skq017gd000v900nfp.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA4OJFQ80550GSZT.html?f=post1603_tab_news "11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年") ### [11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年](https://www.163.com/dy/article/KA4OJFQ80550GSZT.html?f=post1603_tab_news "11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年") 武汉交通广播 2025-09-23 10:37:05 [![网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0924/2259ec6dj00t32jqf001md000k000f0p.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA79N23H05567NUF.html?f=post1603_tab_news "网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%") ### [网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%](https://www.163.com/dy/article/KA79N23H05567NUF.html?f=post1603_tab_news "网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%") 三言四拍 2025-09-24 09:27:40 [![吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little9232aa9265cj00t31r6c000sd000dx007xm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA660MMN05378IX6.html?f=post1603_tab_news "吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗") ### [吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗](https://www.163.com/dy/article/KA660MMN05378IX6.html?f=post1603_tab_news "吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗") 热风追逐者 2025-09-23 23:04:24 [![央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big303753263ccj00t1ylgc000zd000m800bym.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/K8FNLF2P05568186.html?f=post1603_tab_news "央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉") ### [央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉](https://www.163.com/dy/article/K8FNLF2P05568186.html?f=post1603_tab_news "央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉") 大鱼简科 2025-09-02 19:34:00 [![绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little629ecb06849j00t33pjt0016d000jg00elg.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA8T0FL30512B07B.html?f=post1603_tab_news "绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门") ### [绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门](https://www.163.com/dy/article/KA8T0FL30512B07B.html?f=post1603_tab_news "绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门") 每日经济新闻 2025-09-25 00:24:05 [![暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big485b35a3e95j00t32ojy000yd000le00gxg.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA7F907U0553TKJG.html?f=post1603_tab_news "暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪") ### [暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪](https://www.163.com/dy/article/KA7F907U0553TKJG.html?f=post1603_tab_news "暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪") 东方不败然多多 2025-09-24 11:04:50 [![从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big290a6b21102j00t341ry0012d000vf00lcg.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA9C3QLC0553RS1E.html?f=post1603_tab_news "从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”") ### [从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”](https://www.163.com/dy/article/KA9C3QLC0553RS1E.html?f=post1603_tab_news "从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”") 时尚的弄潮 2025-09-25 04:48:04 [![KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0918/3052e626j00t2rms400gqd000dw00ijp.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/K9O1TGQT05527EWA.html?f=post1603_tab_news "KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?") ### [KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?](https://www.163.com/dy/article/K9O1TGQT05527EWA.html?f=post1603_tab_news "KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?") Magic宠物社 2025-09-23 18:40:07 [![中国富人,为什么以吃劣质蛋白质为荣?](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0919/e7c3cdfdj00t2ucgb0210d000u001hcm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/K9RSC97F0522DU3L.html?f=post1603_tab_news "中国富人,为什么以吃劣质蛋白质为荣?") ### [中国富人,为什么以吃劣质蛋白质为荣?](https://www.163.com/dy/article/K9RSC97F0522DU3L.html?f=post1603_tab_news "中国富人,为什么以吃劣质蛋白质为荣?") 食味艺文志 2025-09-19 23:03:14 [![迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little524bb9b42b1j00t34goo0019d000fu00awg.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA9V1S9N0529AQIE.html?f=post1603_tab_news "迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝") ### [迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝](https://www.163.com/dy/article/KA9V1S9N0529AQIE.html?f=post1603_tab_news "迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝") 直播吧 2025-09-25 10:19:03 [![真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0325/a382d746j00stojy20018d000ku00fmp.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/JRH9UKUJ0523T1D6.html?f=post1603_tab_news "真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑") ### [真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑](https://www.163.com/dy/article/JRH9UKUJ0523T1D6.html?f=post1603_tab_news "真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑") 温读 2025-03-25 20:58:54 [![和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big22382c0a109j00t2v61v00tmd0013w00qsm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/K9T0V5K805568WUI.html?f=post1603_tab_news "和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了") ### [和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了](https://www.163.com/dy/article/K9T0V5K805568WUI.html?f=post1603_tab_news "和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了") 五元讲堂 2025-09-20 09:46:21 [![叫你文化自信,没叫你刨别人祖坟](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little1539de83452j00t0ny8z009ld200j6008ug00j6008u.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/K6ES7CSU05318Y5M.html?f=post1603_tab_news "叫你文化自信,没叫你刨别人祖坟") ### [叫你文化自信,没叫你刨别人祖坟](https://www.163.com/dy/article/K6ES7CSU05318Y5M.html?f=post1603_tab_news "叫你文化自信,没叫你刨别人祖坟") 报人刘亚东 2025-08-08 15:03:03 [![易中天:即将退休或者已经退休的人,学着做到这几点](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big1541e1119adj00t33ghc000ld000hs00bpg.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA8L5I1G05566FH1.html?f=post1603_tab_news "易中天:即将退休或者已经退休的人,学着做到这几点") ### [易中天:即将退休或者已经退休的人,学着做到这几点](https://www.163.com/dy/article/KA8L5I1G05566FH1.html?f=post1603_tab_news "易中天:即将退休或者已经退休的人,学着做到这几点") 尚曦读史 2025-09-24 22:07:03 [![当今这个世代,多少法西斯戴着反法西斯的面具?](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0924/44e555edj00t32e4d002ad000u000f5m.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA72CO1V0553GDP9.html?f=post1603_tab_news "当今这个世代,多少法西斯戴着反法西斯的面具?") ### [当今这个世代,多少法西斯戴着反法西斯的面具?](https://www.163.com/dy/article/KA72CO1V0553GDP9.html?f=post1603_tab_news "当今这个世代,多少法西斯戴着反法西斯的面具?") 通往远方的路 2025-09-24 07:20:44 [![如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0924/df4e2e3cj00t33bpn002gd000no00i0m.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA8BTJTH055247PY.html?f=post1603_tab_news "如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?") ### [如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?](https://www.163.com/dy/article/KA8BTJTH055247PY.html?f=post1603_tab_news "如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?") 股经纵横谈 2025-09-24 19:25:43 [![巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big7842149c7c1j00t34jgb0017d200sg00izg00it00cj.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KAA1UPUT05149N8T.html?f=post1603_tab_news "巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质") ### [巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质](https://www.163.com/dy/article/KAA1UPUT05149N8T.html?f=post1603_tab_news "巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质") 荔枝新闻 2025-09-25 11:09:48 [![她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/big4077a7266bbj00t33c9t001td000us00jtm.jpg&thumbnail=140y88&quality=90&type=jpg)](https://www.163.com/dy/article/KA8CJATR05567MSH.html?f=post1603_tab_news "她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?") ### [她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?](https://www.163.com/dy/article/KA8CJATR05567MSH.html?f=post1603_tab_news "她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?") 云景侃记 2025-09-24 19:37:18 2025-09-25 12:31:00 [![智东西](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2q0w40zfWUfJAKabeiiXLavcnbaEO0pcWNDuZfWbT5Tt31491816462032.jpg&thumbnail=160y160&quality=80&type=jpg) ![incentive-icons](https://static.ws.126.net/m/newsapp/reading/vip/yellownew.png)](https://www.163.com/dy/media/T1409815021259.html) [智东西](https://www.163.com/dy/media/T1409815021259.html) [聚焦智能变革,服务产业升级。](https://www.163.com/dy/media/T1409815021259.html) [*10514*](https://www.163.com/dy/media/T1409815021259.html)文章数 [*116859*](https://www.163.com/dy/media/T1409815021259.html)关注度 往期回顾 [全部](https://www.163.com/dy/media/T1409815021259.html) ## [科技要闻](https://tech.163.com/) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0925/91ad89d0p00t34c6j006vc000s600e3c.png&thumbnail=300x150&quality=90&type=jpg) 英伟达的50亿美元不够?英特尔又求苹果投资](https://www.163.com/tech/article/KA9OVEKM00097U7T.html) - ### [美媒:美国AI,开始留不住中国“最强大脑”](https://www.163.com/tech/article/KA9PTSNN00097U7T.html) - ### [高通发布第五代骁龙8至尊版:小米17系列首发](https://www.163.com/digi/article/KA9L708N001680P9.html) - ### [2025网易未来大会](https://go.163.com/f2e/netease_future_2025_pc/index.html) - ### [阿里的AI豪赌:三年先砸3800亿](https://www.163.com/tech/article/KA7GCQN900098IEO.html) ## [头条要闻](https://news.163.com/?f=post2020_dy_news_bj) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0925/2ffc39f1p00t34b8z0081c0009c0070c.png&thumbnail=300x150&quality=90&type=jpg) 男子将百万房车不上锁异地停放 已有人开走带全家旅游](https://www.163.com/dy/article/KA9MNS1T053469LG.html) - ### [北大教授巴西坠机细节披露 警方否定野猪致坠机说法](https://www.163.com/dy/article/KAA29AIH051492T3.html) - ### [女生疑遭校园欺凌 警方被投诉后重启调查认定殴打情节](https://www.163.com/dy/article/KAA291UP05561G0D.html) - ### [西贝删除温情公关文 称"7岁儿童哭着闹着要去吃西贝"](https://www.163.com/news/article/KAA24NV80001899O.html) - ### [牛弹琴:美国迎来一位最特殊客人 一年前还是恐怖分子](https://www.163.com/news/article/KA9OC0HG00019B3E.html) ## [头条要闻](https://news.163.com/?f=post2020_dy_news) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0925/2ffc39f1p00t34b8z0081c0009c0070c.png&thumbnail=300x150&quality=90&type=jpg) 男子将百万房车不上锁异地停放 已有人开走带全家旅游](https://www.163.com/dy/article/KA9MNS1T053469LG.html) - ### [北大教授巴西坠机细节披露 警方否定野猪致坠机说法](https://www.163.com/dy/article/KAA29AIH051492T3.html) - ### [女生疑遭校园欺凌 警方被投诉后重启调查认定殴打情节](https://www.163.com/dy/article/KAA291UP05561G0D.html) - ### [西贝删除温情公关文 称"7岁儿童哭着闹着要去吃西贝"](https://www.163.com/news/article/KAA24NV80001899O.html) - ### [牛弹琴:美国迎来一位最特殊客人 一年前还是恐怖分子](https://www.163.com/news/article/KA9OC0HG00019B3E.html) ## [体育要闻](https://sports.163.com/) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0924/255f054bp00t331su007kc000s600e3c.png&thumbnail=300x150&quality=90&type=jpg) 把“假中餐”卖给美国人,然后买下NBA球队](https://www.163.com/sports/article/KA79T3NH0005877U.html) - ### [迈阿密国际4-0客胜纽约城,梅西两射一传,苏亚雷斯点射](https://www.163.com/dy/article/KA9T432K0549BAP0.html) - ### [西甲-马竞3-2巴列卡诺,阿尔瓦雷斯戴帽绝杀](https://www.163.com/dy/article/KA9GEABA0549BAP0.html) - ### [英联杯:阿森纳2-0英甲队晋级16强!埃泽首球,哲凯赖什失单刀](https://www.163.com/dy/article/KA9DO22H0553AOVQ.html) - ### [曼城客场2-0哈德斯菲尔德晋级,福登传射建功,萨维尼奥破门](https://www.163.com/dy/article/KA9CPN7I0549BAP0.html) ## [娱乐要闻](https://ent.163.com/) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0925/d30623eap00t34h1z002hc000s600e3c.png&thumbnail=300x150&quality=90&type=jpg) 赵本山6位徒弟生活的生活令人唏嘘](https://www.163.com/dy/article/KA9UDVKN0553TKJG.html) - ### [关于央视女主持私生活谣言别太离谱](https://www.163.com/dy/article/KA9UGNLQ05568PF5.html) - ### [74岁刘晓庆如今的现状,给所有人提了个醒](https://www.163.com/dy/article/KA9U58FP05568PEA.html) - ### [秦雯背刺陈道明风波升级](https://www.163.com/dy/article/KA9UOQ840556DKVI.html) - ### [欺骗小酒窝讨好张维伊 倪萍一句话让董璇彻底慌了](https://www.163.com/dy/article/KA9SIG1F05566XZN.html) ## [财经要闻](https://money.163.com/) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0924/02985906p00t333ce002gc000ha007lc.png&thumbnail=300x150&quality=90&type=jpg) 始祖鸟炸山后72小时 户外网红到全民公敌](https://www.163.com/money/article/KA821R4K00258105.html) - ### [美国下调欧盟汽车关税至15% 并追溯自8月1日生效](https://www.163.com/dy/article/KA96TAPB05198CJN.html) - ### [吴泳铭23分钟演讲,让阿里涨了2200亿](https://www.163.com/dy/article/KA93L99L051188EA.html) - ### [924一周年A股普涨!节前投资者如何抉择?](https://www.163.com/dy/article/KA8QNTN50519DTSV.html) - ### [创业板指创三年多新高 宁德时代市值超越贵州茅台](https://www.163.com/money/article/KAA3DV0G00258105.html) ## [汽车要闻](https://auto.163.com/) [![](https://nimg.ws.126.net/?url=http://cms-bucket.ws.126.net/2025/0925/ff56dea3p00t34hzh006yc000s600e3c.png&thumbnail=300x150&quality=90&type=jpg) 奇瑞港股上市 募资91.4亿港元成年内最大车企IPO](https://www.163.com/auto/article/KA9V4H9G000884ML.html) - ### [福特中国再出重拳:全资销售公司成立 陈晓波执掌帅印](https://www.163.com/auto/article/KA9UCMNH000884ML.html) - ### [柔情的硬派混动 坦克400 Hi4-Z 静态体验](https://www.163.com/v/video/VK9A3A07D.html) - ### [开着全新问界M7来到赛里木湖 这一次,不白活!](https://www.163.com/v/video/VK99HIMP5.html) - ### [智能配置升级 广汽丰田多款新车上市售10.28万起](https://www.163.com/auto/article/KA69JSIA0008856R.html) ## 态度原创 - ### [*\+arrTaiduYuanC\[i\].tag+'* \| '+arrTaiduYuanC\[i\].title+'](https://www.163.com/dy/article/'+arrTaiduYuanC[i].link+') \\ [教育](https://edu.163.com/) [亲子](https://baby.163.com/) [手机](https://mobile.163.com/) [时尚](https://fashion.163.com/) [公开课](https://open.163.com/) ## [教育要闻](https://edu.163.com/) [![](https://nimg.ws.126.net/?url=http://videoimg.ws.126.net/cover/20250925/4dZHfht6n_cover.jpg&thumbnail=300x150&quality=90&type=jpg) 问过孩子吗:父母说什么话最伤孩子心?](https://www.163.com/v/video/VA9C1BOR7.html) - ### [英语介词by用法全攻略:从基础到精通的固定搭配指南](https://www.163.com/dy/article/KA9PFUS90536M2L0.html) - ### [惊!育英学校事件后,我们又是开会,又是签承诺书,还来六条铁律](https://www.163.com/dy/article/KA9Q9VFK0536TKDY.html) - ### [家庭年收低于20万,埃默里大学明秋起免学费!](https://www.163.com/dy/article/KA9PJU5I05169EA1.html) - ### [4所985都有包分配班,4所211或有降级的风险,到底是为什么?](https://www.163.com/dy/article/K8IJ2J6M0553VYU3.html) ## [亲子要闻](https://baby.163.com/) [![](https://nimg.ws.126.net/?url=http://dingyue.ws.126.net/2025/0925/57acb447j00t34frc0029d000p000xcm.jpg&thumbnail=300x150&quality=90&type=jpg) 一个养花杀手的逆袭:我把辣手摧花的教训,活成了育儿通关秘籍!](https://www.163.com/dy/article/KA9SF6OJ0546IBLU.html) - ### [从零基础到现在可以自己读句子,老母亲甚感欣慰 杨雪呀](https://www.163.com/v/video/VI9C383OG.html) - ### [郭富城妻子现身月子中心,身后跟6个人,走路大摇大摆看着好神气](https://www.163.com/dy/article/KA9QN7II05564X8X.html) - ### [儿童看屏幕时间越长,体重就越难控制?答案竟然是……](https://www.163.com/dy/article/KA9NO6NM05149B3T.html) - ### [孩子抑郁休学,除了就医就诊,还有这5个心理康复建议](https://www.163.com/v/video/VT9ANN6VM.html) ## [手机要闻](https://mobile.163.com/) [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little850490aabd0j00t34jgn0022d000sa00j4g.jpg&thumbnail=300x150&quality=90&type=jpg) 红魔电竞平板 3 PRO 独家适配穿越火线手游极清画质+165Hz 高帧率](https://www.163.com/dy/article/KAA2MGEL0511B8LM.html) - ### [苹果回应iPhone 17 Pro系列划痕争议 称展示机痕迹可清洁去除](https://www.163.com/dy/article/KAA22TKN05118VMB.html) - ### [卢伟冰:小米做到了“真首发当日达”](https://www.163.com/dy/article/KAA218F90511B8LM.html) - ### [苹果、华为最稳,剩下品牌各有所长](https://www.163.com/dy/article/KAA0TSGS0511BBQT.html) [![](https://nimg.ws.126.net/?url=http://bjnewsrec-cv.ws.126.net/little3080c3a1804j00t33gya003md200u0011ig00u0011i.jpg&thumbnail=300x150&quality=90&type=jpg) 姚晨:自然予我](https://www.163.com/dy/article/KA8IC94V051283QK.html) - ### [2025最流行的摩卡慕斯色,配牛仔蓝太好看了!](https://www.163.com/dy/article/KA8I9L1O0518DCRR.html) - ### [外套里面穿什么?这4款内搭时髦又显瘦!](https://www.163.com/dy/article/KA8H5LDQ05389WHM.html) - ### [老外在中国的最酷打开方式](https://www.163.com/dy/article/KA85QJ7M051283QK.html) ## [公开课](https://open.163.com/) ### [李玫瑾:为什么性格比能力更重要?](https://open.163.com/newview/movie/free?pid=EHHGVM7FA&mid=KIAL4QM5K) - ### [白岩松谈人口老龄化:社会要降低老年人门槛](https://open.163.com/newview/movie/free?pid=QG36DFKM1&mid=UG36DFKMI) - ### [为什么人类有不同的肤色?](https://open.163.com/newview/movie/free?pid=AICUHKKK6&mid=KICUHKKL9#share-mob) - ### [最牛高中校长:真正的好学生都是玩出来的](https://open.163.com/newview/movie/free?pid=BDKSDA1J1&mid=BDKSDA1ID#share-mob) - ### [李彦宏:百度离破产30天](https://open.163.com/newview/movie/free?pid=XGIS0MSS0&mid=GGIS0MSSN) [![](https://static.ws.126.net/f2e/www/index2014/images/sprite_dw2.png)](http://www.163.com/newsapp/#f=qr) © 1997-2025 网易公司版权所有 [About NetEase](https://corp.163.com/) \| [公司简介](https://corp.163.com/gb/about/overview.html) \| [联系方法](https://corp.163.com/gb/contactus.html) \| [招聘信息](https://corp.163.com/gb/job/job.html) \| [客户服务](https://help.163.com/) \| [隐私政策](https://corp.163.com/gb/legal.html) \| [不良信息举报 Complaint Center](https://www.163.com/special/0077jt/tipoff.html) \| [廉正举报](https://jubao.163.com/) \| [侵权投诉](https://corp.163.com/special/008397U0/reporting_infringements.html) [无障碍浏览]() [进入关怀版]()
Readable Markdownnull
Shard16 (laksa)
Root Hash15734730450708169016
Unparsed URLcom,163!www,/dy/article/K51569SI051180F7.html s443