ℹ️ Skipped - page is already crawled
| Filter | Status | Condition | Details |
|---|---|---|---|
| HTTP status | PASS | download_http_code = 200 | HTTP 200 |
| Age cutoff | FAIL | download_stamp > now() - 6 MONTH | 6.6 months ago |
| History drop | PASS | isNull(history_drop_reason) | No drop reason |
| Spam/ban | PASS | fh_dont_index != 1 AND ml_spam_score = 0 | ml_spam_score=0 |
| Canonical | PASS | meta_canonical IS NULL OR = '' OR = src_unparsed | Not set |
| Property | Value |
|---|---|
| URL | https://www.163.com/dy/article/K51569SI051180F7.html |
| Last Crawled | 2025-09-25 04:34:09 (6 months ago) |
| First Indexed | not set |
| HTTP Status Code | 200 |
| Meta Title | 摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求|fp|值域|王华(明朝)_网易订阅 |
| Meta Description | 摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求,fp,值域,算力,程王华,摩尔线程,王华(明朝) |
| Meta Canonical | null |
| Boilerpipe Text | 智东西(公众号:zhidxcom) 作者 | 中国AI算力大会 6月26日,2025中国AI算力大会在北京热烈召开。从国产AI算力的突围与崛起,到智算中心深层软硬件技术创新解决算力落地产业难题,近30位重量级嘉宾与会带来致辞、报告、演讲和对话,全方位解构DeepSeek引爆的AI算力变局。 摩尔线程副总裁王华在主会场以《基于FP8的国产集群训练》为题进行了主题演讲。在演讲中他提到2020至2025年间,大模型训练的算力需求激增近1000倍 ,而驱动力来自参数规模与数据量双向增长。 王华认为,大集群和FP8成为大模型现阶段的最强需求。对此,他围绕大模型算力需求、混合精度训练、FP8训练技术演进等方面进行了深入浅出地剖析阐释。 此外,王华还分享道,摩尔线程提供包括FP8在内的全精度算力,构建了支持多种不同数据类型的混合精度训练方案,还可以提供万卡集群开箱即用的产品,可以满足大模型的算力需求,并大幅提升其训练效果。 以下为王华的演讲实录精华: 一、5年,大模型训练算力需求增长千倍 首先来看一下大型训练需求的趋势。2020年,算力需求训练需求最高是在1023flops。到25年,训练算力需求最高的是xAI的Grok3,算力需求差不多到了1026flops。从1023到1026,算力需求增长了1000倍。 增长主要来自两个方面:一是模型参数。大模型的模型参数规模是在不断增加的,最近的模型动辙都是数千亿甚至到万亿的参数规模;第二是训练数据量。早期训练数据量可能到几百B,稍微多一点到1T,但现在基本都是十几T。 所以,算力需求和模型参数数量与训练数据量的乘积成正比,而这两个维度的增长,带来模型训练算力需求的大幅增长。 再举一个例子,比如,Llama 3 70B大概是在1024flops左右,然后更大一点Llama 3 405B在1025flops左右,GPT 4也在1025左右,早期的Llama 2大概在1023flops左右。虽然Llama 2与Llama 3的模型参数和模型结构比较类似,但是因为Llama 2的训练数据量低一个数量级,所以它要求的算力也会低一个数量级。 不只是算力,这些大规模训练所需要的集群也越来越大。为了校正所需要的算力,用H100的千卡、五千卡到万卡量级的集群来作类比。表格中的数据是按照MFU算的,当然不同模型的参数大小对MFU有影响,另外集群规模增大之后由于加速比效应,MFU会下降,所以这里只是大致的估算。 这个量级中,DeepSeek V3的算力需求大概在3.4×1024flops。在千卡集群上,1024的训练时间大概是97天,五千卡集群需要22天,到万卡级别就只需要13天了。再举一个例子,Qwen 3 235B,虽然模型参数小一些,但因为数据集更大,它的实际算力会更高,所以Qwen 3 235B计算量约为4.75×1024flops。再看一下训练时间,这个计算量在千卡集群上需要136天,五千卡上是37天,到万卡就只需要18天。这是两个比较典型的国内MOE模型的例子。 再比如说Llama 3 370B,这是比较典型的Dense模型(稠密模型),训练数量也差不多在1024flops左右,训练时间也与Qwen 3差不多。 更大的模型,比如GPT 4,训练数量有1025flops,这几乎是千卡不可能完成的任务,到这个量级基本需要万卡级别的集群来支撑。尤其是现在大模型的训练参数基本都在向着万亿发展,数量级十分巨大,所以后续训练需要的算力也会非常大。 二、混合精度训练缓解算力需求激增难题 为了解决算力需求,摩尔线程采用混合精度训练的方法。在整个模型训练过程中,识别出对精度要求不高的操作,将其替换为低精度计算。 更低精度带来的优势,首先体现在算力层面:精度降低一半,算力翻倍,同时显存占用、显存带宽及传输带宽消耗均减半。本质上,采用更低精度的数据类型进行训练,相当于实现了算力的翻倍。但需注意,低精度替换只能部分进行,无法完全替代,精度敏感的环节仍需保留高精度计算。因此,降低精度可在一定程度上提升算力或降低模型训练的算力需求。 在精度策略的设计上,可从两个维度考量:第一个维度是模型权重。以相同算力条件为例,对比多参数低精度模型与少参数高精度模型,如100B参数规模的FP16模型和200B参数规模的FP8模型,从数学表达能力来看,其可表达的理论空间是等价的。 但当前行业趋势更倾向于优先扩展模型参数规模。这是因为模型训练中实际使用的精度范围仅占理论值域的一部分,造成“精度空间浪费”,而增大参数规模能有效提升模型效果。 从行业技术演进来看,精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段,而DeepSeek已将其成功应用于模型训练,预计未来会有更多模型采用FP8精度。 三、FP8训练挑战解析:数值范围局限与精度损失引发的梯度问题 FP8训练面临什么挑战?首先我们看一下不同浮点数的值域。因为指数位不同,取值范围其实差别很大。比如BF16,忽略正负号,可以看到值域靠低端的部分可以到2-126,然后高端的可以到2127。FP16的值域会小很多,但有十位尾数,值域靠低端部分接近2-14,然后高端部分是六万多。 FP8有E4M3和E5M2两种,可以看到,E4M3的取值范围其实非常窄,只有2-6到448,E5M2跟FP16类似,但其实跟现在广泛用的BF16比,取值范围还是小很多。这里面有两个因素,一个是取值范围,一个是精度。 取值范围就是刚刚讲到的从小数到大数的范围,因为FP8的数值范围小,很可能在计算过程中遇到数值上溢和下溢的问题,如此就会带来一个典型问题:梯度爆炸和梯度消失。 精度就是尾数部分能够表达的数量。精度低会带来舍入误差的问题。例如在做数值转换的时候,可能BF16能表示的数在FP8里就会丢失掉一些小数。另外就是一个大数加一个很小的数,由于小数部分太小了,两者就相当于没加,这样就会造成信息丢失,对模型训练过程会带来梯度无法更新的问题。 四、FP8训练技术不断演进,4大创新攻克低精度核心难题 这两年FP8训练技术取得多项进展,已经应用在一些模型的训练中。 模型训练中不同操作对精度的需求是不一样的: 1、矩阵乘操作:作为两数相乘的基础运算,FP8的数值范围易于控制,可通过值域限定避免溢出,对精度要求较低; 2、累加与规约操作:矩阵乘中隐含的累加过程(尤其大矩阵运算时多数相加)存在值域溢出风险,对精度要求处于中等水平; 3、非线性函数运算:如指数函数等场景,数值易快速超出值域,对精度要求最高。 基于此,训练中可对不同操作采用差异化精度策略,通过中间过程的量化与反量化实现精度适配。 Tensor Core技术提供了混合精度运算的硬件支持。自2017年引入以来,该技术持续进化,现可支持以FP8格式矩阵为输入,通过硬件级混合精度运算输出高精度矩阵结果。 此外,训练框架也在支持混合精度训练。例如在BF16与FP32的混合训练中,多数操作采用BF16执行,但权重更新时会切换至FP32,通过维护FP32权重副本确保训练稳定性。 还有就是Tensor Scaling(张量缩放)技术。在进行高精度向低精度转换时,由于值域范围不同,会出现信息丢失问题。因此在数据类型转换前,需先将高精度值域乘以Scaling Factor(缩放因子)参数,使其缩放到低精度值域范围内,以此确保转换过程中尽可能减少数据丢失。 Scaling Factor的选择可以有不同的策略。在时间维度上来看可以是在量化前直接计算,也可以采用基于历史数据的Delayed Scaling Factor(延迟缩放因子)。 从颗粒度来看,既可以对整个 Tensor 应用统一的Scaling Factor,也能进行更精细的选择,比如Per-Channel(逐通道)缩放,甚至还能进一步细化到Per-Channel的子区域。DeepSeek在其论文中提及,他们采用的是Per-Block(逐块)的缩放策略。 简单说一下DeepSeek的论文。DeepSeek-V3就使用了FP8混合精度训练,其中主要采用了以下策略: 1、前向和后向传播的3次GEMM使用FP8; 2、激活值的缓存和传输使用FP8; 3、Embedding、激活函数等模块使用高精度浮点数; 4、主权重、权重梯度、优化器状态使用高精度浮点数。 五、摩尔线程全栈支持FP8训练,性能提升20%~30%,对标主流水平 那我们说回到摩尔线程在采用FP8训练上面的一些工作。 首先,摩尔线程的全功能GPU计算卡在精度上的支持非常全面,摩尔线程是国内少数可以支持FP8精度的GPU供应商。不同计算精度可以用在图形、计算等不同场景,摩尔线程计算卡的优势就是支持全精度计算。 第二点就是在集群方面的工作。摩尔线程可以说是在集群这一方面投入很大的国产GPU公司。我们的夸娥(KUAE)智算集群系列产品可以让客户实现开箱即用,已经做到千卡规模,可支持万卡,未来还会向着更大规模集群前进。 在这一整个过程中,我们积累了很多实践。摩尔线程搭建了完整的软硬件栈,从硬件设计到集群管理、调度等全部包含。在大规模集群的运维方面也积累了丰富的经验。在大规模训练时,经常会出现计算错误、卡异常等情况,如何快速定位出现故障的部分将其替换是很重要的。我们采用了分布式的故障监测方法,实现分钟级的故障定位和恢复。 另外还有支持FP8训练的摩尔线程软件栈。我们开源了3个组件:提供MUSA后端加速支持的Torch-MUSA、混合并行训练框架MT-MegatronLM以及主要用于Transformer的高效训练和推理优化的MT-TransformerEngine。基于摩尔线程软件栈,我们成功复现了DeepSeek-V3满血版训练。 在此之上我们做了一系列的实验,基于我们自己的夸娥(KUAE)集群,在性能方面,在Llama3 8B、Qwen、DeepSeek-V2 16B以及V3 30B上,目前采用FP8混合训练可以带来20%~30%的性能提升,且引入FP8前后loss曲线基本一致,在采用FP8训练方面,摩尔线程的GPU计算卡与国际主流的卡做精度对比也基本吻合。 此外,摩尔线程在Scaling Factor的选择上也做了许多探索,例如:amax的统计信息表明Per-Tensor的Scaling Factor适合采用Delayed Scaling策略,而Per-Block则适合采用JIT Scaling策略。我们还用摩尔线程GPU计算卡做了Smooth SwiGLU论文的复现,我们发现,通过Smooth SwiGLU可以有效降低outlier的影响。 今天我给大家汇报的内容就是这些,谢谢。 |
| Markdown | [网易首页](https://www.163.com/ "网易首页")
[应用](https://www.163.com/#f=topnav)
- [*网易新闻*](https://m.163.com/newsapp/#f=topnav)
- [*网易公开课*](https://open.163.com/#f=topnav)
- [*网易红彩*](https://hongcai.163.com/?from=pcsy-button)
- [*网易严选*](https://u.163.com/aosoutbdbd8)
- [*邮箱大师*](https://mail.163.com/client/dl.html?from=mail46)
- [*网易云课堂*](https://study.163.com/client/download.htm?from=163app&utm_source=163.com&utm_medium=web_app&utm_campaign=business)
[*快速导航*]()
- ### [新闻](https://news.163.com/)
- [国内](https://news.163.com/domestic)
- [国际](https://news.163.com/world)
- [王三三](https://news.163.com/special/wangsansanhome/)
- ### [体育](https://sports.163.com/)
- [NBA](https://sports.163.com/nba)
- [CBA](https://sports.163.com/cba)
- [综合](https://sports.163.com/allsports)
- [中超](https://sports.163.com/zc)
- [国际足球](https://sports.163.com/world)
- [英超](https://sports.163.com/yc)
- [西甲](https://sports.163.com/xj)
- [意甲](https://sports.163.com/yj)
- ### [娱乐](https://ent.163.com/)
- [明星](https://ent.163.com/star)
- [电影](https://ent.163.com/movie)
- [电视](https://ent.163.com/tv)
- [音乐](https://ent.163.com/music)
- [封面故事](https://ent.163.com/special/fmgs/)
- ### [财经](https://money.163.com/)
- [股票](https://money.163.com/stock)
- [原创](https://money.163.com/special/caijingyuanchuang/)
- [智库](https://money.163.com/special/wycjzk-pc/)
- ### [汽车](https://auto.163.com/)
- [购车](https://auto.163.com/buy)
- [车型库](http://product.auto.163.com/)
- ### [科技](https://tech.163.com/)
- [网易智能](https://tech.163.com/smart/)
- [原创](https://tech.163.com/special/S1554800475317/)
- [IT](https://tech.163.com/it)
- [互联网](https://tech.163.com/internet)
- [通信](https://tech.163.com/telecom/)
- ### [时尚](https://fashion.163.com/)
- [艺术](https://fashion.163.com/art)
- [旅游](https://travel.163.com/)
- ### [手机](https://mobile.163.com/) / [数码](https://digi.163.com/)
- [惊奇科技](https://mobile.163.com/special/jqkj_list/)
- [易评机](https://mobile.163.com/special/cpshi_list/)
- [家电](https://hea.163.com/)
- ### [房产](https://house.163.com/) / [家居](https://home.163.com/)
- [北京房产](https://bj.house.163.com/)
- [上海房产](https://sh.house.163.com/)
- [广州房产](https://gz.house.163.com/)
- [楼盘库](https://xf.house.163.com/)
- [设计师库](https://designer.home.163.com/search)
- [案例库](https://photo.home.163.com/)
- ### [教育](https://edu.163.com/)
- [留学](https://edu.163.com/liuxue)
- [高考](https://edu.163.com/gaokao)
[查看网易地图](https://sitemap.163.com/)
[登录](https://reg.163.com/)
[注册免费邮箱](https://mail.163.com/register/index.htm?from=163navi®Page=163)
- [注册VIP邮箱(特权邮箱,付费)](https://reg1.vip.163.com/newReg1/reg?from=new_topnav&utm_source=new_topnav)
- [免费下载网易官方手机邮箱应用](https://mail.163.com/client/dl.html?from=mail46)
[安全退出]()
- [*移动端*](https://www.163.com/newsapp/#f=163nav)
[](https://www.163.com/newsapp/#f=163nav)
- [*网易公开课*](https://open.163.com/#ftopnav0)
- [TED](https://open.163.com/ted/#ftopnav1)
- [中国大学视频公开课](https://open.163.com/cuvocw/#ftopnav2)
- [国际名校公开课](https://open.163.com/ocw/#ftopnav3)
- [赏课·纪录片](https://open.163.com/appreciation/#ftopnav4)
- [付费精品课程](https://vip.open.163.com/#ftopnav5)
- [北京大学公开课](https://open.163.com/special/School/beida.html#ftopnav6)
- [英语课程学习](https://open.163.com/newview/movie/courseintro?newurl=ME7HSJR07#ftopnav7)
- [*网易严选*](https://you.163.com/?from=web_fc_menhu_xinrukou_1)
- [新人特价](https://act.you.163.com/act/pub/ABuyLQKNmKmK.html?from=out_ynzy_xinrukou_2)
- [9\.9专区](https://you.163.com/topic/v1/pub/Pew1KBH9Au.html?from=out_ynzy_xinrukou_3)
- [新品热卖](https://you.163.com/item/newItemRank?from=out_ynzy_xinrukou_4)
- [人气好物](https://you.163.com/item/recommend?from=out_ynzy_xinrukou_5)
- [居家生活](https://you.163.com/item/list?categoryId=1005000&from=out_ynzy_xinrukou_7)
- [服饰鞋包](https://you.163.com/item/list?categoryId=1010000&from=out_ynzy_xinrukou_8)
- [母婴亲子](https://you.163.com/item/list?categoryId=1011000&from=out_ynzy_xinrukou_9)
- [美食酒水](https://you.163.com/item/list?categoryId=1005002&from=out_ynzy_xinrukou_10)
- [*支付*](https://ecard.163.com/)
- [一卡通充值](https://ecard.163.com/#f=topnav)
- [一卡通购买](https://ecard.163.com/script/index#f=topnav)
- [我的网易支付](https://epay.163.com/)
- [网易跨境支付](https://globalpay.163.com/home)
- [*邮箱*]()
- [免费邮箱](https://email.163.com/#f=topnav)
- [VIP邮箱](https://vipmail.163.com/#f=topnav)
- [企业邮箱](https://qiye.163.com/?from=NetEase163top)
- [免费注册](https://mail.163.com/register/index.htm?from=ntes_nav®Page=163)
- [客户端下载](https://mail.163.com/dashi/dlpro.html?from=mail46)
[网易首页](https://www.163.com/) \> [网易号](https://dy.163.com/) \> 正文 [申请入驻](https://dy.163.com/wemedia/index.html)
# 摩尔线程王华:算力需求千倍增长,大集群和FP8成为强需求
2025-07-21 20:54:41 来源: [智东西](https://www.163.com/dy/media/T1409815021259.html) 北京 [举报](https://www.163.com/special/0077jt/tipoff.html?title=%E6%91%A9%E5%B0%94%E7%BA%BF%E7%A8%8B%E7%8E%8B%E5%8D%8E%EF%BC%9A%E7%AE%97%E5%8A%9B%E9%9C%80%E6%B1%82%E5%8D%83%E5%80%8D%E5%A2%9E%E9%95%BF%EF%BC%8C%E5%A4%A7%E9%9B%86%E7%BE%A4%E5%92%8CFP8%E6%88%90%E4%B8%BA%E5%BC%BA%E9%9C%80%E6%B1%82)
[0](https://www.163.com/dy/article/K51569SI051180F7.html "点击查看跟贴")
分享至
用微信扫码二维码
分享至好友和朋友圈

**智东西(公众号:zhidxcom)**
**作者 \| 中国AI算力大会**
6月26日,2025中国AI算力大会在北京热烈召开。从国产AI算力的突围与崛起,到智算中心深层软硬件技术创新解决算力落地产业难题,近30位重量级嘉宾与会带来致辞、报告、演讲和对话,全方位解构DeepSeek引爆的AI算力变局。
摩尔线程副总裁王华在主会场以《基于FP8的国产集群训练》为题进行了主题演讲。在演讲中他提到2020至2025年间,大模型训练的算力需求激增近1000倍 ,而驱动力来自参数规模与数据量双向增长。
王华认为,大集群和FP8成为大模型现阶段的最强需求。对此,他围绕大模型算力需求、混合精度训练、FP8训练技术演进等方面进行了深入浅出地剖析阐释。
此外,王华还分享道,摩尔线程提供包括FP8在内的全精度算力,构建了支持多种不同数据类型的混合精度训练方案,还可以提供万卡集群开箱即用的产品,可以满足大模型的算力需求,并大幅提升其训练效果。
**以下为王华的演讲实录精华:**
一、5年,大模型训练算力需求增长千倍
首先来看一下大型训练需求的趋势。2020年,算力需求训练需求最高是在1023flops。到25年,训练算力需求最高的是xAI的Grok3,算力需求差不多到了1026flops。从1023到1026,算力需求增长了1000倍。

增长主要来自两个方面:一是模型参数。大模型的模型参数规模是在不断增加的,最近的模型动辙都是数千亿甚至到万亿的参数规模;第二是训练数据量。早期训练数据量可能到几百B,稍微多一点到1T,但现在基本都是十几T。
所以,算力需求和模型参数数量与训练数据量的乘积成正比,而这两个维度的增长,带来模型训练算力需求的大幅增长。
再举一个例子,比如,Llama 3 70B大概是在1024flops左右,然后更大一点Llama 3 405B在1025flops左右,GPT 4也在1025左右,早期的Llama 2大概在1023flops左右。虽然Llama 2与Llama 3的模型参数和模型结构比较类似,但是因为Llama 2的训练数据量低一个数量级,所以它要求的算力也会低一个数量级。

不只是算力,这些大规模训练所需要的集群也越来越大。为了校正所需要的算力,用H100的千卡、五千卡到万卡量级的集群来作类比。表格中的数据是按照MFU算的,当然不同模型的参数大小对MFU有影响,另外集群规模增大之后由于加速比效应,MFU会下降,所以这里只是大致的估算。
这个量级中,DeepSeek V3的算力需求大概在3.4×1024flops。在千卡集群上,1024的训练时间大概是97天,五千卡集群需要22天,到万卡级别就只需要13天了。再举一个例子,Qwen 3 235B,虽然模型参数小一些,但因为数据集更大,它的实际算力会更高,所以Qwen 3 235B计算量约为4.75×1024flops。再看一下训练时间,这个计算量在千卡集群上需要136天,五千卡上是37天,到万卡就只需要18天。这是两个比较典型的国内MOE模型的例子。
再比如说Llama 3 370B,这是比较典型的Dense模型(稠密模型),训练数量也差不多在1024flops左右,训练时间也与Qwen 3差不多。
更大的模型,比如GPT 4,训练数量有1025flops,这几乎是千卡不可能完成的任务,到这个量级基本需要万卡级别的集群来支撑。尤其是现在大模型的训练参数基本都在向着万亿发展,数量级十分巨大,所以后续训练需要的算力也会非常大。
二、混合精度训练缓解算力需求激增难题
为了解决算力需求,摩尔线程采用混合精度训练的方法。在整个模型训练过程中,识别出对精度要求不高的操作,将其替换为低精度计算。
更低精度带来的优势,首先体现在算力层面:精度降低一半,算力翻倍,同时显存占用、显存带宽及传输带宽消耗均减半。本质上,采用更低精度的数据类型进行训练,相当于实现了算力的翻倍。但需注意,低精度替换只能部分进行,无法完全替代,精度敏感的环节仍需保留高精度计算。因此,降低精度可在一定程度上提升算力或降低模型训练的算力需求。

在精度策略的设计上,可从两个维度考量:第一个维度是模型权重。以相同算力条件为例,对比多参数低精度模型与少参数高精度模型,如100B参数规模的FP16模型和200B参数规模的FP8模型,从数学表达能力来看,其可表达的理论空间是等价的。
但当前行业趋势更倾向于优先扩展模型参数规模。这是因为模型训练中实际使用的精度范围仅占理论值域的一部分,造成“精度空间浪费”,而增大参数规模能有效提升模型效果。
从行业技术演进来看,精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段,而DeepSeek已将其成功应用于模型训练,预计未来会有更多模型采用FP8精度。
三、FP8训练挑战解析:数值范围局限与精度损失引发的梯度问题
FP8训练面临什么挑战?首先我们看一下不同浮点数的值域。因为指数位不同,取值范围其实差别很大。比如BF16,忽略正负号,可以看到值域靠低端的部分可以到2-126,然后高端的可以到2127。FP16的值域会小很多,但有十位尾数,值域靠低端部分接近2-14,然后高端部分是六万多。
FP8有E4M3和E5M2两种,可以看到,E4M3的取值范围其实非常窄,只有2-6到448,E5M2跟FP16类似,但其实跟现在广泛用的BF16比,取值范围还是小很多。这里面有两个因素,一个是取值范围,一个是精度。
取值范围就是刚刚讲到的从小数到大数的范围,因为FP8的数值范围小,很可能在计算过程中遇到数值上溢和下溢的问题,如此就会带来一个典型问题:梯度爆炸和梯度消失。
精度就是尾数部分能够表达的数量。精度低会带来舍入误差的问题。例如在做数值转换的时候,可能BF16能表示的数在FP8里就会丢失掉一些小数。另外就是一个大数加一个很小的数,由于小数部分太小了,两者就相当于没加,这样就会造成信息丢失,对模型训练过程会带来梯度无法更新的问题。
四、FP8训练技术不断演进,4大创新攻克低精度核心难题
这两年FP8训练技术取得多项进展,已经应用在一些模型的训练中。
模型训练中不同操作对精度的需求是不一样的:
1、矩阵乘操作:作为两数相乘的基础运算,FP8的数值范围易于控制,可通过值域限定避免溢出,对精度要求较低;
2、累加与规约操作:矩阵乘中隐含的累加过程(尤其大矩阵运算时多数相加)存在值域溢出风险,对精度要求处于中等水平;
3、非线性函数运算:如指数函数等场景,数值易快速超出值域,对精度要求最高。
基于此,训练中可对不同操作采用差异化精度策略,通过中间过程的量化与反量化实现精度适配。
Tensor Core技术提供了混合精度运算的硬件支持。自2017年引入以来,该技术持续进化,现可支持以FP8格式矩阵为输入,通过硬件级混合精度运算输出高精度矩阵结果。
此外,训练框架也在支持混合精度训练。例如在BF16与FP32的混合训练中,多数操作采用BF16执行,但权重更新时会切换至FP32,通过维护FP32权重副本确保训练稳定性。
还有就是Tensor Scaling(张量缩放)技术。在进行高精度向低精度转换时,由于值域范围不同,会出现信息丢失问题。因此在数据类型转换前,需先将高精度值域乘以Scaling Factor(缩放因子)参数,使其缩放到低精度值域范围内,以此确保转换过程中尽可能减少数据丢失。
Scaling Factor的选择可以有不同的策略。在时间维度上来看可以是在量化前直接计算,也可以采用基于历史数据的Delayed Scaling Factor(延迟缩放因子)。
从颗粒度来看,既可以对整个 Tensor 应用统一的Scaling Factor,也能进行更精细的选择,比如Per-Channel(逐通道)缩放,甚至还能进一步细化到Per-Channel的子区域。DeepSeek在其论文中提及,他们采用的是Per-Block(逐块)的缩放策略。
简单说一下DeepSeek的论文。DeepSeek-V3就使用了FP8混合精度训练,其中主要采用了以下策略:
1、前向和后向传播的3次GEMM使用FP8;
2、激活值的缓存和传输使用FP8;
3、Embedding、激活函数等模块使用高精度浮点数;
4、主权重、权重梯度、优化器状态使用高精度浮点数。
五、摩尔线程全栈支持FP8训练,性能提升20%~30%,对标主流水平
那我们说回到摩尔线程在采用FP8训练上面的一些工作。
首先,摩尔线程的全功能GPU计算卡在精度上的支持非常全面,摩尔线程是国内少数可以支持FP8精度的GPU供应商。不同计算精度可以用在图形、计算等不同场景,摩尔线程计算卡的优势就是支持全精度计算。
第二点就是在集群方面的工作。摩尔线程可以说是在集群这一方面投入很大的国产GPU公司。我们的夸娥(KUAE)智算集群系列产品可以让客户实现开箱即用,已经做到千卡规模,可支持万卡,未来还会向着更大规模集群前进。
在这一整个过程中,我们积累了很多实践。摩尔线程搭建了完整的软硬件栈,从硬件设计到集群管理、调度等全部包含。在大规模集群的运维方面也积累了丰富的经验。在大规模训练时,经常会出现计算错误、卡异常等情况,如何快速定位出现故障的部分将其替换是很重要的。我们采用了分布式的故障监测方法,实现分钟级的故障定位和恢复。
另外还有支持FP8训练的摩尔线程软件栈。我们开源了3个组件:提供MUSA后端加速支持的Torch-MUSA、混合并行训练框架MT-MegatronLM以及主要用于Transformer的高效训练和推理优化的MT-TransformerEngine。基于摩尔线程软件栈,我们成功复现了DeepSeek-V3满血版训练。
在此之上我们做了一系列的实验,基于我们自己的夸娥(KUAE)集群,在性能方面,在Llama3 8B、Qwen、DeepSeek-V2 16B以及V3 30B上,目前采用FP8混合训练可以带来20%~30%的性能提升,且引入FP8前后loss曲线基本一致,在采用FP8训练方面,摩尔线程的GPU计算卡与国际主流的卡做精度对比也基本吻合。
此外,摩尔线程在Scaling Factor的选择上也做了许多探索,例如:amax的统计信息表明Per-Tensor的Scaling Factor适合采用Delayed Scaling策略,而Per-Block则适合采用JIT Scaling策略。我们还用摩尔线程GPU计算卡做了Smooth SwiGLU论文的复现,我们发现,通过Smooth SwiGLU可以有效降低outlier的影响。
今天我给大家汇报的内容就是这些,谢谢。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
*/*阅读下一篇*/*
###
[返回网易首页](https://www.163.com/?f=post2020_dy) [下载网易新闻客户端](https://www.163.com/newsapp/#f=post2020_dy)
相关推荐
热点推荐
- [](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends)
### [重庆泰克公司在仁怀投资建厂遭强行接管?官方:成立专班展开调查](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends)
界面新闻 2025-09-24 14:32:47
[34586 *跟贴* 34586](https://www.163.com/dy/article/KA7R5OIP0534A4SC.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends)
### [【解局】中方这项重要宣示,有三点值得关注](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends)
环球网资讯 2025-09-24 20:49:37
[1276 *跟贴* 1276](https://www.163.com/dy/article/KA8GNOQJ0514R9OJ.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends)
### [安徽芜湖市副市长朱的娥已任市委常委、宣传部部长](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends)
澎湃新闻 2025-09-25 10:58:27
[4 *跟贴* 4](https://www.163.com/dy/article/KAA1A0MB0514R9P4.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends)
### [张春艳,为追求个人政绩、争取职务升迁,擅自对集体研究内容作重大调整](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends)
新京报政事儿 2025-09-25 00:44:45
[131 *跟贴* 131](https://www.163.com/dy/article/KA8U6AHA0530M570.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends)
### [月薪高达92万,怕不相信,写的15万!河南一企业低调招人](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends)
大象新闻 2025-09-24 16:13:07
[1624 *跟贴* 1624](https://www.163.com/dy/article/KA80TG5J0550B6IS.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends)
### [美空军:开始生产首架F-47战机](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends)
参考消息 2025-09-24 19:08:04
[387 *跟贴* 387](https://www.163.com/dy/article/KA8ATQDA0514BQ68.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends)
### [台风“桦加沙”已在广东省阳江市海陵岛沿海登陆](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends)
新京报 2025-09-24 17:17:31
[2184 *跟贴* 2184](https://www.163.com/dy/article/KA84JCT60512D3VJ.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends)
### [四川通报:田蓉多次携家人到云南、海南旅游,无偿接受老板服务](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends)
极目新闻 2025-09-25 00:59:35
[161 *跟贴* 161](https://www.163.com/dy/article/KA8V1FQ2053469LG.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends)
### [被嘲笑“是三流大学毕业”,泡泡玛特创始人王宁:母校西亚斯是一流大学](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends)
潇湘晨报 2025-09-24 17:12:11
[0 *跟贴* 0](https://www.163.com/dy/article/KA849KAS0534P59R.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends)
### [家长投诉学校不执行高中双休,多方回应](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends)
封面新闻 2025-09-24 17:49:06
[457 *跟贴* 457](https://www.163.com/dy/article/KA86D7TD0514D3UH.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends)
### [伊朗曝以色列核基地 独家情报](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends)
每日经济新闻 2025-09-25 06:54:28
[107 *跟贴* 107](https://www.163.com/dy/article/KA9JB9FC0512B07B.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends)
### [屡次推迟的登月计划可能提前,NASA哪来的自信?](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends)
澎湃新闻 2025-09-25 02:40:05
[80 *跟贴* 80](https://www.163.com/dy/article/KA94PFM10514R9P4.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends)
### [动物园回应黑熊被质疑是人扮的:是真熊,从小被饲养员养大,有仿人行为](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends)
观威海 2025-09-24 15:49:02
[1117 *跟贴* 1117](https://www.163.com/dy/article/KA7VHCD20552RUAA.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends)
### [雷军:五十岁正是闯的年纪](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends)
极目新闻 2025-09-25 09:25:15
[6 *跟贴* 6](https://www.163.com/dy/article/KA9RVCQD053469LG.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends)
### [太阳老板:没人能质疑杜兰特的伟大 但他不适合太阳的未来规划](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends)
北青网-北京青年报 2025-09-25 08:34:08
[17 *跟贴* 17](https://www.163.com/dy/article/KA9P1OVK0514R9KQ.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends)
### [这里的人吃了五十年预制菜](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends)
中国新闻周刊 2025-09-25 07:26:04
[0 *跟贴* 0](https://www.163.com/dy/article/KA9L558Q0514BE2Q.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends)
### [百万元房车不上锁异地停放十余天,陌生人开走带全家旅游,车主:房车空着是浪费](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends)
极目新闻 2025-09-25 07:53:46
[0 *跟贴* 0](https://www.163.com/dy/article/KA9MNS1T053469LG.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends)
### [刚刚!知名车企正式上市](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends)
鲁中晨报 2025-09-25 11:30:05
[0 *跟贴* 0](https://www.163.com/dy/article/KAA33UP80530JPVV.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends)
### [博主吐槽“医院乱收费没医德”引纠纷,法院判决厘清是非](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends)
极目新闻 2025-09-25 12:15:52
[0 *跟贴* 0](https://www.163.com/dy/article/KAA5NPMS053469LG.html?f=post2020_dy_recommends)
[](https://www.163.com/dy/article/KA9G8UIV0529BA9O.html?f=post1603_tab_news "巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求")
### [巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求](https://www.163.com/dy/article/KA9G8UIV0529BA9O.html?f=post1603_tab_news "巴特勒组织迷你训练营:库明加成勇士唯一缺席者 经纪人强调诉求")
罗说NBA
2025-09-25 06:02:07
[](https://www.163.com/dy/article/KA8FR27D05568PJ4.html?f=post1603_tab_news "张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了")
### [张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了](https://www.163.com/dy/article/KA8FR27D05568PJ4.html?f=post1603_tab_news "张雪峰账号全网被禁!本人9字回应惹争议,细节曝光,评论亮了")
史行途
2025-09-24 20:33:58
[](https://www.163.com/dy/article/KA4OJFQ80550GSZT.html?f=post1603_tab_news "11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年")
### [11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年](https://www.163.com/dy/article/KA4OJFQ80550GSZT.html?f=post1603_tab_news "11岁男孩被确诊肺癌系今年确诊最年轻肺癌患者 谨慎起见医生连续观察两年")
武汉交通广播
2025-09-23 10:37:05
[](https://www.163.com/dy/article/KA79N23H05567NUF.html?f=post1603_tab_news "网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%")
### [网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%](https://www.163.com/dy/article/KA79N23H05567NUF.html?f=post1603_tab_news "网传“中国男女消费与生活状态报告”,各行各业投诉中女性占81.27%")
三言四拍
2025-09-24 09:27:40
[](https://www.163.com/dy/article/KA660MMN05378IX6.html?f=post1603_tab_news "吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗")
### [吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗](https://www.163.com/dy/article/KA660MMN05378IX6.html?f=post1603_tab_news "吉林一女子惨死家中,下身衣物非常凌乱,警方调查后惊出冷汗")
热风追逐者
2025-09-23 23:04:24
[](https://www.163.com/dy/article/K8FNLF2P05568186.html?f=post1603_tab_news "央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉")
### [央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉](https://www.163.com/dy/article/K8FNLF2P05568186.html?f=post1603_tab_news "央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉")
大鱼简科
2025-09-02 19:34:00
[](https://www.163.com/dy/article/KA8T0FL30512B07B.html?f=post1603_tab_news "绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门")
### [绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门](https://www.163.com/dy/article/KA8T0FL30512B07B.html?f=post1603_tab_news "绍兴地铁“列车撞上保洁员致多人死伤”?浙江已提级调查!地铁客服:会在非运营时间派保洁员清理站台屏蔽门")
每日经济新闻
2025-09-25 00:24:05
[](https://www.163.com/dy/article/KA7F907U0553TKJG.html?f=post1603_tab_news "暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪")
### [暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪](https://www.163.com/dy/article/KA7F907U0553TKJG.html?f=post1603_tab_news "暴雨中发型纹丝不动!谢霆锋演唱会逆天表现,让薛之谦无辜中枪")
东方不败然多多
2025-09-24 11:04:50
[](https://www.163.com/dy/article/KA9C3QLC0553RS1E.html?f=post1603_tab_news "从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”")
### [从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”](https://www.163.com/dy/article/KA9C3QLC0553RS1E.html?f=post1603_tab_news "从钛合金到铝合金!iPhone 17 Pro开倒车,果粉:7千块买个“娇气包”")
时尚的弄潮
2025-09-25 04:48:04
[](https://www.163.com/dy/article/K9O1TGQT05527EWA.html?f=post1603_tab_news "KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?")
### [KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?](https://www.163.com/dy/article/K9O1TGQT05527EWA.html?f=post1603_tab_news "KTV打烊发现“醉酒客”,法斗四仰八叉睡包厢,网友:猪朋狗友?")
Magic宠物社
2025-09-23 18:40:07
[](https://www.163.com/dy/article/K9RSC97F0522DU3L.html?f=post1603_tab_news "中国富人,为什么以吃劣质蛋白质为荣?")
### [中国富人,为什么以吃劣质蛋白质为荣?](https://www.163.com/dy/article/K9RSC97F0522DU3L.html?f=post1603_tab_news "中国富人,为什么以吃劣质蛋白质为荣?")
食味艺文志
2025-09-19 23:03:14
[](https://www.163.com/dy/article/KA9V1S9N0529AQIE.html?f=post1603_tab_news "迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝")
### [迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝](https://www.163.com/dy/article/KA9V1S9N0529AQIE.html?f=post1603_tab_news "迈阿密“名宿”!21岁的阿伦迎来迈阿密百场里程碑,全队合影庆祝")
直播吧
2025-09-25 10:19:03
[](https://www.163.com/dy/article/JRH9UKUJ0523T1D6.html?f=post1603_tab_news "真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑")
### [真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑](https://www.163.com/dy/article/JRH9UKUJ0523T1D6.html?f=post1603_tab_news "真实林彪:孤僻难配副手,毛泽东煞费苦心,幽默起来逗周恩来大笑")
温读
2025-03-25 20:58:54
[](https://www.163.com/dy/article/K9T0V5K805568WUI.html?f=post1603_tab_news "和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了")
### [和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了](https://www.163.com/dy/article/K9T0V5K805568WUI.html?f=post1603_tab_news "和丈夫离婚12年,我来到他老家出差,去看望他父母后顿时愣了")
五元讲堂
2025-09-20 09:46:21
[](https://www.163.com/dy/article/K6ES7CSU05318Y5M.html?f=post1603_tab_news "叫你文化自信,没叫你刨别人祖坟")
### [叫你文化自信,没叫你刨别人祖坟](https://www.163.com/dy/article/K6ES7CSU05318Y5M.html?f=post1603_tab_news "叫你文化自信,没叫你刨别人祖坟")
报人刘亚东
2025-08-08 15:03:03
[](https://www.163.com/dy/article/KA8L5I1G05566FH1.html?f=post1603_tab_news "易中天:即将退休或者已经退休的人,学着做到这几点")
### [易中天:即将退休或者已经退休的人,学着做到这几点](https://www.163.com/dy/article/KA8L5I1G05566FH1.html?f=post1603_tab_news "易中天:即将退休或者已经退休的人,学着做到这几点")
尚曦读史
2025-09-24 22:07:03
[](https://www.163.com/dy/article/KA72CO1V0553GDP9.html?f=post1603_tab_news "当今这个世代,多少法西斯戴着反法西斯的面具?")
### [当今这个世代,多少法西斯戴着反法西斯的面具?](https://www.163.com/dy/article/KA72CO1V0553GDP9.html?f=post1603_tab_news "当今这个世代,多少法西斯戴着反法西斯的面具?")
通往远方的路
2025-09-24 07:20:44
[](https://www.163.com/dy/article/KA8BTJTH055247PY.html?f=post1603_tab_news "如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?")
### [如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?](https://www.163.com/dy/article/KA8BTJTH055247PY.html?f=post1603_tab_news "如果你买的股票在尾盘最后半小时突然拉升,第二天是涨还是跌?")
股经纵横谈
2025-09-24 19:25:43
[](https://www.163.com/dy/article/KAA1UPUT05149N8T.html?f=post1603_tab_news "巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质")
### [巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质](https://www.163.com/dy/article/KAA1UPUT05149N8T.html?f=post1603_tab_news "巴西总统悼念北大教授俞孔坚,坠亡前最后影像曝光,失事飞机机龄67年,无夜间飞行资质")
荔枝新闻
2025-09-25 11:09:48
[](https://www.163.com/dy/article/KA8CJATR05567MSH.html?f=post1603_tab_news "她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?")
### [她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?](https://www.163.com/dy/article/KA8CJATR05567MSH.html?f=post1603_tab_news "她是乔冠华的女儿,曾在部队当炊事员!为何连保姆都欺负她?")
云景侃记
2025-09-24 19:37:18
2025-09-25 12:31:00
[ ](https://www.163.com/dy/media/T1409815021259.html)
[智东西](https://www.163.com/dy/media/T1409815021259.html)
[聚焦智能变革,服务产业升级。](https://www.163.com/dy/media/T1409815021259.html)
[*10514*](https://www.163.com/dy/media/T1409815021259.html)文章数 [*116859*](https://www.163.com/dy/media/T1409815021259.html)关注度
往期回顾 [全部](https://www.163.com/dy/media/T1409815021259.html)
## [科技要闻](https://tech.163.com/)
[ 英伟达的50亿美元不够?英特尔又求苹果投资](https://www.163.com/tech/article/KA9OVEKM00097U7T.html)
- ### [美媒:美国AI,开始留不住中国“最强大脑”](https://www.163.com/tech/article/KA9PTSNN00097U7T.html)
- ### [高通发布第五代骁龙8至尊版:小米17系列首发](https://www.163.com/digi/article/KA9L708N001680P9.html)
- ### [2025网易未来大会](https://go.163.com/f2e/netease_future_2025_pc/index.html)
- ### [阿里的AI豪赌:三年先砸3800亿](https://www.163.com/tech/article/KA7GCQN900098IEO.html)
## [头条要闻](https://news.163.com/?f=post2020_dy_news_bj)
[ 男子将百万房车不上锁异地停放 已有人开走带全家旅游](https://www.163.com/dy/article/KA9MNS1T053469LG.html)
- ### [北大教授巴西坠机细节披露 警方否定野猪致坠机说法](https://www.163.com/dy/article/KAA29AIH051492T3.html)
- ### [女生疑遭校园欺凌 警方被投诉后重启调查认定殴打情节](https://www.163.com/dy/article/KAA291UP05561G0D.html)
- ### [西贝删除温情公关文 称"7岁儿童哭着闹着要去吃西贝"](https://www.163.com/news/article/KAA24NV80001899O.html)
- ### [牛弹琴:美国迎来一位最特殊客人 一年前还是恐怖分子](https://www.163.com/news/article/KA9OC0HG00019B3E.html)
## [头条要闻](https://news.163.com/?f=post2020_dy_news)
[ 男子将百万房车不上锁异地停放 已有人开走带全家旅游](https://www.163.com/dy/article/KA9MNS1T053469LG.html)
- ### [北大教授巴西坠机细节披露 警方否定野猪致坠机说法](https://www.163.com/dy/article/KAA29AIH051492T3.html)
- ### [女生疑遭校园欺凌 警方被投诉后重启调查认定殴打情节](https://www.163.com/dy/article/KAA291UP05561G0D.html)
- ### [西贝删除温情公关文 称"7岁儿童哭着闹着要去吃西贝"](https://www.163.com/news/article/KAA24NV80001899O.html)
- ### [牛弹琴:美国迎来一位最特殊客人 一年前还是恐怖分子](https://www.163.com/news/article/KA9OC0HG00019B3E.html)
## [体育要闻](https://sports.163.com/)
[ 把“假中餐”卖给美国人,然后买下NBA球队](https://www.163.com/sports/article/KA79T3NH0005877U.html)
- ### [迈阿密国际4-0客胜纽约城,梅西两射一传,苏亚雷斯点射](https://www.163.com/dy/article/KA9T432K0549BAP0.html)
- ### [西甲-马竞3-2巴列卡诺,阿尔瓦雷斯戴帽绝杀](https://www.163.com/dy/article/KA9GEABA0549BAP0.html)
- ### [英联杯:阿森纳2-0英甲队晋级16强!埃泽首球,哲凯赖什失单刀](https://www.163.com/dy/article/KA9DO22H0553AOVQ.html)
- ### [曼城客场2-0哈德斯菲尔德晋级,福登传射建功,萨维尼奥破门](https://www.163.com/dy/article/KA9CPN7I0549BAP0.html)
## [娱乐要闻](https://ent.163.com/)
[ 赵本山6位徒弟生活的生活令人唏嘘](https://www.163.com/dy/article/KA9UDVKN0553TKJG.html)
- ### [关于央视女主持私生活谣言别太离谱](https://www.163.com/dy/article/KA9UGNLQ05568PF5.html)
- ### [74岁刘晓庆如今的现状,给所有人提了个醒](https://www.163.com/dy/article/KA9U58FP05568PEA.html)
- ### [秦雯背刺陈道明风波升级](https://www.163.com/dy/article/KA9UOQ840556DKVI.html)
- ### [欺骗小酒窝讨好张维伊 倪萍一句话让董璇彻底慌了](https://www.163.com/dy/article/KA9SIG1F05566XZN.html)
## [财经要闻](https://money.163.com/)
[ 始祖鸟炸山后72小时 户外网红到全民公敌](https://www.163.com/money/article/KA821R4K00258105.html)
- ### [美国下调欧盟汽车关税至15% 并追溯自8月1日生效](https://www.163.com/dy/article/KA96TAPB05198CJN.html)
- ### [吴泳铭23分钟演讲,让阿里涨了2200亿](https://www.163.com/dy/article/KA93L99L051188EA.html)
- ### [924一周年A股普涨!节前投资者如何抉择?](https://www.163.com/dy/article/KA8QNTN50519DTSV.html)
- ### [创业板指创三年多新高 宁德时代市值超越贵州茅台](https://www.163.com/money/article/KAA3DV0G00258105.html)
## [汽车要闻](https://auto.163.com/)
[ 奇瑞港股上市 募资91.4亿港元成年内最大车企IPO](https://www.163.com/auto/article/KA9V4H9G000884ML.html)
- ### [福特中国再出重拳:全资销售公司成立 陈晓波执掌帅印](https://www.163.com/auto/article/KA9UCMNH000884ML.html)
- ### [柔情的硬派混动 坦克400 Hi4-Z 静态体验](https://www.163.com/v/video/VK9A3A07D.html)
- ### [开着全新问界M7来到赛里木湖 这一次,不白活!](https://www.163.com/v/video/VK99HIMP5.html)
- ### [智能配置升级 广汽丰田多款新车上市售10.28万起](https://www.163.com/auto/article/KA69JSIA0008856R.html)
## 态度原创
- ### [*\+arrTaiduYuanC\[i\].tag+'* \| '+arrTaiduYuanC\[i\].title+'](https://www.163.com/dy/article/'+arrTaiduYuanC[i].link+')
\\
[教育](https://edu.163.com/)
[亲子](https://baby.163.com/)
[手机](https://mobile.163.com/)
[时尚](https://fashion.163.com/)
[公开课](https://open.163.com/)
## [教育要闻](https://edu.163.com/)
[ 问过孩子吗:父母说什么话最伤孩子心?](https://www.163.com/v/video/VA9C1BOR7.html)
- ### [英语介词by用法全攻略:从基础到精通的固定搭配指南](https://www.163.com/dy/article/KA9PFUS90536M2L0.html)
- ### [惊!育英学校事件后,我们又是开会,又是签承诺书,还来六条铁律](https://www.163.com/dy/article/KA9Q9VFK0536TKDY.html)
- ### [家庭年收低于20万,埃默里大学明秋起免学费!](https://www.163.com/dy/article/KA9PJU5I05169EA1.html)
- ### [4所985都有包分配班,4所211或有降级的风险,到底是为什么?](https://www.163.com/dy/article/K8IJ2J6M0553VYU3.html)
## [亲子要闻](https://baby.163.com/)
[ 一个养花杀手的逆袭:我把辣手摧花的教训,活成了育儿通关秘籍!](https://www.163.com/dy/article/KA9SF6OJ0546IBLU.html)
- ### [从零基础到现在可以自己读句子,老母亲甚感欣慰 杨雪呀](https://www.163.com/v/video/VI9C383OG.html)
- ### [郭富城妻子现身月子中心,身后跟6个人,走路大摇大摆看着好神气](https://www.163.com/dy/article/KA9QN7II05564X8X.html)
- ### [儿童看屏幕时间越长,体重就越难控制?答案竟然是……](https://www.163.com/dy/article/KA9NO6NM05149B3T.html)
- ### [孩子抑郁休学,除了就医就诊,还有这5个心理康复建议](https://www.163.com/v/video/VT9ANN6VM.html)
## [手机要闻](https://mobile.163.com/)
[ 红魔电竞平板 3 PRO 独家适配穿越火线手游极清画质+165Hz 高帧率](https://www.163.com/dy/article/KAA2MGEL0511B8LM.html)
- ### [苹果回应iPhone 17 Pro系列划痕争议 称展示机痕迹可清洁去除](https://www.163.com/dy/article/KAA22TKN05118VMB.html)
- ### [卢伟冰:小米做到了“真首发当日达”](https://www.163.com/dy/article/KAA218F90511B8LM.html)
- ### [苹果、华为最稳,剩下品牌各有所长](https://www.163.com/dy/article/KAA0TSGS0511BBQT.html)
[ 姚晨:自然予我](https://www.163.com/dy/article/KA8IC94V051283QK.html)
- ### [2025最流行的摩卡慕斯色,配牛仔蓝太好看了!](https://www.163.com/dy/article/KA8I9L1O0518DCRR.html)
- ### [外套里面穿什么?这4款内搭时髦又显瘦!](https://www.163.com/dy/article/KA8H5LDQ05389WHM.html)
- ### [老外在中国的最酷打开方式](https://www.163.com/dy/article/KA85QJ7M051283QK.html)
## [公开课](https://open.163.com/)
### [李玫瑾:为什么性格比能力更重要?](https://open.163.com/newview/movie/free?pid=EHHGVM7FA&mid=KIAL4QM5K)
- ### [白岩松谈人口老龄化:社会要降低老年人门槛](https://open.163.com/newview/movie/free?pid=QG36DFKM1&mid=UG36DFKMI)
- ### [为什么人类有不同的肤色?](https://open.163.com/newview/movie/free?pid=AICUHKKK6&mid=KICUHKKL9#share-mob)
- ### [最牛高中校长:真正的好学生都是玩出来的](https://open.163.com/newview/movie/free?pid=BDKSDA1J1&mid=BDKSDA1ID#share-mob)
- ### [李彦宏:百度离破产30天](https://open.163.com/newview/movie/free?pid=XGIS0MSS0&mid=GGIS0MSSN)
[](http://www.163.com/newsapp/#f=qr)
© 1997-2025 网易公司版权所有 [About NetEase](https://corp.163.com/) \| [公司简介](https://corp.163.com/gb/about/overview.html) \| [联系方法](https://corp.163.com/gb/contactus.html) \| [招聘信息](https://corp.163.com/gb/job/job.html) \| [客户服务](https://help.163.com/) \| [隐私政策](https://corp.163.com/gb/legal.html) \| [不良信息举报 Complaint Center](https://www.163.com/special/0077jt/tipoff.html) \| [廉正举报](https://jubao.163.com/) \| [侵权投诉](https://corp.163.com/special/008397U0/reporting_infringements.html)
[无障碍浏览]() [进入关怀版]() |
| Readable Markdown | null |
| Shard | 16 (laksa) |
| Root Hash | 15734730450708169016 |
| Unparsed URL | com,163!www,/dy/article/K51569SI051180F7.html s443 |