ℹ️ Skipped - page is already crawled
| Filter | Status | Condition | Details |
|---|---|---|---|
| HTTP status | PASS | download_http_code = 200 | HTTP 200 |
| Age cutoff | FAIL | download_stamp > now() - 6 MONTH | 7.1 months ago |
| History drop | PASS | isNull(history_drop_reason) | No drop reason |
| Spam/ban | PASS | fh_dont_index != 1 AND ml_spam_score = 0 | ml_spam_score=0 |
| Canonical | PASS | meta_canonical IS NULL OR = '' OR = src_unparsed | Not set |
| Property | Value |
|---|---|
| URL | https://www.163.com/dy/article/K4MQ744N0552BFKV.html |
| Last Crawled | 2025-09-05 22:43:12 (7 months ago) |
| First Indexed | not set |
| HTTP Status Code | 200 |
| Meta Title | 使用 NVIDIA Nsight Systems 分析 Ray 负载 (verl) 的性能|gpu|cpu|cuda|客户端节点|nvidia|systems_网易订阅 |
| Meta Description | 使用 NVIDIA Nsight Systems 分析 Ray 负载 (verl) 的性能,芯片,gpu,cpu,cuda,客户端节点,nvidia,systems |
| Meta Canonical | null |
| Boilerpipe Text | 在大语言模型的强化学习训练过程中,GPU 性能优化至关重要。随着模型规模不断扩大,如何高效地分析和优化 GPU 性能成为开发者面临的主要挑战之一。 NVIDIA Nsight™ Systems 是 NVIDIA 开发的一款强大的 GPU 性能分析工具。Ray 作为开源的分布式计算框架,在深度学习社区广受欢迎。然而,Nsight Systems 用户在分析 Ray 的任务负载时,会遇到与以往不同的挑战。本文将介绍如何在 Ray 分布式计算框架下集成 Nsight Systems 进行 GPU 性能分析,帮助开发者更好地理解和优化他们的强化学习训练流程。 大语言模型强化学习与 Ray 近年来,大语言模型 (LLM) 的强化学习 (RL) 取得了显著进展,从早期的监督式微调发展到现在的 PPO、DPO 等先进算法。这些算法通常需要复杂的分布式训练架构,而 Ray 凭借其灵活的 Actor 模型和分布式任务调度能力,成为许多开源框架 (如 OpenRLHF、verl、AReal、ROLL、NeMo RL) 的首选基础设施。 Ray 的核心优势包括:使用 Task 和 Actor 来抽象远端的计算任务,能够动态调度任务实现负载均衡,提供了方便高效的跨节点通信机制,能够对 GPU 和 CPU 等资源进行统筹配置和管理。这些特性使得 Ray 特别适合处理 LLM 强化学习中复杂的计算图和工作流。在 Ray 的框架下,其他深度学习的训练和推理引擎可以作为一个子模块,完成具体任务的实现,Ray 则像操作系统一样把不同的任务调度到一起,配合完成强化学习的训练任务。 NVIDIA Nsight Systems 工具概述 NVIDIA Nsight Systems 是一款系统级性能分析工具,旨在实现应用算法的可视化,找出程序中亟需优化的“瓶颈”并进行调整,以跨任意数量或大小的 CPU 和 GPU —— 从大型服务器到最小的系统级芯片 (SoC) —— 进行高效扩展。 首先,Nsight Systems 不仅可以跟踪 GPU 的活动,还能够跟踪 CPU 的事件,从而帮助程序员建立起对程序整体工作流程的认识。它会锁定目标应用,以便在时间轴中同时显示 GPU 和 CPU 活动、事件、注释、吞吐量和性能指标。GPU 工作负载与应用内的 CPU 事件进行关联,因此可以轻松识别和修复性能障碍。 Nsight Systems 能够跟踪 GPU 的活动,即追踪 GPU 工作负载。为进一步探索 GPU,切换 GPU 指标采样将绘制低级输入 / 输出 (IO) 活动,例如 PCIe 吞吐量、NVIDIA NVLink™ 以及动态随机访问内存 (DRAM) 活动。GPU 指标采样还可公开 SM 利用率、Tensor Core 活动、指令吞吐量和线程束占用率。同时,对于计算任务,Nsight Systems 支持研究 CUDA API 和追踪 CUDA库,包括 cuBLAS、cuDNN 和 NVIDIA TensorRT™ 。对于程序员来说,在代码中主动放入可执行的注释对于分析程序的流程和性能瓶颈非常必要。NVIDlA Tools Extension Library (NVTX) 就是这样的工具,并且可以和 Nsight Systems 联合使用。它的核心功能包括: 标记事件 (markers):在程序执行的特定点标记信息; 注释范围 (ranges):在程序执行的两个点之间标注范围; 跟踪资源:为对象分配可显示的名称并跟踪其生命周期。 所有这些标记都可以附加类别、颜色等信息,非常便于在 Nsight Systems 中进行观察。 Ray 与 Nsight Systems 集成的挑战 在 Nsight Systems 的典型应用场景中,Nsight Systems 可以自动捕捉目标程序,完成事件跟踪和数据记录。但是用户在分析基于 Ray 实现的 RL 程序时发现,原来的方法失效了。 Nsight Systems 的典型应用方法是这样的,使用命令 “nsys” 来启动目标程序: nsys [command_switch][optional command_switch_options][ application ] [optional application_options] 这里 “nsys” 命令可以通过不同的子命令来选择具体功能,子命令带有可选项。后面紧接着目标应用程序 (application) 及其可选的参数选项。通过这种调用方法,Nsight Systems 可以捕捉到目标应用程序的执行过程,进而跟踪其执行的各种事件。 但是这种方法在捕捉以 Ray 为基础框架的程序时却失效了。其根本原因在于,在 Ray 任务里,上面命令行里的 application 并非真正的计算程序,而是给 Ray 系统提交命令的另一个命令行。通常启动 Ray 程序有两种方法,一种是使用 ray job submit 直接向 Ray 系统提交任务;一种是像普通的 Python 程序一样使用 python 来启动,但在其程序内部仍然是启动一个 Ray 系统并提交任务,或者直接向已有的 Ray 系统提交任务。也就是说我们关心的计算任务是由 Ray 在远端节点启动的。以上两种方法作为 application 附在 “nsys” 命令后面的时候,Nsight Systems 只能捕捉到提交任务这个前导程序,而不是真正的计算任务。 集成方案的实现 理解 Ray 与 Nsight Systems 集成的挑战和背后的原因,解决方案便较为明确。实际上,Ray 的使用手册已经关注到这个问题,并给出了相应的解决方案。在使用手册的小节 “Run Nsight on Ray” 和 “Custom options” 中讲到在定义 RayActor 的时候,应该在其 ray.remote 修饰中加入 runtime_env 的环境变量,那么 Ray 在启动这个 Actor 的时候,会把这些与 Nsight Systems 相关的环境变量转换为 “nsys” 的调用参数,并且使用 “nsys” 来启动这个 Actor 对应的进程(可以参考 Ray 的使用手册获得详细信息)。 问题似乎得到了解决。但大语言模型强化学习程序的复杂性引入了新问题。Ray 使用手册中的方法要求在 Actor 定义阶段就预先写好 Nsight 相关的环境变量,但是像 verl 这样的复杂程序,Actor 被抽象了,它是动态的定义并动态的调用,需要找到动态的时机把这些参数传递进去。实际上,除了在定义 RayActor class 的时候可以指定它的环境变量,在构造它的实例 (instance) 的时候,也可以指定它的环境变量,以手册中示例为例,可以通过以下方式构造 RayActor 的实例: actor = RayActor.options(runtime_env={"nsight": {…}}).remote() 这样,我们就可以为每个 RayActor 的实例传入不同环境变量了。当然 verl 的实际应用就更复杂,需要更多的设计,来管理跟踪这些环境变量,并在合适的时机传递给 Actor 进程。 在 verl 中集成 Nsight Systems 的设计考量 理解了 Ray 和 Nsight Systems 集成的挑战和解决方案,理论上我们就可以在任何一个基于 Ray 的强化学习框架中使用 Nsight Systems 来分析应用性能和瓶颈了。我们以 verl 为例为其集成了 Nsight Systems 的分析工具,并简要梳理总结了设计中的关键考量,期望能对其他框架集成 Nsight Systems 提供参考。 一、区分 controller 和 worker 进程 目前绝大部分的强化学习框架都接受单一控制流 (single controller) 的概念。一方面,强化学习算法非常复杂,演化速度又快,算法研究者希望自己推演的公式能够像脚本一样在工具中快速实现,这时候用户的思考模式是单进程的。另一方面,超大规模的计算任务一定是多进程进行的,大语言模型的训练和推理引擎都需要支持各种并行优化策略。这中间是有很大差距的。幸运的是,Ray 作为并行计算系统的基础架构,使得弥合这个差距成为可能。OpenRLHF 率先使用 Ray 作为调度的基础框架,verl 则率先提出使用单一控制流来简化算法用户的尝试流程。 这就需要我们在跟踪强化学习任务的时候,分别跟踪 controller 和 worker 进程。 Controller 进程虽然没有 GPU 计算资源的信息,但是它为用户提供统一的全盘程序执行时间线,使用户能全面把握各个计算任务的整体耗时、分割及占比,避免过早陷入细节。在 verl 中,我们在启动 controller 的时候为其传入了运行时环境变量,这些变量是由 Hydra 配置传入,给用户精细控制 Nsight 的调用参数提供了可能性。 verl 对 worker 进程做了优雅的抽象,以便能够支持灵活的资源分配、共享,和不同计算任务的合并。忽略 Hydra 配置的传递细节,我们是在不同的角色 (role) 合并之后,最终的 worker 启动之前,把用户配置信息传递进入每个 worker 实例。 二、细粒度跟踪 worker 进程 完成所有配置并运行 Nsight Systems 进行目标程序分析时,用户会遇到一个现实的问题 —— 跟踪数据库太大。强化学习的复杂性必须解决规模的问题。以下从三个角度来说明如何对 worker 进程进行更精细的控制。 1. 目标训练步的选择 大语言模型的训练是一个耗时的过程,而且目标性能瓶颈不一定在初始的若干步之内出现。我们无法对整个过程进行数据跟踪,这就需要我们在特定训练步的时候才开启 Nsight Systems 跟踪,该步结束的时候关闭跟踪。Nsight Systems 提供了 capture-range 的能力,我们在 verl 程序内部通过 torch.cuda.profiler.start() 和 torch.cuda.profiler.stop() 对来控制开启和关闭 Nsight Systems 的跟踪动作。这样每步都会形成一个单独的数据库,方便后续分析。 2. 目标 worker 成员 (rank) 的选择 在一般的训练和推理引擎设计里,一个 GPU 对应一个进程,一个强化学习任务可能使用成百上千的 GPU,甚至到达万卡规模。因此,我们也可以使用 capture-range 机制,仅仅对感兴趣的成员打开 Nsight Systems 的跟踪动作。 3. 分立任务的选择 强化学习的一个训练步骤包括多个子任务(序列生成、优势计算、模型更新),即使是一个训练步骤,数据的规模仍可能很大。我们可以使用 capture-range 机制,对每一个分立任务独立启停 Nsight Systems 跟踪。 三、使用 NVTX 描绘整体运行流程 如前面介绍,NVTX 可以在程序内放置标记和范围,并在 Nsight Systems 时间线上显示。我们对 verl 中每一个关键步骤都进行了范围标记,使用户清晰地看到每个计算子任务之间是怎样的接力关系、时间占比如何。具体来看,我们给 step, gen, reward, old_log_prob, ref, values, adv, update_critic, update_actor, testing 等计算步骤做了标记。在 verl 的设计中,我们把这些标记与 verl 提供的计时函数进行了融合,使用 marked_timer 进行计时的任务都自动标记了相应的 NVTX 范围。 四、为其他硬件平台预留设计空间 NVIDIA 一直致力于推动人工智能的发展,推进算法的极限,扩展人类认知领域的边界。主流大语言模型强化学习框架除了采用 NVIDIA 的加速计算方案,也考虑兼容不同的硬件方案。因此在 verl 集成 Nsight Systems 的设计内,我们对 Nsight Systems 的使用方式和 NVTX 的主要函数接口进行了标准抽象,如 ProfilerConfig, DistProfiler, DistProfilerExtension, mark_range_start, mark_range_end, mark_annotate 等,并提供了空白实现。我们为标准抽象提供一个 Nsight Systems 的具体实现,如 NsightSystemsProfiler 等。Verl 可以在未来实现其他工具的集成。具体代码可以参考https://github.com/volcengine/verl/blob/main/verl/utils/profiler/profile.py, performance.py, empty_annotations.py, nvtx_profile.py. 五、Nsight Systems 的时间线示例 下图是使用 verl v0.4.1 版本的例子 examples/ppo_trainer/run_qwen2-7b_rm_seq_balance_nsys.sh 得到 Nsight Systems 时间线。从图中可以看到,controller 进程显示训练一共持续了 6 步,选取的两个 worker 进程详细地跟踪了其中的第 1、2、5 步。有了详细的 GPU 活动记录,对齐到整体的控制流图,我们就可以有针对性的分析程序性能了。 常见的反馈问题 在 Nsight Systems 相关代码合入 verl 的主分支后,很多用户积极试用,在各自的强化学习训练任务的分析和优化中取得了很好的效果。这里汇总一些比较常见的反馈问题,供参考。 1. 去哪里找跟踪到的数据结果,这个目录可以指定吗? 按照 Ray 的使用手册,跟踪到的数据库保存在每个服务器节点的 /tmp/ray/session_*/logs/{profiler_name},并且跟踪目录是不能修改的。这是当前版本 Ray 的一个局限。 2. 文件格式如何解读? 文件格式为 worker_process_.nsys-rep 或者 worker_process_..nsys-rep,PID 是进程号,RID 是第几个 capture range。 3. 去哪里找 controller 的跟踪数据? 因为 Ray 是在远端服务器节点调度计算任务的,所以它可能会把 controller 任务调度到任何一个节点,这样找起来就不方便。我们在 verl 的程序内让这个 controller 自己打印了自己的位置信息,包括节点的 hostname 和进程号,这样用户就可以在对应的位置找到相应的数据。 4. 怎么查看这么多数据? Nsight 提供 multi-report view 的模式,用户可以把 controller 和 workers 的数据一次性全部导入,工具会自动按照时间顺序把数据排布在视图之中,方便对齐事件的时间点。 NVIDIA Nsight Systems 使用手册: https://docs.nvidia.com/nsight-systems/UserGuide/index.html Ray 使用手册: https://docs.ray.io/en/latest/ray-observability/user-guides/profiling.html OpenRLHF: https://github.com/OpenRLHF/OpenRLHF verl: https://github.com/volcengine/verl AReaL: https://github.com/inclusionAI/AReaL ROLL: https://github.com/alibaba/ROLL NeMo RL: https://github.com/NVIDIA-NeMo/RL 作者 马立伟 NVIDIA 加速计算专家。清华大学电子科学与技术工学博士,上海交通大学信息与控制工程工学学士,研究方向包括计算机体系架构、人工智能算法和大语言模型强化学习框架,持有和申请相关专利 20 余项。 |
| Markdown | [网易首页](https://www.163.com/ "网易首页")
[应用](https://www.163.com/#f=topnav)
- [*网易新闻*](https://m.163.com/newsapp/#f=topnav)
- [*网易公开课*](https://open.163.com/#f=topnav)
- [*网易红彩*](https://hongcai.163.com/?from=pcsy-button)
- [*网易严选*](https://u.163.com/aosoutbdbd8)
- [*邮箱大师*](https://mail.163.com/client/dl.html?from=mail46)
- [*网易云课堂*](https://study.163.com/client/download.htm?from=163app&utm_source=163.com&utm_medium=web_app&utm_campaign=business)
[*快速导航*]()
- ### [新闻](https://news.163.com/)
- [国内](https://news.163.com/domestic)
- [国际](https://news.163.com/world)
- [王三三](https://news.163.com/special/wangsansanhome/)
- ### [体育](https://sports.163.com/)
- [NBA](https://sports.163.com/nba)
- [CBA](https://sports.163.com/cba)
- [综合](https://sports.163.com/allsports)
- [中超](https://sports.163.com/zc)
- [国际足球](https://sports.163.com/world)
- [英超](https://sports.163.com/yc)
- [西甲](https://sports.163.com/xj)
- [意甲](https://sports.163.com/yj)
- ### [娱乐](https://ent.163.com/)
- [明星](https://ent.163.com/star)
- [电影](https://ent.163.com/movie)
- [电视](https://ent.163.com/tv)
- [音乐](https://ent.163.com/music)
- [封面故事](https://ent.163.com/special/fmgs/)
- ### [财经](https://money.163.com/)
- [股票](https://money.163.com/stock)
- [原创](https://money.163.com/special/caijingyuanchuang/)
- [智库](https://money.163.com/special/wycjzk-pc/)
- ### [汽车](https://auto.163.com/)
- [购车](https://auto.163.com/buy)
- [车型库](http://product.auto.163.com/)
- ### [科技](https://tech.163.com/)
- [网易智能](https://tech.163.com/smart/)
- [原创](https://tech.163.com/special/S1554800475317/)
- [IT](https://tech.163.com/it)
- [互联网](https://tech.163.com/internet)
- [通信](https://tech.163.com/telecom/)
- ### [时尚](https://fashion.163.com/)
- [艺术](https://fashion.163.com/art)
- [旅游](https://travel.163.com/)
- ### [手机](https://mobile.163.com/) / [数码](https://digi.163.com/)
- [惊奇科技](https://mobile.163.com/special/jqkj_list/)
- [易评机](https://mobile.163.com/special/cpshi_list/)
- [家电](https://hea.163.com/)
- ### [房产](https://house.163.com/) / [家居](https://home.163.com/)
- [北京房产](https://bj.house.163.com/)
- [上海房产](https://sh.house.163.com/)
- [广州房产](https://gz.house.163.com/)
- [楼盘库](https://xf.house.163.com/)
- [设计师库](https://designer.home.163.com/search)
- [案例库](https://photo.home.163.com/)
- ### [教育](https://edu.163.com/)
- [留学](https://edu.163.com/liuxue)
- [高考](https://edu.163.com/gaokao)
[查看网易地图](https://sitemap.163.com/)
[登录](https://reg.163.com/)
[注册免费邮箱](https://mail.163.com/register/index.htm?from=163navi®Page=163)
- [注册VIP邮箱(特权邮箱,付费)](https://reg1.vip.163.com/newReg1/reg?from=new_topnav&utm_source=new_topnav)
- [免费下载网易官方手机邮箱应用](https://mail.163.com/client/dl.html?from=mail46)
[安全退出]()
- [*移动端*](https://www.163.com/newsapp/#f=163nav)
[](https://www.163.com/newsapp/#f=163nav)
- [*网易公开课*](https://open.163.com/#ftopnav0)
- [TED](https://open.163.com/ted/#ftopnav1)
- [中国大学视频公开课](https://open.163.com/cuvocw/#ftopnav2)
- [国际名校公开课](https://open.163.com/ocw/#ftopnav3)
- [赏课·纪录片](https://open.163.com/appreciation/#ftopnav4)
- [付费精品课程](https://vip.open.163.com/#ftopnav5)
- [北京大学公开课](https://open.163.com/special/School/beida.html#ftopnav6)
- [英语课程学习](https://open.163.com/newview/movie/courseintro?newurl=ME7HSJR07#ftopnav7)
- [*网易严选*](https://you.163.com/?from=web_fc_menhu_xinrukou_1)
- [新人特价](https://act.you.163.com/act/pub/ABuyLQKNmKmK.html?from=out_ynzy_xinrukou_2)
- [9\.9专区](https://you.163.com/topic/v1/pub/Pew1KBH9Au.html?from=out_ynzy_xinrukou_3)
- [新品热卖](https://you.163.com/item/newItemRank?from=out_ynzy_xinrukou_4)
- [人气好物](https://you.163.com/item/recommend?from=out_ynzy_xinrukou_5)
- [居家生活](https://you.163.com/item/list?categoryId=1005000&from=out_ynzy_xinrukou_7)
- [服饰鞋包](https://you.163.com/item/list?categoryId=1010000&from=out_ynzy_xinrukou_8)
- [母婴亲子](https://you.163.com/item/list?categoryId=1011000&from=out_ynzy_xinrukou_9)
- [美食酒水](https://you.163.com/item/list?categoryId=1005002&from=out_ynzy_xinrukou_10)
- [*支付*](https://ecard.163.com/)
- [一卡通充值](https://ecard.163.com/#f=topnav)
- [一卡通购买](https://ecard.163.com/script/index#f=topnav)
- [我的网易支付](https://epay.163.com/)
- [网易跨境支付](https://globalpay.163.com/home)
- [*邮箱*]()
- [免费邮箱](https://email.163.com/#f=topnav)
- [VIP邮箱](https://vipmail.163.com/#f=topnav)
- [企业邮箱](https://qiye.163.com/?from=NetEase163top)
- [免费注册](https://mail.163.com/register/index.htm?from=ntes_nav®Page=163)
- [客户端下载](https://mail.163.com/dashi/dlpro.html?from=mail46)
[网易首页](https://www.163.com/) \> [网易号](https://dy.163.com/) \> 正文 [申请入驻](https://dy.163.com/wemedia/index.html)
# 使用 NVIDIA Nsight Systems 分析 Ray 负载 (verl) 的性能
2025-07-17 20:30:28 来源: [NVIDIA英伟达中国](https://www.163.com/dy/media/T1624343808642.html) 北京 [举报](https://www.163.com/special/0077jt/tipoff.html?title=%E4%BD%BF%E7%94%A8%20NVIDIA%20Nsight%20Systems%20%E5%88%86%E6%9E%90%20Ray%20%E8%B4%9F%E8%BD%BD%20\(verl\)%20%E7%9A%84%E6%80%A7%E8%83%BD)
[0](https://www.163.com/dy/article/K4MQ744N0552BFKV.html "点击查看跟贴")
分享至
用微信扫码二维码
分享至好友和朋友圈
在大语言模型的强化学习训练过程中,GPU 性能优化至关重要。随着模型规模不断扩大,如何高效地分析和优化 GPU 性能成为开发者面临的主要挑战之一。
**NVIDIA Nsight™ Systems**是 NVIDIA 开发的一款强大的 GPU 性能分析工具。Ray 作为开源的分布式计算框架,在深度学习社区广受欢迎。然而,Nsight Systems 用户在分析 Ray 的任务负载时,会遇到与以往不同的挑战。本文将介绍如何在 Ray 分布式计算框架下集成 Nsight Systems 进行 GPU 性能分析,帮助开发者更好地理解和优化他们的强化学习训练流程。
**大语言模型强化学习与 Ray**
近年来,大语言模型 (LLM) 的强化学习 (RL) 取得了显著进展,从早期的监督式微调发展到现在的 PPO、DPO 等先进算法。这些算法通常需要复杂的分布式训练架构,而 Ray 凭借其灵活的 Actor 模型和分布式任务调度能力,成为许多开源框架 (如 OpenRLHF、verl、AReal、ROLL、NeMo RL) 的首选基础设施。
Ray 的核心优势包括:使用 Task 和 Actor 来抽象远端的计算任务,能够动态调度任务实现负载均衡,提供了方便高效的跨节点通信机制,能够对 GPU 和 CPU 等资源进行统筹配置和管理。这些特性使得 Ray 特别适合处理 LLM 强化学习中复杂的计算图和工作流。在 Ray 的框架下,其他深度学习的训练和推理引擎可以作为一个子模块,完成具体任务的实现,Ray 则像操作系统一样把不同的任务调度到一起,配合完成强化学习的训练任务。
**NVIDIA Nsight Systems 工具概述**
NVIDIA Nsight Systems 是一款系统级性能分析工具,旨在实现应用算法的可视化,找出程序中亟需优化的“瓶颈”并进行调整,以跨任意数量或大小的 CPU 和 GPU —— 从大型服务器到最小的系统级芯片 (SoC) —— 进行高效扩展。
首先,Nsight Systems 不仅可以跟踪 GPU 的活动,还能够跟踪 CPU 的事件,从而帮助程序员建立起对程序整体工作流程的认识。它会锁定目标应用,以便在时间轴中同时显示 GPU 和 CPU 活动、事件、注释、吞吐量和性能指标。GPU 工作负载与应用内的 CPU 事件进行关联,因此可以轻松识别和修复性能障碍。
Nsight Systems 能够跟踪 GPU 的活动,即追踪 GPU 工作负载。为进一步探索 GPU,切换 GPU 指标采样将绘制低级输入 / 输出 (IO) 活动,例如 PCIe 吞吐量、NVIDIA NVLink™ 以及动态随机访问内存 (DRAM) 活动。GPU 指标采样还可公开 SM 利用率、Tensor Core 活动、指令吞吐量和线程束占用率。同时,对于计算任务,Nsight Systems 支持研究 CUDA API 和追踪 CUDA库,包括 cuBLAS、cuDNN 和**NVIDIA TensorRT™**。对于程序员来说,在代码中主动放入可执行的注释对于分析程序的流程和性能瓶颈非常必要。NVIDlA Tools Extension Library (NVTX) 就是这样的工具,并且可以和 Nsight Systems 联合使用。它的核心功能包括:
- 标记事件 (markers):在程序执行的特定点标记信息;
- 注释范围 (ranges):在程序执行的两个点之间标注范围;
- 跟踪资源:为对象分配可显示的名称并跟踪其生命周期。
所有这些标记都可以附加类别、颜色等信息,非常便于在 Nsight Systems 中进行观察。
**Ray 与 Nsight Systems 集成的挑战**
在 Nsight Systems 的典型应用场景中,Nsight Systems 可以自动捕捉目标程序,完成事件跟踪和数据记录。但是用户在分析基于 Ray 实现的 RL 程序时发现,原来的方法失效了。
Nsight Systems 的典型应用方法是这样的,使用命令 “nsys” 来启动目标程序:
**nsys**\[command\_switch\]\[optional command\_switch\_options\]\[**application**\] \[optional application\_options\]
这里 “nsys” 命令可以通过不同的子命令来选择具体功能,子命令带有可选项。后面紧接着目标应用程序 (application) 及其可选的参数选项。通过这种调用方法,Nsight Systems 可以捕捉到目标应用程序的执行过程,进而跟踪其执行的各种事件。
但是这种方法在捕捉以 Ray 为基础框架的程序时却失效了。其根本原因在于,在 Ray 任务里,上面命令行里的 application 并非真正的计算程序,而是给 Ray 系统提交命令的另一个命令行。通常启动 Ray 程序有两种方法,一种是使用 ray job submit 直接向 Ray 系统提交任务;一种是像普通的 Python 程序一样使用 python 来启动,但在其程序内部仍然是启动一个 Ray 系统并提交任务,或者直接向已有的 Ray 系统提交任务。也就是说我们关心的计算任务是由 Ray 在远端节点启动的。以上两种方法作为 application 附在 “nsys” 命令后面的时候,Nsight Systems 只能捕捉到提交任务这个前导程序,而不是真正的计算任务。
**集成方案的实现**
理解 Ray 与 Nsight Systems 集成的挑战和背后的原因,解决方案便较为明确。实际上,Ray 的使用手册已经关注到这个问题,并给出了相应的解决方案。在使用手册的小节 “Run Nsight on Ray” 和 “Custom options” 中讲到在定义 RayActor 的时候,应该在其 ray.remote 修饰中加入 runtime\_env 的环境变量,那么 Ray 在启动这个 Actor 的时候,会把这些与 Nsight Systems 相关的环境变量转换为 “nsys” 的调用参数,并且使用 “nsys” 来启动这个 Actor 对应的进程(可以参考 Ray 的使用手册获得详细信息)。
问题似乎得到了解决。但大语言模型强化学习程序的复杂性引入了新问题。Ray 使用手册中的方法要求在 Actor 定义阶段就预先写好 Nsight 相关的环境变量,但是像 verl 这样的复杂程序,Actor 被抽象了,它是动态的定义并动态的调用,需要找到动态的时机把这些参数传递进去。实际上,除了在定义 RayActor class 的时候可以指定它的环境变量,在构造它的实例 (instance) 的时候,也可以指定它的环境变量,以手册中示例为例,可以通过以下方式构造 RayActor 的实例:
```
actor = RayActor.options(runtime_env={"nsight": {…}}).remote()
```
这样,我们就可以为每个 RayActor 的实例传入不同环境变量了。当然 verl 的实际应用就更复杂,需要更多的设计,来管理跟踪这些环境变量,并在合适的时机传递给 Actor 进程。
**在 verl 中集成 Nsight Systems 的设计考量**
理解了 Ray 和 Nsight Systems 集成的挑战和解决方案,理论上我们就可以在任何一个基于 Ray 的强化学习框架中使用 Nsight Systems 来分析应用性能和瓶颈了。我们以 verl 为例为其集成了 Nsight Systems 的分析工具,并简要梳理总结了设计中的关键考量,期望能对其他框架集成 Nsight Systems 提供参考。
一、区分 controller 和 worker 进程
目前绝大部分的强化学习框架都接受单一控制流 (single controller) 的概念。一方面,强化学习算法非常复杂,演化速度又快,算法研究者希望自己推演的公式能够像脚本一样在工具中快速实现,这时候用户的思考模式是单进程的。另一方面,超大规模的计算任务一定是多进程进行的,大语言模型的训练和推理引擎都需要支持各种并行优化策略。这中间是有很大差距的。幸运的是,Ray 作为并行计算系统的基础架构,使得弥合这个差距成为可能。OpenRLHF 率先使用 Ray 作为调度的基础框架,verl 则率先提出使用单一控制流来简化算法用户的尝试流程。
这就需要我们在跟踪强化学习任务的时候,分别跟踪 controller 和 worker 进程。
- Controller 进程虽然没有 GPU 计算资源的信息,但是它为用户提供统一的全盘程序执行时间线,使用户能全面把握各个计算任务的整体耗时、分割及占比,避免过早陷入细节。在 verl 中,我们在启动 controller 的时候为其传入了运行时环境变量,这些变量是由 Hydra 配置传入,给用户精细控制 Nsight 的调用参数提供了可能性。
- verl 对 worker 进程做了优雅的抽象,以便能够支持灵活的资源分配、共享,和不同计算任务的合并。忽略 Hydra 配置的传递细节,我们是在不同的角色 (role) 合并之后,最终的 worker 启动之前,把用户配置信息传递进入每个 worker 实例。
二、细粒度跟踪 worker 进程
完成所有配置并运行 Nsight Systems 进行目标程序分析时,用户会遇到一个现实的问题 —— 跟踪数据库太大。强化学习的复杂性必须解决规模的问题。以下从三个角度来说明如何对 worker 进程进行更精细的控制。
**1\. 目标训练步的选择**
大语言模型的训练是一个耗时的过程,而且目标性能瓶颈不一定在初始的若干步之内出现。我们无法对整个过程进行数据跟踪,这就需要我们在特定训练步的时候才开启 Nsight Systems 跟踪,该步结束的时候关闭跟踪。Nsight Systems 提供了 capture-range 的能力,我们在 verl 程序内部通过 torch.cuda.profiler.start() 和 torch.cuda.profiler.stop() 对来控制开启和关闭 Nsight Systems 的跟踪动作。这样每步都会形成一个单独的数据库,方便后续分析。
**2\. 目标 worker 成员 (rank) 的选择**
在一般的训练和推理引擎设计里,一个 GPU 对应一个进程,一个强化学习任务可能使用成百上千的 GPU,甚至到达万卡规模。因此,我们也可以使用 capture-range 机制,仅仅对感兴趣的成员打开 Nsight Systems 的跟踪动作。
**3\. 分立任务的选择**
强化学习的一个训练步骤包括多个子任务(序列生成、优势计算、模型更新),即使是一个训练步骤,数据的规模仍可能很大。我们可以使用 capture-range 机制,对每一个分立任务独立启停 Nsight Systems 跟踪。
三、使用 NVTX 描绘整体运行流程
如前面介绍,NVTX 可以在程序内放置标记和范围,并在 Nsight Systems 时间线上显示。我们对 verl 中每一个关键步骤都进行了范围标记,使用户清晰地看到每个计算子任务之间是怎样的接力关系、时间占比如何。具体来看,我们给 step, gen, reward, old\_log\_prob, ref, values, adv, update\_critic, update\_actor, testing 等计算步骤做了标记。在 verl 的设计中,我们把这些标记与 verl 提供的计时函数进行了融合,使用 marked\_timer 进行计时的任务都自动标记了相应的 NVTX 范围。
四、为其他硬件平台预留设计空间
NVIDIA 一直致力于推动人工智能的发展,推进算法的极限,扩展人类认知领域的边界。主流大语言模型强化学习框架除了采用 NVIDIA 的加速计算方案,也考虑兼容不同的硬件方案。因此在 verl 集成 Nsight Systems 的设计内,我们对 Nsight Systems 的使用方式和 NVTX 的主要函数接口进行了标准抽象,如 ProfilerConfig, DistProfiler, DistProfilerExtension, mark\_range\_start, mark\_range\_end, mark\_annotate 等,并提供了空白实现。我们为标准抽象提供一个 Nsight Systems 的具体实现,如 NsightSystemsProfiler 等。Verl 可以在未来实现其他工具的集成。具体代码可以参考https://github.com/volcengine/verl/blob/main/verl/utils/profiler/profile.py, performance.py, empty\_annotations.py, nvtx\_profile.py.
五、Nsight Systems 的时间线示例
下图是使用 verl v0.4.1 版本的例子 examples/ppo\_trainer/run\_qwen2-7b\_rm\_seq\_balance\_nsys.sh 得到 Nsight Systems 时间线。从图中可以看到,controller 进程显示训练一共持续了 6 步,选取的两个 worker 进程详细地跟踪了其中的第 1、2、5 步。有了详细的 GPU 活动记录,对齐到整体的控制流图,我们就可以有针对性的分析程序性能了。

**常见的反馈问题**
在 Nsight Systems 相关代码合入 verl 的主分支后,很多用户积极试用,在各自的强化学习训练任务的分析和优化中取得了很好的效果。这里汇总一些比较常见的反馈问题,供参考。
**1\. 去哪里找跟踪到的数据结果,这个目录可以指定吗?**
按照 Ray 的使用手册,跟踪到的数据库保存在每个服务器节点的 /tmp/ray/session\_\*/logs/{profiler\_name},并且跟踪目录是不能修改的。这是当前版本 Ray 的一个局限。
**2\. 文件格式如何解读?**
文件格式为 worker\_process\_.nsys-rep 或者 worker\_process\_..nsys-rep,PID 是进程号,RID 是第几个 capture range。
**3\. 去哪里找 controller 的跟踪数据?**
因为 Ray 是在远端服务器节点调度计算任务的,所以它可能会把 controller 任务调度到任何一个节点,这样找起来就不方便。我们在 verl 的程序内让这个 controller 自己打印了自己的位置信息,包括节点的 hostname 和进程号,这样用户就可以在对应的位置找到相应的数据。
**4\. 怎么查看这么多数据?**
Nsight 提供 multi-report view 的模式,用户可以把 controller 和 workers 的数据一次性全部导入,工具会自动按照时间顺序把数据排布在视图之中,方便对齐事件的时间点。
NVIDIA Nsight Systems 使用手册:
https://docs.nvidia.com/nsight-systems/UserGuide/index.html
Ray 使用手册:
https://docs.ray.io/en/latest/ray-observability/user-guides/profiling.html
OpenRLHF:
https://github.com/OpenRLHF/OpenRLHF
verl:
https://github.com/volcengine/verl
AReaL:
https://github.com/inclusionAI/AReaL
ROLL:
https://github.com/alibaba/ROLL
NeMo RL:
https://github.com/NVIDIA-NeMo/RL
**作者**

**马立伟**
NVIDIA 加速计算专家。清华大学电子科学与技术工学博士,上海交通大学信息与控制工程工学学士,研究方向包括计算机体系架构、人工智能算法和大语言模型强化学习框架,持有和申请相关专利 20 余项。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
*/*阅读下一篇*/*
###
[返回网易首页](https://www.163.com/?f=post2020_dy) [下载网易新闻客户端](https://www.163.com/newsapp/#f=post2020_dy)
相关推荐
热点推荐
- [](https://www.163.com/dy/article/K4P45GEI0511AQHO.html?f=post2020_dy_recommends)
### [One image is all you need多模态指令数据合成,只管给图给Oasis](https://www.163.com/dy/article/K4P45GEI0511AQHO.html?f=post2020_dy_recommends)
机器之心Pro 2025-07-18 18:03:34
[0 *跟贴* 0](https://www.163.com/dy/article/K4P45GEI0511AQHO.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/JRBS04JB05349YKB.html?f=post2020_dy_recommends)
### [图文实操:GraphPad 的统计分析与图表导出指南](https://www.163.com/dy/article/JRBS04JB05349YKB.html?f=post2020_dy_recommends)
生物学霸 2025-03-23 18:08:41
[0 *跟贴* 0](https://www.163.com/dy/article/JRBS04JB05349YKB.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K5NK8T0H0511DSSR.html?f=post2020_dy_recommends)
### [o3出圈玩法“看图猜位置”,豆包也安排上了!还是人人免费用那种](https://www.163.com/dy/article/K5NK8T0H0511DSSR.html?f=post2020_dy_recommends)
量子位 2025-07-30 14:23:06
[0 *跟贴* 0](https://www.163.com/dy/article/K5NK8T0H0511DSSR.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8O9IR96051180F7.html?f=post2020_dy_recommends)
### [超1万亿参数!阿里史上最大最强模型免费上线,实测几秒完成程序员半天工作](https://www.163.com/dy/article/K8O9IR96051180F7.html?f=post2020_dy_recommends)
智东西 2025-09-06 03:21:03
[0 *跟贴* 0](https://www.163.com/dy/article/K8O9IR96051180F7.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8MN95RV0511DSSR.html?f=post2020_dy_recommends)
### [告别海量标注!浙大团队让GUI定位在无标签数据上自我进化](https://www.163.com/dy/article/K8MN95RV0511DSSR.html?f=post2020_dy_recommends)
量子位 2025-09-05 12:45:41
[0 *跟贴* 0](https://www.163.com/dy/article/K8MN95RV0511DSSR.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8MSJRGF051288FS.html?f=post2020_dy_recommends)
### [面向超万卡智算集群的创新型存储关键技术研究与实践](https://www.163.com/dy/article/K8MSJRGF051288FS.html?f=post2020_dy_recommends)
通信世界 2025-09-05 14:15:10
[0 *跟贴* 0](https://www.163.com/dy/article/K8MSJRGF051288FS.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/JUS58SCU05118O92.html?f=post2020_dy_recommends)
### [AI芯片“功耗悬崖”:大模型催生的冷却技术革命](https://www.163.com/dy/article/JUS58SCU05118O92.html?f=post2020_dy_recommends)
钛媒体APP 2025-05-06 08:45:41
[12 *跟贴* 12](https://www.163.com/dy/article/JUS58SCU05118O92.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K47BV33B05198NMR.html?f=post2020_dy_recommends)
### [4万亿英伟达,凭什么?](https://www.163.com/dy/article/K47BV33B05198NMR.html?f=post2020_dy_recommends)
华尔街见闻官方 2025-07-11 20:32:51
[0 *跟贴* 0](https://www.163.com/dy/article/K47BV33B05198NMR.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8N9JETF051189P5.html?f=post2020_dy_recommends)
### [MOD发烧友如何借助NVIDIA RTX Remix 和生成式AI重塑经典游戏](https://www.163.com/dy/article/K8N9JETF051189P5.html?f=post2020_dy_recommends)
中关村在线 2025-09-05 18:02:08
[0 *跟贴* 0](https://www.163.com/dy/article/K8N9JETF051189P5.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8M5O0SV05198NMR.html?f=post2020_dy_recommends)
### [英伟达砸下15亿美元,从Lambda租用搭载自家芯片的GPU服务器](https://www.163.com/dy/article/K8M5O0SV05198NMR.html?f=post2020_dy_recommends)
华尔街见闻官方 2025-09-05 07:35:30
[0 *跟贴* 0](https://www.163.com/dy/article/K8M5O0SV05198NMR.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VC7PGONO9.html?f=post2020_dy_recommends)
### [时政Vlog丨换个角度看阅兵!“神级镜头”是这样切换的](https://www.163.com/v/video/VC7PGONO9.html?f=post2020_dy_recommends)
国际在线 2025-09-05 18:16:48
[55 *跟贴* 55](https://www.163.com/v/video/VC7PGONO9.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VC7JUNE0V.html?f=post2020_dy_recommends)
### [100坦克解读来了!主动与被动防护相结合 配备可视化头盔](https://www.163.com/v/video/VC7JUNE0V.html?f=post2020_dy_recommends)
海外网 2025-09-03 14:25:19
[1 *跟贴* 1](https://www.163.com/v/video/VC7JUNE0V.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VL427AMPB.html?f=post2020_dy_recommends)
### [黄仁勋:中国的AI市场无论有没有英伟达都会进步 与华为是竞争对手不是敌人](https://www.163.com/v/video/VL427AMPB.html?f=post2020_dy_recommends)
财联社 2025-07-21 10:22:14
[1 *跟贴* 1](https://www.163.com/v/video/VL427AMPB.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K5S4CMNN05118O92.html?f=post2020_dy_recommends)
### [深度评测:PromptPilot,字节跳动的“提示词工厂”](https://www.163.com/dy/article/K5S4CMNN05118O92.html?f=post2020_dy_recommends)
钛媒体APP 2025-08-01 08:20:11
[0 *跟贴* 0](https://www.163.com/dy/article/K5S4CMNN05118O92.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VI7LT458J.html?f=post2020_dy_recommends)
### [工资多少的师傅,才可以编程这样的程序,看完不得不敬佩!](https://www.163.com/v/video/VI7LT458J.html?f=post2020_dy_recommends)
爆笑小吴 2025-09-04 08:35:48
[0 *跟贴* 0](https://www.163.com/v/video/VI7LT458J.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VM31V55CU.html?f=post2020_dy_recommends)
### [财阀模式下的韩国造船,到底有多“丧心病狂”?](https://www.163.com/v/video/VM31V55CU.html?f=post2020_dy_recommends)
饭统戴老板 2025-07-08 21:43:42
[0 *跟贴* 0](https://www.163.com/v/video/VM31V55CU.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VN7NT28R8.html?f=post2020_dy_recommends)
### [无人机靠近边境即崩溃?自毁程序揭露,土耳其是如何发现的](https://www.163.com/v/video/VN7NT28R8.html?f=post2020_dy_recommends)
衣服固元膏 2025-09-05 03:13:15
[0 *跟贴* 0](https://www.163.com/v/video/VN7NT28R8.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8MMUK9K0511DSSR.html?f=post2020_dy_recommends)
### [字节Seed最新版原生智能体来了!一个模型搞定手机/电脑自主操作](https://www.163.com/dy/article/K8MMUK9K0511DSSR.html?f=post2020_dy_recommends)
量子位 2025-09-05 12:37:27
[2 *跟贴* 2](https://www.163.com/dy/article/K8MMUK9K0511DSSR.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8N3EI190531IVHE.html?f=post2020_dy_recommends)
### [比拜登限制更狠!美新法案将出炉,英伟达天要塌了](https://www.163.com/dy/article/K8N3EI190531IVHE.html?f=post2020_dy_recommends)
科技强哥说 2025-09-05 16:19:07
[1 *跟贴* 1](https://www.163.com/dy/article/K8N3EI190531IVHE.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VQ7MJ800I.html?f=post2020_dy_recommends)
### [美国不出幺蛾子,日本却主动使坏,我国芯片道路的曙光在何处?](https://www.163.com/v/video/VQ7MJ800I.html?f=post2020_dy_recommends)
科普小丁当v 2025-09-04 15:02:22
[0 *跟贴* 0](https://www.163.com/v/video/VQ7MJ800I.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K6N46TIJ0514AGEL.html?f=post2020_dy_recommends)
### [机器学习临床预测模型构建的一般流程](https://www.163.com/dy/article/K6N46TIJ0514AGEL.html?f=post2020_dy_recommends)
医咖会 2025-08-11 19:56:31
[0 *跟贴* 0](https://www.163.com/dy/article/K6N46TIJ0514AGEL.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8KCLO1R051100B9.html?f=post2020_dy_recommends)
### [联想首发!Intel酷睿Ultra 3 205来了,或将制霸入门级PC市场](https://www.163.com/dy/article/K8KCLO1R051100B9.html?f=post2020_dy_recommends)
雷科技 2025-09-04 14:59:55
[1 *跟贴* 1](https://www.163.com/dy/article/K8KCLO1R051100B9.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8K2MD00055040N3.html?f=post2020_dy_recommends)
### [杭州一面馆一碗面卖2188元 店主:我的厨艺值这个价格](https://www.163.com/dy/article/K8K2MD00055040N3.html?f=post2020_dy_recommends)
上观新闻 2025-09-04 12:03:41
[6487 *跟贴* 6487](https://www.163.com/dy/article/K8K2MD00055040N3.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VP7P3E46F.html?f=post2020_dy_recommends)
### [龙芯之母三度挂帅,打破芯片封锁,造出自己的中国芯!](https://www.163.com/v/video/VP7P3E46F.html?f=post2020_dy_recommends)
思考人生的狗子 2025-09-05 14:23:49
[1 *跟贴* 1](https://www.163.com/v/video/VP7P3E46F.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/JSF8MVPP05118O92.html?f=post2020_dy_recommends)
### [成功干出中国芯那天,他说,走,我们向毛主席报喜去](https://www.163.com/dy/article/JSF8MVPP05118O92.html?f=post2020_dy_recommends)
钛媒体APP 2025-04-06 12:04:18
[0 *跟贴* 0](https://www.163.com/dy/article/JSF8MVPP05118O92.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K6F5KQKV05118O92.html?f=post2020_dy_recommends)
### [大模型进入万亿参数时代,超节点是唯一“解”么?丨ToB产业观察](https://www.163.com/dy/article/K6F5KQKV05118O92.html?f=post2020_dy_recommends)
钛媒体APP 2025-08-08 17:47:40
[0 *跟贴* 0](https://www.163.com/dy/article/K6F5KQKV05118O92.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8N1F3BD0511DCFD.html?f=post2020_dy_recommends)
### [《失落之魂》体验:DLSS 4是基本盘,用RTX 5070最理想](https://www.163.com/dy/article/K8N1F3BD0511DCFD.html?f=post2020_dy_recommends)
Tiger5G 2025-09-05 15:58:22
[0 *跟贴* 0](https://www.163.com/dy/article/K8N1F3BD0511DCFD.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8NFLM0705566ZAS.html?f=post2020_dy_recommends)
### [美媒摊牌:若台海战争爆发,中国高价购买的设备可能被远程瘫痪](https://www.163.com/dy/article/K8NFLM0705566ZAS.html?f=post2020_dy_recommends)
寻途 2025-09-05 19:48:33
[0 *跟贴* 0](https://www.163.com/dy/article/K8NFLM0705566ZAS.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VF7F2F4KS.html?f=post2020_dy_recommends)
### [特斯拉FSD国内实装,视觉算法功力如何,这是特斯拉的极限嘛](https://www.163.com/v/video/VF7F2F4KS.html?f=post2020_dy_recommends)
小梦没烦恼 2025-09-01 16:54:30
[14 *跟贴* 14](https://www.163.com/v/video/VF7F2F4KS.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8KCECK70526D8LR.html?f=post2020_dy_recommends)
### [《时间旅者:重生曙光》等多款游戏支持DLSS 4](https://www.163.com/dy/article/K8KCECK70526D8LR.html?f=post2020_dy_recommends)
3DM游戏 2025-09-04 14:54:05
[1 *跟贴* 1](https://www.163.com/dy/article/K8KCECK70526D8LR.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VC7OE9N5U.html?f=post2020_dy_recommends)
### [台退将:东风-61让五角大楼睡不着觉 全世界都打得到的真“杀手”](https://www.163.com/v/video/VC7OE9N5U.html?f=post2020_dy_recommends)
海外网 2025-09-05 08:14:25
[73 *跟贴* 73](https://www.163.com/v/video/VC7OE9N5U.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VR7LUO2CO.html?f=post2020_dy_recommends)
### [唐湘龙:对美国的芯片战,中国一定赢](https://www.163.com/v/video/VR7LUO2CO.html?f=post2020_dy_recommends)
国舌天下 2025-09-04 09:04:09
[0 *跟贴* 0](https://www.163.com/v/video/VR7LUO2CO.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8N7M59K0527EOT6.html?f=post2020_dy_recommends)
### [20万级科技座舱标杆!吉利银河E8 45英寸8K屏+8295芯片体验](https://www.163.com/dy/article/K8N7M59K0527EOT6.html?f=post2020_dy_recommends)
汽车年华 2025-09-05 17:29:08
[0 *跟贴* 0](https://www.163.com/dy/article/K8N7M59K0527EOT6.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8MAGTUJ053469LG.html?f=post2020_dy_recommends)
### [雷军发文:7000名应届生已全部报到,网友沸腾](https://www.163.com/dy/article/K8MAGTUJ053469LG.html?f=post2020_dy_recommends)
极目新闻 2025-09-05 08:59:00
[4191 *跟贴* 4191](https://www.163.com/dy/article/K8MAGTUJ053469LG.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8KKN65J0511DSSR.html?f=post2020_dy_recommends)
### [AI生成苹果Metal内核,PyTorch推理速度提升87%](https://www.163.com/dy/article/K8KKN65J0511DSSR.html?f=post2020_dy_recommends)
量子位 2025-09-04 17:21:50
[2 *跟贴* 2](https://www.163.com/dy/article/K8KKN65J0511DSSR.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VE0UOQMCD.html?f=post2020_dy_recommends)
### [黄仁勋GTC演讲:量子计算的未来已来](https://www.163.com/v/video/VE0UOQMCD.html?f=post2020_dy_recommends)
机器之心Pro 2025-06-12 19:24:01
[9 *跟贴* 9](https://www.163.com/v/video/VE0UOQMCD.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VH7NQUFOR.html?f=post2020_dy_recommends)
### [云南一职业学院听障班军训,教官采用旗语传达动作指令](https://www.163.com/v/video/VH7NQUFOR.html?f=post2020_dy_recommends)
警界君 2025-09-05 02:36:14
[0 *跟贴* 0](https://www.163.com/v/video/VH7NQUFOR.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VM7NK1T97.html?f=post2020_dy_recommends)
### [横跨苹果链+英伟达链,工业富联市值破万亿元](https://www.163.com/v/video/VM7NK1T97.html?f=post2020_dy_recommends)
每日经济新闻 2025-09-05 00:35:46
[0 *跟贴* 0](https://www.163.com/v/video/VM7NK1T97.html?f=post2020_dy_recommends)
- [](https://www.163.com/dy/article/K8N05NBN0512B07B.html?f=post2020_dy_recommends)
### [英伟达封装或采用碳化硅,科创半导体ETF(588170)收涨3.45%,天岳先进涨停](https://www.163.com/dy/article/K8N05NBN0512B07B.html?f=post2020_dy_recommends)
每日经济新闻 2025-09-05 15:17:21
[0 *跟贴* 0](https://www.163.com/dy/article/K8N05NBN0512B07B.html?f=post2020_dy_recommends)
- [](https://www.163.com/v/video/VX7OHCMDH.html?f=post2020_dy_recommends)
### [万能的德国机床,加工巴黎铁塔模型,看完简直刷新了我的认知](https://www.163.com/v/video/VX7OHCMDH.html?f=post2020_dy_recommends)
制造科技 2025-09-05 09:08:28
[2 *跟贴* 2](https://www.163.com/v/video/VX7OHCMDH.html?f=post2020_dy_recommends)
[](https://www.163.com/dy/article/K8M9NPIU0556BKNY.html?f=post1603_tab_news "九三阅兵前夕,6名间谍落网!带1448份机密出逃,泄露尖端武器")
### [九三阅兵前夕,6名间谍落网!带1448份机密出逃,泄露尖端武器](https://www.163.com/dy/article/K8M9NPIU0556BKNY.html?f=post1603_tab_news "九三阅兵前夕,6名间谍落网!带1448份机密出逃,泄露尖端武器")
月凌渡
2025-09-05 08:46:39
[](https://www.163.com/dy/article/K6PBL6QC0556CHBH.html?f=post1603_tab_news "无删减《权利的游戏》,震撼超出你的想象")
### [无删减《权利的游戏》,震撼超出你的想象](https://www.163.com/dy/article/K6PBL6QC0556CHBH.html?f=post1603_tab_news "无删减《权利的游戏》,震撼超出你的想象")
暖心萌阿菇凉
2025-08-12 16:45:55
[](https://www.163.com/dy/article/K8I0NG9T0553EI3Z.html?f=post1603_tab_news "为啥大公司要盯着你的“第一学历”?因为它是你的“智商和血统”")
### [为啥大公司要盯着你的“第一学历”?因为它是你的“智商和血统”](https://www.163.com/dy/article/K8I0NG9T0553EI3Z.html?f=post1603_tab_news "为啥大公司要盯着你的“第一学历”?因为它是你的“智商和血统”")
大道无形我有型
2025-09-03 16:50:56
[](https://www.163.com/dy/article/K8BHCTJN0553TENB.html?f=post1603_tab_news "54岁大妈每周两次性生活,坚持半年后,58岁老伴的身体却出了问题")
### [54岁大妈每周两次性生活,坚持半年后,58岁老伴的身体却出了问题](https://www.163.com/dy/article/K8BHCTJN0553TENB.html?f=post1603_tab_news "54岁大妈每周两次性生活,坚持半年后,58岁老伴的身体却出了问题")
普陀动物世界
2025-09-01 04:27:30
[](https://www.163.com/dy/article/K8N8FAVT0519AT9B.html?f=post1603_tab_news "时隔四年,华为再次公布麒麟芯片")
### [时隔四年,华为再次公布麒麟芯片](https://www.163.com/dy/article/K8N8FAVT0519AT9B.html?f=post1603_tab_news "时隔四年,华为再次公布麒麟芯片")
财天COVER
2025-09-05 17:43:14
[](https://www.163.com/dy/article/K8OJILFJ0549BAP0.html?f=post1603_tab_news "巴斯托尼:加图索给了我们一些“耳光”,也许唤醒了我们")
### [巴斯托尼:加图索给了我们一些“耳光”,也许唤醒了我们](https://www.163.com/dy/article/K8OJILFJ0549BAP0.html?f=post1603_tab_news "巴斯托尼:加图索给了我们一些“耳光”,也许唤醒了我们")
懂球帝
2025-09-06 06:15:43
[](https://www.163.com/dy/article/K8L2MVN50525RS7P.html?f=post1603_tab_news "才知道,市场上这5种“药水”蔬菜,菜贩子:我从不给家人吃")
### [才知道,市场上这5种“药水”蔬菜,菜贩子:我从不给家人吃](https://www.163.com/dy/article/K8L2MVN50525RS7P.html?f=post1603_tab_news "才知道,市场上这5种“药水”蔬菜,菜贩子:我从不给家人吃")
阿龙美食记
2025-09-04 21:23:37
[](https://www.163.com/dy/article/K8MQI3O80549B9YO.html?f=post1603_tab_news "正式退出,前往中国打球,张本美和薪水有多少?日本队意外")
### [正式退出,前往中国打球,张本美和薪水有多少?日本队意外](https://www.163.com/dy/article/K8MQI3O80549B9YO.html?f=post1603_tab_news "正式退出,前往中国打球,张本美和薪水有多少?日本队意外")
东球弟
2025-09-05 13:40:49
[](https://www.163.com/dy/article/K8NAMSHK0556C085.html?f=post1603_tab_news "越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面")
### [越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面](https://www.163.com/dy/article/K8NAMSHK0556C085.html?f=post1603_tab_news "越南新娘嫁到浙江18年,第一次回娘家,丈夫给了她一箱方便面")
流萤叙情
2025-09-05 18:22:25
[](https://www.163.com/dy/article/K8OEM4EB0529MFRJ.html?f=post1603_tab_news "2-0!皇马铁腰助攻,姆巴佩一条龙,法国拒绝爆冷,世预赛开门红")
### [2-0!皇马铁腰助攻,姆巴佩一条龙,法国拒绝爆冷,世预赛开门红](https://www.163.com/dy/article/K8OEM4EB0529MFRJ.html?f=post1603_tab_news "2-0!皇马铁腰助攻,姆巴佩一条龙,法国拒绝爆冷,世预赛开门红")
我的护球最独特
2025-09-06 04:50:22
[](https://www.163.com/dy/article/K2EU997A0556BUK2.html?f=post1603_tab_news "台儿庄战役六功臣的悲惨结局")
### [台儿庄战役六功臣的悲惨结局](https://www.163.com/dy/article/K2EU997A0556BUK2.html?f=post1603_tab_news "台儿庄战役六功臣的悲惨结局")
深度报
2025-06-19 22:36:15
[](https://www.163.com/dy/article/K5QEN3C605384KEI.html?f=post1603_tab_news "上海,女子与一男子相亲,点了2万元的酒后,女子称腹痛离开,男子刷爆信用卡支付2.5万元后报警,结果……")
### [上海,女子与一男子相亲,点了2万元的酒后,女子称腹痛离开,男子刷爆信用卡支付2.5万元后报警,结果……](https://www.163.com/dy/article/K5QEN3C605384KEI.html?f=post1603_tab_news "上海,女子与一男子相亲,点了2万元的酒后,女子称腹痛离开,男子刷爆信用卡支付2.5万元后报警,结果……")
LadyDaily
2025-07-31 16:42:08
[](https://www.163.com/dy/article/K8G2OOPT0543BDKX.html?f=post1603_tab_news "染色体多一条,长相像一家?为啥唐氏儿千人一面,还“挑”妈?")
### [染色体多一条,长相像一家?为啥唐氏儿千人一面,还“挑”妈?](https://www.163.com/dy/article/K8G2OOPT0543BDKX.html?f=post1603_tab_news "染色体多一条,长相像一家?为啥唐氏儿千人一面,还“挑”妈?")
向航说
2025-09-04 00:05:03
[](https://www.163.com/dy/article/K8MV3BEO05567TR7.html?f=post1603_tab_news "江苏33岁老板娘,出轨18岁暑假工,称对方“永动机”,发圈晒合照")
### [江苏33岁老板娘,出轨18岁暑假工,称对方“永动机”,发圈晒合照](https://www.163.com/dy/article/K8MV3BEO05567TR7.html?f=post1603_tab_news "江苏33岁老板娘,出轨18岁暑假工,称对方“永动机”,发圈晒合照")
热点菌本君
2025-09-05 15:03:13
[](https://www.163.com/dy/article/K8M24KC00529EHHD.html?f=post1603_tab_news "狂轰6球!世界第8制造惨案,5人破门,对手耻辱0射门")
### [狂轰6球!世界第8制造惨案,5人破门,对手耻辱0射门](https://www.163.com/dy/article/K8M24KC00529EHHD.html?f=post1603_tab_news "狂轰6球!世界第8制造惨案,5人破门,对手耻辱0射门")
足球狗说
2025-09-05 06:35:29
[](https://www.163.com/dy/article/K7INISG805563FPE.html?f=post1603_tab_news "正在滑向特务政治的越南,有可能成为地缘定时炸弹")
### [正在滑向特务政治的越南,有可能成为地缘定时炸弹](https://www.163.com/dy/article/K7INISG805563FPE.html?f=post1603_tab_news "正在滑向特务政治的越南,有可能成为地缘定时炸弹")
近史博览
2025-08-22 13:14:48
[](https://www.163.com/dy/article/K8HO26R20556FCBX.html?f=post1603_tab_news "姜维的最后一计为何那么出名,纵观古今,绝对是“天花板”级别!")
### [姜维的最后一计为何那么出名,纵观古今,绝对是“天花板”级别!](https://www.163.com/dy/article/K8HO26R20556FCBX.html?f=post1603_tab_news "姜维的最后一计为何那么出名,纵观古今,绝对是“天花板”级别!")
铭记历史呀
2025-09-03 14:19:27
[](https://www.163.com/dy/article/K69S90VN0552LOP0.html?f=post1603_tab_news "丈夫退伍的第10年,我强制他退了战友群,原因是这五件事太烦人")
### [丈夫退伍的第10年,我强制他退了战友群,原因是这五件事太烦人](https://www.163.com/dy/article/K69S90VN0552LOP0.html?f=post1603_tab_news "丈夫退伍的第10年,我强制他退了战友群,原因是这五件事太烦人")
小马达情感故事
2025-08-06 18:35:03
[](https://www.163.com/dy/article/K8OH3SSG0549BAP0.html?f=post1603_tab_news "姆巴佩:向亨利致敬,但现在我想超过他的进球纪录")
### [姆巴佩:向亨利致敬,但现在我想超过他的进球纪录](https://www.163.com/dy/article/K8OH3SSG0549BAP0.html?f=post1603_tab_news "姆巴佩:向亨利致敬,但现在我想超过他的进球纪录")
懂球帝
2025-09-06 05:32:42
[](https://www.163.com/dy/article/K8KTLK8A0521W23J.html?f=post1603_tab_news "我在工地和女子做了3年临时夫妻,分别那天她拉住我:可以留下吗")
### [我在工地和女子做了3年临时夫妻,分别那天她拉住我:可以留下吗](https://www.163.com/dy/article/K8KTLK8A0521W23J.html?f=post1603_tab_news "我在工地和女子做了3年临时夫妻,分别那天她拉住我:可以留下吗")
农村情感故事
2025-09-04 19:58:46
2025-09-06 06:40:49
[ ](https://www.163.com/dy/media/T1624343808642.html)
[NVIDIA英伟达中国](https://www.163.com/dy/media/T1624343808642.html)
[英伟达(中国)官方账号](https://www.163.com/dy/media/T1624343808642.html)
[*3229*](https://www.163.com/dy/media/T1624343808642.html)文章数 [*1415*](https://www.163.com/dy/media/T1624343808642.html)关注度
往期回顾 [全部](https://www.163.com/dy/media/T1624343808642.html)
## [科技要闻](https://tech.163.com/)
[ 特斯拉想送马斯克9750亿美元 条件很苛刻](https://www.163.com/dy/article/K8NKQNJF0519DDQ2.html)
- ### [DeepSeek被曝年底或"放大招",业内怎么看](https://www.163.com/dy/article/K8N6KQ110514R9P4.html)
- ### [国产芯片“狂飙”,但离英伟达还有多远?](https://www.163.com/tech/article/K8M9FLLO00097U7T.html)
- ### [17999元起!华为发布三折叠屏手机新品](https://www.163.com/digi/article/K8KDL729001680P9.html)
- ### [传苹果自研AI搜索,明年iPhone将大升级](https://www.163.com/tech/article/K8JKEI8F00097U7T.html)
## [头条要闻](https://news.163.com/?f=post2020_dy_news_bj)
[ 马克龙宣布26国将联合出兵乌克兰 泽连斯基表示欢迎](https://www.163.com/dy/article/K8N80Q1T0512B07B.html)
- ### [商家花5万找千万粉丝网红带货仅成交1单:名字都念错](https://www.163.com/dy/article/K8N96PF00530JPVV.html)
- ### [83岁韩议员访华观礼:都怪尹锡悦瞎搞 让我们落后中国](https://www.163.com/news/article/K8NQIKUN0001899O.html)
- ### [男子被指抢劫杀人申诉21年刑满释放 检方曾提多个疑点](https://www.163.com/dy/article/K8NLAL8G0514D3UH.html)
- ### [焦虑升温 NASA代理局长:我们一定会抢在中国前登月](https://www.163.com/news/article/K8NPATCK0001899O.html)
## [头条要闻](https://news.163.com/?f=post2020_dy_news)
[ 马克龙宣布26国将联合出兵乌克兰 泽连斯基表示欢迎](https://www.163.com/dy/article/K8N80Q1T0512B07B.html)
- ### [商家花5万找千万粉丝网红带货仅成交1单:名字都念错](https://www.163.com/dy/article/K8N96PF00530JPVV.html)
- ### [83岁韩议员访华观礼:都怪尹锡悦瞎搞 让我们落后中国](https://www.163.com/news/article/K8NQIKUN0001899O.html)
- ### [男子被指抢劫杀人申诉21年刑满释放 检方曾提多个疑点](https://www.163.com/dy/article/K8NLAL8G0514D3UH.html)
- ### [焦虑升温 NASA代理局长:我们一定会抢在中国前登月](https://www.163.com/news/article/K8NPATCK0001899O.html)
## [体育要闻](https://sports.163.com/)
[ 西甲最穷的“草台班子”,竟然打进欧战了](https://www.163.com/sports/article/K8MBHDH700059A7T.html)
- ### [勇士今夏首笔引援:霍福德两年1170万美元加盟](https://www.163.com/dy/article/K8NL5ILG0529RKNN.html)
- ### [U16亚洲杯:中国男篮大胜巴林晋级半决赛 锁定U17世界杯入场券](https://www.163.com/dy/article/K8NAUTJ80529RKNN.html)
- ### [国足或1个月敲定新帅!已有5大候选,卡纳瓦罗自荐,2人已退出](https://www.163.com/dy/article/K8N98NEJ0552LYH5.html)
- ### [詹姆斯中国行成都站盛况:赵睿崔永熙李梦助阵 指导国青大秀暴扣](https://www.163.com/dy/article/K8NGKR8K0529RKNN.html)
## [娱乐要闻](https://ent.163.com/)
[ !被骂“恋爱脑”的董璇玩脱了?](https://www.163.com/dy/article/K8MVTMP405566X71.html)
- ### [王晶399教你“掌控人生”太炸裂,知识付费的风吹到港台了?](https://www.163.com/dy/article/K8NU91U1051787EK.html)
- ### [E句话 \| 她将在明年夏天完婚!](https://www.163.com/dy/article/K8NU75AK051787EK.html)
- ### [令陈红周迅一见倾心 未婚无儿无女 65岁隐居深山](https://www.163.com/dy/article/K8MVQTDK05562NK9.html)
- ### [他是央视金牌主持人 57岁才结婚 娶了北师大教授](https://www.163.com/dy/article/K8MVP13T05562NK9.html)
## [财经要闻](https://money.163.com/)
[ 拖欠订单 立讯精密被供应商索赔3343万](https://www.163.com/money/article/K8N3FPCO00258105.html)
- ### [哪些公司真把人当人?即便下行仍追求“清洁”?](https://www.163.com/dy/article/K8O39F6P051188EA.html)
- ### [隐藏式把手,终于要被砍了?](https://www.163.com/dy/article/K8O2N52A051188EA.html)
- ### [中信建投携手西部证券仍难挽败局,陕西水电主板IPO缘何意外叫停](https://www.163.com/dy/article/K8NTDOV80519WTTG.html)
- ### [关于比特币,你可能不知道的(三)](https://www.163.com/dy/article/K8NVD9M6051188EA.html)
## [汽车要闻](https://auto.163.com/)
[ 华为乾崑技术日 实测ADS4已无限接近人类司机](https://www.163.com/v/video/VK7OU38F5.html)
- ### [与福特丰田皮卡PK?威麟要打造中国皮卡全球新格局](https://www.163.com/auto/article/K8N211K2000884MP.html)
- ### [荣耀前CMO姜海荣加入深蓝汽车任CEO 邓承浩任董事长](https://www.163.com/auto/article/K8MUDRIL000884MO.html)
- ### [全系标配冰箱/电吸门 2026款阿维塔07开启预售](https://www.163.com/auto/article/K8KNQVKF0008856R.html)
- ### [半年亏损11.93亿美元,所以极星汽车还能活多久?](https://www.163.com/dy/article/K8NADA3205278BSU.html)
## 态度原创
- ### [*\+arrTaiduYuanC\[i\].tag+'* \| '+arrTaiduYuanC\[i\].title+'](https://www.163.com/dy/article/'+arrTaiduYuanC[i].link+')
\\
[时尚](https://fashion.163.com/)
[教育](https://edu.163.com/)
[数码](https://digi.163.com/)
[公开课](https://open.163.com/)
[军事航空](https://war.163.com/)
[ 刘诗诗:丹心为诗](https://www.163.com/dy/article/K8MVHKQA051283QK.html)
- ### [今日热点:《男宝星球2》将推出中国组合;《街头霸王》真人版定档明年10月……](https://www.163.com/dy/article/K8MOLVIP051884GP.html)
- ### [很久没在内娱见到这么好看的原创剧本了!](https://www.163.com/dy/article/K8MOKIKJ051884GP.html)
- ### [50+女人要想穿得好看,不靠“装嫩”靠这3招!越老越简约得体](https://www.163.com/dy/article/K8HUFQFF05389724.html)
## [教育要闻](https://edu.163.com/)
[ 乡村教师接到调令:下学期去镇党政办报到,编制不动,工资照领](https://www.163.com/dy/article/K7L23UKR0536TKDY.html)
- ### [教师“待岗”风波:半夜被待岗,老师当场懵工资还没发,饭碗先没](https://www.163.com/dy/article/K7L1GG1F0536TKDY.html)
- ### [43%留学生突然断供回国:教育不是豪赌,别让它成全家人的负债表](https://www.163.com/dy/article/K7L0SKA80536TKDY.html)
- ### [高校转岗分流潮:高校教师转专业很失落,更有甚者被踢出校门](https://www.163.com/dy/article/K7L0CVQI0536TKDY.html)
- ### [你能接受打唇钉,打舌钉的人吗?](https://www.163.com/v/video/VZ7QAJJKV.html)
## [数码要闻](https://digi.163.com/)
[ IFA 2025直击:AI PC成绝对主角,各家新品争奇斗艳](https://www.163.com/dy/article/K8NPJKC4051100B9.html)
- ### [Raspberry Pi推出1TB SSD 售价70美元](https://www.163.com/dy/article/K8NPT5LJ0511BLFD.html)
- ### [Sudkoo PROTEUS 360水冷散热器国行上市,1699元](https://www.163.com/dy/article/K8NN5FLM0511B8LM.html)
- ### [海信携全球最大116吋RGB-Mini LED炸场IFA 2025,展示三大显示技术](https://www.163.com/digi/article/K8NLSMM3001680P9.html)
## [公开课](https://open.163.com/)
### [李玫瑾:为什么性格比能力更重要?](https://open.163.com/newview/movie/free?pid=EHHGVM7FA&mid=KIAL4QM5K)
- ### [白岩松谈人口老龄化:社会要降低老年人门槛](https://open.163.com/newview/movie/free?pid=QG36DFKM1&mid=UG36DFKMI)
- ### [为什么人类有不同的肤色?](https://open.163.com/newview/movie/free?pid=AICUHKKK6&mid=KICUHKKL9#share-mob)
- ### [“三思而后行”,下半句才是孔子本意](https://open.163.com/newview/movie/free?pid=SHHESQJ9V&mid=DHHESQJAO)
- ### [李彦宏:百度离破产30天](https://open.163.com/newview/movie/free?pid=XGIS0MSS0&mid=GGIS0MSSN)
## [军事要闻](https://war.163.com/)
[ 全网独家!九三阅兵全图鉴](https://www.163.com/dy/article/K8JTCUG805561G29.html)
- ### [澳大利亚未派部长或大使出席九三阅兵活动 外交部回应](https://www.163.com/news/article/K8NFP52O0001899O.html)
- ### [普京回应马克龙"派兵"言论:俄方将会视其为打击目标](https://www.163.com/dy/article/K8NITQ1G0512B07B.html)
- ### [谈及乌克兰问题 耿爽:中方没向冲突任何一方提供武器](https://www.163.com/news/article/K8N5CKUU0001899O.html)
[](http://www.163.com/newsapp/#f=qr)
© 1997-2025 网易公司版权所有 [About NetEase](https://corp.163.com/) \| [公司简介](https://corp.163.com/gb/about/overview.html) \| [联系方法](https://corp.163.com/gb/contactus.html) \| [招聘信息](https://corp.163.com/gb/job/job.html) \| [客户服务](https://help.163.com/) \| [隐私政策](https://corp.163.com/gb/legal.html) \| [不良信息举报 Complaint Center](https://www.163.com/special/0077jt/tipoff.html) \| [廉正举报](https://jubao.163.com/) \| [侵权投诉](https://corp.163.com/special/008397U0/reporting_infringements.html)
[无障碍浏览]() [进入关怀版]() |
| Readable Markdown | null |
| Shard | 16 (laksa) |
| Root Hash | 15734730450708169016 |
| Unparsed URL | com,163!www,/dy/article/K4MQ744N0552BFKV.html s443 |