🕷️ Crawler Inspector

URL Lookup

Direct Parameter Lookup

Raw Queries and Responses

1. Shard Calculation

Query:
Response:
Calculated Shard: 171 (from laksa063)

2. Crawled Status Check

Query:
Response:

3. Robots.txt Check

Query:
Response:

4. Spam/Ban Check

Query:
Response:

5. Seen Status Check

ℹ️ Skipped - page is already crawled

🚫
NOT INDEXABLE
CRAWLED
8 months ago
🤖
ROBOTS ALLOWED

Page Info Filters

FilterStatusConditionDetails
HTTP statusPASSdownload_http_code = 200HTTP 200
Age cutoffFAILdownload_stamp > now() - 6 MONTH8.4 months ago
History dropPASSisNull(history_drop_reason)No drop reason
Spam/banPASSfh_dont_index != 1 AND ml_spam_score = 0ml_spam_score=0
CanonicalPASSmeta_canonical IS NULL OR = '' OR = src_unparsedNot set

Page Details

PropertyValue
URLhttps://www.hiascend.com/software/modelzoo/models/detail/36f8b77d9f404f79b50d7cd09abbf9b9
Last Crawled2025-07-30 06:09:00 (8 months ago)
First Indexednot set
HTTP Status Code200
Meta TitleFairseq_Transformer-PyTorch-模型库-ModelZoo-昇腾社区
Meta DescriptionFairseq Transformer wmt18模型是Fairseq套件中基于Transformer结构的翻译模型,在wmt18 en2de数据集上训练和评估。
Meta Canonicalnull
Boilerpipe Text
简述 Fairseq Transformer wmt18模型是Fairseq套件中基于Transformer结构的翻译模型,在wmt18 en2de数据集上训练和评估。 参考实现: url=https://github.com/facebookresearch/fairseq commit_id=3f6ba43f07a6e9e2acf957fc24e57251a7a3f55c 适配昇腾 AI 处理器的实现: url=https://gitee.com/ascend/ModelZoo-PyTorch.git code_path=PyTorch/built-in/nlp 准备环境 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 表 1 版本支持表 Torch_Version 三方库依赖版本 PyTorch 1.11 - 环境准备指导。 请参考《 Pytorch框架训练环境准备 》。 安装套件。 在模型源码包根目录下执行以下命令。 pip3 install sympy sacremoses pip3 install -e ./ 准备数据集 获取数据集。 用户自行下载 WMT18 (Workshop on Machine Translation at EMNLP 2018)数据集,并将 表2 数据集简介表 中的数据集全部下载后上传到源码包中的 ./examples/translation/orig 目录下并解压。 表 2 数据集简介表 其中,前五项语料为训练集+验证集;最后一项语料为测试集。 下载tokenize和分词工具。 进入数据集目录执行以下命令。 cd examples/translation/ echo 'Cloning Moses github repository (for tokenization scripts)...' git clone https://github.com/moses-smt/mosesdecoder.git echo 'Cloning Subword NMT repository (for BPE pre-processing)...' git clone https://github.com/rsennrich/subword-nmt.git cd ../../ 数据预处理。 进入数据集目录运行预处理脚本。该阶段需要进行分词,耗时较长,请耐心等待。 cd examples/translation/ bash prepare-wmt18en2de.sh cd ../../ 生成训练数据集。 进入源码包根目录下执行以下命令。 TEXT=examples/translation/wmt18_en_de fairseq-preprocess \ --source-lang en --target-lang de \ --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \ --thresholdtgt 0 --thresholdsrc 0 \ --workers 20 \ --destdir data-bin/wmt18_en_de # 数据集路径,可根据实际情况进行调整 训练模型 进入源码包根目录。 cd /${模型文件夹名称} 运行训练脚本。 该模型支持单机单卡训练和单机8卡训练。 单机单卡训练 启动单卡训练。 fp16训练命令 bash ./test/train_performance_1p_fp16.sh --data_path=data-bin/wmt18_en_de # 单卡性能 fp32训练命令 bash ./test/train_performance_1p_fp32.sh --data_path=data-bin/wmt18_en_de # 单卡性能 单机8卡训练。 启动8卡训练。 fp16训练命令 bash ./test/train_full_8p_fp16.sh --data_path=data-bin/wmt18_en_de # 8卡精度 bash ./test/train_performance_8p_fp16.sh --data_path=data-bin/wmt18_en_de # 8卡性能 fp32训练命令 bash ./test/train_full_8p_fp32.sh --data_path=data-bin/wmt18_en_de # 8卡精度 bash ./test/train_performance_8p_fp32.sh --data_path=data-bin/wmt18_en_de # 8卡性能 data_path为数据集路径,路径写到wmt18_en_de。 模型训练脚本参数说明如下。 公共参数: --data_path //数据集路径 --save-dir //权重文件保存路径 --max-epoch //重复迭代轮数 --max-tokens //最大token大小 --lr //学习率 --distributed-world-size //是否进行分布式训练 训练完成后,权重文件默认保存在当前路径的checkpoints/transformer_wmt_en_de目录下,并输出模型训练精度和性能信息。 表 3 en_de数据集训练结果展示表 NAME MODE Bleu WPS Epochs AMP_Type Torch_Version 8p-竞品A fp16 41.14 450k 20 - 1.11 8p-NPU fp16 41.17 170k 20 - 1.11 8p-竞品A fp32 41.12 334k 20 - 1.11 8p-NPU fp32 41.21 223k 20 - 1.11 说明: 由于该模型默认开启二进制,所以在性能测试时,需要安装二进制包,安装方式参考《 Pytorch框架训练环境准备 》。 代码涉及公网地址参考 public_address_statement.md 变更 2023.6.9:首次发布。 FAQ 如遇到docker内运行不打日志问题,需要添加环境变量 export PYTHONUNBUFFERED=0
Markdown
![](https://www.hiascend.com/_static3/pc-weixin-saoma.CyBo0RDi.jpg) 华为计算微信公众号 ![](https://www.hiascend.com/_static3/pc-weixin-ai-saoma.Bs3McQFf.jpg) 昇腾AI开发者公众号 ![](https://www.hiascend.com/_static3/pc-weibo-saoma.BvvjN8qv.jpg) 华为计算微博 ![](https://www.hiascend.com/_static3/pc-toutiao-saoma.BmewfP4Z.jpg) 华为计算今日头条 [![昇腾社区](https://www.hiascend.com/_static3/logo1.BQ2XZIjU.svg)](https://www.hiascend.com/zh) [首页](https://www.hiascend.com/ "首页") 产品 解决方案 [开发者](https://www.hiascend.com/developer "开发者") [合作伙伴](https://www.hiascend.com/ecosystem/ascendpartner "合作伙伴") [高校](https://edu.hicomputing.huawei.com/ "高校") [昇腾AI市场](https://www.hiascend.com/marketplace "昇腾AI市场") 产业资讯 [支持与服务](https://www.hiascend.com/support "支持与服务") 产品 昇腾计算产业概述 资源下载中心 固件与驱动 Atlas系列硬件 [开发者套件](https://www.hiascend.com/hardware/developer-kit-a2 "开发者套件") [加速模块](https://www.hiascend.com/hardware/accelerator-module-A2 "加速模块") [加速卡](https://www.hiascend.com/hardware/accelerator-card "加速卡") [智能小站](https://www.hiascend.com/hardware/Intelligent-edge-A2 "智能小站") [服务器](https://www.hiascend.com/hardware/ai-server "服务器") [集群](https://www.hiascend.com/hardware/cluster "集群") 异构计算架构 [CANN](https://www.hiascend.com/software/cann "CANN") AI框架 [昇思MindSpore](https://www.mindspore.cn/ "昇思MindSpore") [PyTorch框架适配](https://www.hiascend.com/software/ai-frameworks/pytorch "PyTorch框架适配") [TensorFlow框架适配](https://www.hiascend.com/software/ai-frameworks/tensorflow "TensorFlow框架适配") [应用使能](https://www.hiascend.com/software/mindx "应用使能") [MindSpeed](https://www.hiascend.com/software/mindspeed "MindSpeed") [MindIE](https://www.hiascend.com/software/mindie "MindIE") [MindCluster](https://www.hiascend.com/software/mindx-dl "MindCluster") [MindEdge](https://www.hiascend.com/software/mindx-edge "MindEdge") [MindSDK](https://www.hiascend.com/software/mindx-sdk "MindSDK") [ModelZoo](https://www.hiascend.com/software/modelzoo "ModelZoo") 全流程开发工具链 [MindStudio](https://www.hiascend.com/software/mindstudio "MindStudio") 集群自智引擎 [CCAE](https://www.hiascend.com/software/ccae "CCAE") 解决方案 行业应用 [人工智能计算中心](https://www.hiascend.com/industries/ai-computing-center "人工智能计算中心") [能源](https://www.hiascend.com/industries/electricity "能源") [金融](https://www.hiascend.com/industries/fintech "金融") [交通](https://www.hiascend.com/industries/transportation "交通") [电信](https://www.hiascend.com/industries/telecom "电信") [智慧城市](https://www.hiascend.com/industries/smartcity "智慧城市") [制造](https://www.hiascend.com/industries/manufacturing "制造") [医疗](https://www.hiascend.com/industries/healthcare "医疗") 解决方案 [昇腾大模型解决方案](https://www.hiascend.com/solutions/Foundation-Model "昇腾大模型解决方案") [城市智能中枢](https://www.hiascend.com/industries/solutions/smart-city "城市智能中枢") [昇腾生态解决方案](https://www.hiascend.com/marketplace/solution "昇腾生态解决方案") 开发者 开发者主页 论坛 鲲鹏昇腾原生创新汇 开发场景 [推理开发 NEW](https://www.hiascend.com/developer/inference "推理开发") [算子开发 NEW](https://www.hiascend.com/developer/operator "算子开发") 开发资源 [资源下载中心](https://www.hiascend.com/developer/download "资源下载中心") [固件与驱动](https://www.hiascend.com/hardware/firmware-drivers/community "固件与驱动") [昇腾镜像仓库](https://www.hiascend.com/developer/ascendhub "昇腾镜像仓库") [兼容性查询助手](https://www.hiascend.com/hardware/compatibility "兼容性查询助手") [ModelZoo](https://www.hiascend.com/software/modelzoo "ModelZoo") [昇腾开放资源](https://www.hiascend.com/zh/developer/opensource "昇腾开放资源") 专区 [开发板专区](https://www.hiascend.com/developer/devboard "开发板专区") [DeepSeek专区 HOT](https://www.hiascend.com/developer/deepseek "DeepSeek专区") [文档](https://www.hiascend.com/zh/document "文档") [活动](https://www.hiascend.com/activities "活动") [昇腾AI开发者创享日·广东站 HOT](https://www.hiascend.com/developer/activities-pro/Ascend-AI-Inspire-Day/2025guangdong "昇腾AI开发者创享日·广东站") [鲲鹏昇腾开发者大会2025](https://www.hiascend.com/ascend-2025KADC "鲲鹏昇腾开发者大会2025") [昇腾AI开发者创享日](https://www.hiascend.com/developer/activities/Ascend-AI-Inspire-Day "昇腾AI开发者创享日") [昇腾学堂·活动广场](https://www.hiascend.com/developer/School-Magnetic-Space "昇腾学堂·活动广场") [昇腾AI训练营-CANN训练营](https://www.hiascend.com/developer/activities/cann20251 "昇腾AI训练营-CANN训练营") 大赛 [昇腾AI创新大赛2025](https://www.hiascend.com/zh/developer/AAIC2025 "昇腾AI创新大赛2025") [昇腾AI创新大赛-算子挑战赛 HOT](https://www.hiascend.com/developer/ops "昇腾AI创新大赛-算子挑战赛") [直播](https://www.hiascend.com/developer/activities/Live "直播") [学习](https://www.hiascend.com/developer/Ascend-School "学习") [学习路径](https://www.hiascend.com/edu/growth "学习路径") [在线课程](https://www.hiascend.com/edu/courses "在线课程") [在线实验](https://www.hiascend.com/edu/experiment "在线实验") [认证](https://www.hiascend.com/edu/certification "认证") 互动 [论坛](https://www.hiascend.com/forum/ "论坛") [博客 NEW](https://www.hiascend.com/developer/blog?sectionId=0101178462695499013 "博客") [技术干货](https://www.hiascend.com/developer/techArticles "技术干货") [昇腾社区APP](https://www.hiascend.com/developer/app-introduction "昇腾社区APP") 开发者计划 [昇腾开发者计划2025](https://www.hiascend.com/developer-program_2025 "昇腾开发者计划2025") [昇腾众智计划](https://www.hiascend.com/ecosystem/all-wisdom "昇腾众智计划") [昇腾荣誉顾问](https://www.hiascend.com/developer/honorary-consultant "昇腾荣誉顾问") [昇腾MVP](https://www.hiascend.com/developer/MVP "昇腾MVP") [昇腾HAE](https://www.hiascend.com/ecosystem/hae "昇腾HAE") 原生创新汇会员 [鲲鹏昇腾原生创新汇](https://edu.hicomputing.huawei.com/members "鲲鹏昇腾原生创新汇") 合作伙伴 登录生态伙伴中心 合作伙伴 [昇腾生态合作伙伴网络](https://www.hiascend.com/ecosystem/ascendpartner "昇腾生态合作伙伴网络") [昇腾万里伙伴计划](https://www.hiascend.com/ecosystem/partner-program "昇腾万里伙伴计划") [昇腾技术认证书查询](https://www.hiascend.com/ecosystem/certificate-query "昇腾技术认证书查询") [昇腾兼容性认证硬件目录](https://www.hiascend.com/ecosystem/ascendpartner/qualified-servers-catalog "昇腾兼容性认证硬件目录") 高校 高校人才发展主页 [智能基座](https://edu.hicomputing.huawei.com/AIeducationbase "智能基座") [教学资源](https://edu.hicomputing.huawei.com/teaching "教学资源") [师资培训](https://edu.hicomputing.huawei.com/training "师资培训") [实践创新](https://edu.hicomputing.huawei.com/project "实践创新") [智能基座社团](https://edu.hicomputing.huawei.com/group "智能基座社团") [虚拟教研室](https://edu.hicomputing.huawei.com/teach-rsrch "虚拟教研室") 人才发展计划 [鲲鹏&昇腾产教融合育人基地](https://edu.hicomputing.huawei.com/industry-edu-base "鲲鹏&昇腾产教融合育人基地") [鲲鹏&昇腾本科教学推广计划](https://edu.hicomputing.huawei.com/academic-program "鲲鹏&昇腾本科教学推广计划") [虚拟教研室教改专项计划](https://edu.hicomputing.huawei.com/teach-rsrch?anchor=true "虚拟教研室教改专项计划") [计算高校开源人才奖励计划](https://edu.hicomputing.huawei.com/open-source-program "计算高校开源人才奖励计划") [鲲鹏&昇腾创新人才高校促进计划](https://edu.hicomputing.huawei.com/native-development-talentplan "鲲鹏&昇腾创新人才高校促进计划") [昇腾众智计划](https://www.hiascend.com/ecosystem/all-wisdom "昇腾众智计划") [鲲鹏昇腾科研创新使能计划](https://edu.hicomputing.huawei.com/sci-res-innov_program "鲲鹏昇腾科研创新使能计划") [鲲鹏昇腾科教创新卓越中心/孵化中心](https://edu.hicomputing.huawei.com/center-of-excellence "鲲鹏昇腾科教创新卓越中心/孵化中心") 资源 [学习资源](https://edu.hicomputing.huawei.com/learningresources "学习资源") 活动与大赛 [华为全联接⼤会2024⾼校系列活动](https://edu.hicomputing.huawei.com/activities/hc2024-edu "华为全联接⼤会2024⾼校系列活动") [鲲鹏昇腾科教创新卓越中心/孵化中心特训营](https://edu.hicomputing.huawei.com/activities/center-of-excellence-training "鲲鹏昇腾科教创新卓越中心/孵化中心特训营") [昇腾AI创新大赛2025](https://www.hiascend.com/zh/developer/AAIC2025 "昇腾AI创新大赛2025") [华为全联接大会2023高校系列活动](https://edu.hicomputing.huawei.com/activities/hc2023-edu "华为全联接大会2023高校系列活动") [第六届中国软件开源创新大赛](https://www.gitlink.org.cn/competitions/index/track1_2023 "第六届中国软件开源创新大赛") [华为软件精英挑战赛2023](https://competition.huaweicloud.com/codecraft2023 "华为软件精英挑战赛2023") 高校资讯 [新闻资讯](https://edu.hicomputing.huawei.com/information/news "新闻资讯") [优秀展播](https://edu.hicomputing.huawei.com/winnerlist "优秀展播") 昇腾AI市场 市场主页 市场分类 [解决方案](https://www.hiascend.com/marketplace/solution "解决方案") [原生大模型](https://www.hiascend.com/marketplace/native-large-model "原生大模型") [ModelZoo](https://www.hiascend.com/software/modelzoo "ModelZoo") [应用案例](https://www.hiascend.com/marketplace/case-studies "应用案例") [Powered by Ascend](https://www.hiascend.com/poweredbyascend "Powered by Ascend") 产业资讯 [活动](https://www.hiascend.com/activities "活动") [鲲鹏昇腾开发者大会2025 HOT](https://www.hiascend.com/ascend-2025KADC "鲲鹏昇腾开发者大会2025") [WAIC 昇腾人工智能产业高峰论坛2024](https://www.hiascend.com/activities/WAIC2024 "WAIC 昇腾人工智能产业高峰论坛2024") 资讯 [新闻资讯](https://www.hiascend.com/activities/news "新闻资讯") 支持与服务 支持与服务 文档 技术支持 [论坛求助](https://www.hiascend.com/forum/topicpost "论坛求助") [技术工单](https://www.hiascend.com/feedback "技术工单") 自助查询 [常见问题](https://www.hiascend.com/document/detail/zh/AscendFAQ/overview/index.html "常见问题") [故障案例](https://www.hiascend.com/document/caselibrary "故障案例") [文档](https://www.hiascend.com/document "文档") [昇腾论坛](https://www.hiascend.com/forum/ "昇腾论坛") 资讯 [产品公告](https://www.hiascend.com/productbulletins "产品公告") [文档HOT](https://www.hiascend.com/zh/document) 下载 中文 注册 登录 ModelZoo 主页 [主页](https://www.hiascend.com/software/modelzoo) [大模型](https://www.hiascend.com/software/modelzoo/big-models) [模型库](https://www.hiascend.com/software/modelzoo/models) [工具库](https://www.hiascend.com/software/modelzoo/tools) [权重库](https://www.hiascend.com/software/modelzoo/datasets) [ModelShow](https://www.hiascend.com/software/modelzoo/modelshow) [DeepSeek专区 HOT](https://www.hiascend.com/developer/deepseek)[文档中心](https://www.hiascend.com/software/modelzoo/models/detail/36f8b77d9f404f79b50d7cd09abbf9b9) [论坛交流](https://www.hiascend.com/forum/forum-0140120119986591009-1.html) [主页](https://www.hiascend.com/software/modelzoo) [大模型](https://www.hiascend.com/software/modelzoo/big-models) [模型库](https://www.hiascend.com/software/modelzoo/models) [工具库](https://www.hiascend.com/software/modelzoo/tools) [权重库](https://www.hiascend.com/software/modelzoo/datasets) [ModelShow](https://www.hiascend.com/software/modelzoo/modelshow) [DeepSeek专区 HOT](https://www.hiascend.com/developer/deepseek)[文档中心](https://www.hiascend.com/software/modelzoo/models/detail/36f8b77d9f404f79b50d7cd09abbf9b9) [论坛交流](https://www.hiascend.com/forum/forum-0140120119986591009-1.html) [模型库](https://www.hiascend.com/software/modelzoo/models) Fairseq\_Transformer-PyTorch ## Fairseq\_Transformer-PyTorch 机器翻译PyTorch训练520次浏览2023/11/02更新 暂无评分 我要评分 获取源码 Fairseq\_Transformer-PyTorch 查看模型源码 # 概述 ## 简述 Fairseq Transformer wmt18模型是Fairseq套件中基于Transformer结构的翻译模型,在wmt18 en2de数据集上训练和评估。 - 参考实现: ``` url=https://github.com/facebookresearch/fairseq commit_id=3f6ba43f07a6e9e2acf957fc24e57251a7a3f55c ``` - 适配昇腾 AI 处理器的实现: ``` url=https://gitee.com/ascend/ModelZoo-PyTorch.git code_path=PyTorch/built-in/nlp ``` # 准备训练环境 ## 准备环境 - 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 **表 1** 版本支持表 | Torch\_Version | 三方库依赖版本 | |---|---| | PyTorch 1.11 | \- | - 环境准备指导。 请参考《[Pytorch框架训练环境准备](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 - 安装套件。 在模型源码包根目录下执行以下命令。 ``` pip3 install sympy sacremoses pip3 install -e ./ ``` ## 准备数据集 1. 获取数据集。 用户自行下载 `WMT18` (Workshop on Machine Translation at EMNLP 2018)数据集,并将[表2 数据集简介表](https://www.hiascend.com/software/modelzoo/models/detail/36f8b77d9f404f79b50d7cd09abbf9b9)中的数据集全部下载后上传到源码包中的 `./examples/translation/orig` 目录下并解压。 **表 2** 数据集简介表 | 来源 | 名称 | |---|---| | wmt13 | [training-parallel-europarl-v7.tgz](http://statmt.org/wmt13/training-parallel-europarl-v7.tgz) | | wmt18 | [paracrawl-release1.en-de.zipporah0-dedup-clean.tgz](https://s3.amazonaws.com/web-language-models/paracrawl/release1/paracrawl-release1.en-de.zipporah0-dedup-clean.tgz) | | wmt13 | [training-parallel-commoncrawl.tgz](http://statmt.org/wmt13/training-parallel-commoncrawl.tgz) | | wmt18 | [training-parallel-nc-v13.tgz](http://data.statmt.org/wmt18/translation-task/training-parallel-nc-v13.tgz) | | Tilde | [rapid2016.tgz](http://data.statmt.org/wmt18/translation-task/rapid2016.tgz) | | wmt18 | [test.tgz](http://data.statmt.org/wmt18/translation-task/test.tgz) | 其中,前五项语料为训练集+验证集;最后一项语料为测试集。 2. 下载tokenize和分词工具。 进入数据集目录执行以下命令。 ``` cd examples/translation/ echo 'Cloning Moses github repository (for tokenization scripts)...' git clone https://github.com/moses-smt/mosesdecoder.git echo 'Cloning Subword NMT repository (for BPE pre-processing)...' git clone https://github.com/rsennrich/subword-nmt.git cd ../../ ``` 3. 数据预处理。 进入数据集目录运行预处理脚本。该阶段需要进行分词,耗时较长,请耐心等待。 ``` cd examples/translation/ bash prepare-wmt18en2de.sh cd ../../ ``` 4. 生成训练数据集。 进入源码包根目录下执行以下命令。 ``` TEXT=examples/translation/wmt18_en_de fairseq-preprocess \ --source-lang en --target-lang de \ --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \ --thresholdtgt 0 --thresholdsrc 0 \ --workers 20 \ --destdir data-bin/wmt18_en_de # 数据集路径,可根据实际情况进行调整 ``` # 开始训练 ## 训练模型 1. 进入源码包根目录。 ``` cd /${模型文件夹名称} ``` 2. 运行训练脚本。 该模型支持单机单卡训练和单机8卡训练。 - 单机单卡训练 启动单卡训练。 fp16训练命令 ``` bash ./test/train_performance_1p_fp16.sh --data_path=data-bin/wmt18_en_de # 单卡性能 ``` fp32训练命令 ``` bash ./test/train_performance_1p_fp32.sh --data_path=data-bin/wmt18_en_de # 单卡性能 ``` - 单机8卡训练。 启动8卡训练。 fp16训练命令 ``` bash ./test/train_full_8p_fp16.sh --data_path=data-bin/wmt18_en_de # 8卡精度 bash ./test/train_performance_8p_fp16.sh --data_path=data-bin/wmt18_en_de # 8卡性能 ``` fp32训练命令 ``` bash ./test/train_full_8p_fp32.sh --data_path=data-bin/wmt18_en_de # 8卡精度 bash ./test/train_performance_8p_fp32.sh --data_path=data-bin/wmt18_en_de # 8卡性能 ``` data\_path为数据集路径,路径写到wmt18\_en\_de。 模型训练脚本参数说明如下。 ``` 公共参数: --data_path //数据集路径 --save-dir //权重文件保存路径 --max-epoch //重复迭代轮数 --max-tokens //最大token大小 --lr //学习率 --distributed-world-size //是否进行分布式训练 ``` 训练完成后,权重文件默认保存在当前路径的checkpoints/transformer\_wmt\_en\_de目录下,并输出模型训练精度和性能信息。 # 训练结果展示 **表 3** en\_de数据集训练结果展示表 | NAME | MODE | Bleu | WPS | Epochs | AMP\_Type | Torch\_Version | |---|---|---|---|---|---|---| | 8p-竞品A | fp16 | 41\.14 | 450k | 20 | \- | 1\.11 | | 8p-NPU | fp16 | 41\.17 | 170k | 20 | \- | 1\.11 | | 8p-竞品A | fp32 | 41\.12 | 334k | 20 | \- | 1\.11 | | 8p-NPU | fp32 | 41\.21 | 223k | 20 | \- | 1\.11 | > **说明:** 由于该模型默认开启二进制,所以在性能测试时,需要安装二进制包,安装方式参考《[Pytorch框架训练环境准备](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。 # 公网地址说明 代码涉及公网地址参考 public\_address\_statement.md # 版本说明 ## 变更 2023\.6.9:首次发布。 ## FAQ 如遇到docker内运行不打日志问题,需要添加环境变量 ``` export PYTHONUNBUFFERED=0 ``` | 版本 | 更新时间 | 精度 | 处理器 | CANN版本 | 操作 | |---|---|---|---|---|---| 暂无数据 使用模型资源和服务前,请您仔细阅读并理解透彻 [《昇腾深度学习模型许可协议 3.0》](https://www.hiascend.com/legal/modelzoo_models_license) #### 关于昇腾 [昇腾计算产业概述](https://www.hiascend.com/ecosystem/industry) #### 新闻与活动 [新闻资讯](https://www.hiascend.com/activities/news)[昇腾活动](https://www.hiascend.com/activities) #### 交流与资讯 [昇腾论坛](https://www.hiascend.com/forum/)[技术干货](https://www.hiascend.com/developer/techArticles) #### 支持与服务 [文档](https://www.hiascend.com/zh/document)[技术工单](https://www.hiascend.com/zh/feedback) #### 开源社区 [昇思社区](https://www.mindspore.cn/)[昇腾开放资源](https://www.hiascend.com/zh/developer/opensource) 关注我们 友情链接 [华为官网](https://www.huawei.com/cn/)[华为计算](https://e.huawei.com/cn/solutions/computing)[鲲鹏社区](https://www.hikunpeng.com/)[华为云](https://www.huaweicloud.com/)[启智社区](https://www.openi.org.cn/) 版权所有 © 2021-2025华为技术有限公司 保留一切权利 [粤A2-20044005号](https://beian.miit.gov.cn/) [![](data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAACAAAAAgCAYAAABzenr0AAAAAXNSR0IArs4c6QAAAERlWElmTU0AKgAAAAgAAYdpAAQAAAABAAAAGgAAAAAAA6ABAAMAAAABAAEAAKACAAQAAAABAAAAIKADAAQAAAABAAAAIAAAAACshmLzAAAK0ElEQVRYCY1XS48cZxW936te3dWPme552DNjTxznZQXIAxKCokCEIhHYIbGAFStW2fALwl9glxWCZViAWIBACNshQokTCRTixE4GYo+defe7q7oe34NTNQlShAPUTPV0dddX373nnnvOHUb/x+Hcy5x2lhQ1evHh8ezCfK4f/ujG4QtFWp6plnuR2tt+aPUPzaZ8f7Uf/4OSkxndPywZe9n+r8ez/3aDe/sVdWu2LybHctnQPByd5OtewM4xh8cP86cKzfpcMlKePO6vxW+QMzvJMN1trjQOwihefOFRNaCNDcPY94rP20d+3hfOEaPds82WVc3JeO/rs4FbP9kfP+Oycc+WSS/LXVc75rM4dsoTm9nM2ybHj20hBp4fXAs9fnh32rraPdIz59wRYwj7Hsc9A3DuVXHrym/VdPjag9Np2b9+ffwdUxRLJp1ud9k86lAadUunGONCBiXjMvB52PVGGY9PtFsff3AY85vHwwcHzVG77R8p/asRyqjvVZJ7BrCzcyB5vOrnd2YPJVO9ibp/0xVFQ+Rjv+3l1MIZlyX5KKBXarKhoTxsh9PSdlLDaD6Ybxhtk62z/J2AlzFbO/fXK1eeq/jwH5z4DAfchz/1iZb827s3nlyk5drrfzn5wSLX/ePj2Zc6ohBfDAa8uT+hxt6EhODEcbK2ImKcjJO0ON+n7PwK/W3ctaNC6Y60b3uKHT77RPSzZksdbSwvvUtlq2BP/qj8tBqfRaCxLShZ+Glizs4TfS5ZuK0sp64gK31mWF9qkkVJalKQ9bEUBCRO5CwIM9cULUcU8pyCgHNPKJkmxXqhrZcuxBbjnE9XxYfTJKlQuHcA4/HtPkl57tq7yfdnM/PIa+/QGvIT3320pOU8cd2bh6wYaMoLVu1LZICpLcmWlvQ0J3n9gORwShe+GlF/pct/fYVtFpqv+X76UhSyG8/H4UBrvYuV1Vkf9XOqd1Wv61IHOs9ai5yWFgV1FwVX2ExEXFNoNfFUExUW91b3V5njNI6cxmcafzN022RBIRIMhSa0qcxL7s9zWsbzlpwwbT/wglpXTvenugTu8mVJY2pm099v6yJ7Ynca9QZj19AkWABIu+WcNdM5FXspWYO6W8TtRB2FKxAJNhfV5SSncpZTezxGGfBotUULK/n1fdPpLbEzuikfRyU0jZ87wp5z9o1v6DqAW3RVrr0n2yxJVrjLNxT3fdSMKimojkpsuDh97zgjWxGwo4h5At/hhsKQHVV/NTGgITgC4rZefbqKMSm4r1y+qZi3m08/Wjr2xzlWaFnBcfC7QXySmoc9PX1aueKFtt/qjT3FWbUayYqWR0IrEopTgVRNgM0vdYj3AlI9RW5Wkr4+JXaUEBumJDwE7GEdqzBk5HuCtZu2F4npi1zECgxMuuv+69g7rxHQRnraqTWhxz2h8zgKrGiGjDLjIwtGSRA5GWvyt2OmM0elZjXk9Im4MQTGlwOSLQRpYlp0QpoJRZOppbQ01D6nWDs0UqSTmCnqGj7qW1d6DeRXB2ARpDF01uTlCjN5qxkYEUdEmQvIGEFDCohFhlrnYzJDZDsuCQJPHASEACDVqiQ+yViRF0s6bIY0QHXHM0c5vl9uc9ZtaMmTSYzH9Y2Oz5AngBECgELx++xvQmHmW06brimNWGlD3fySchfRLHH05lXDtiJN59Y5hSCXaDAy44L0vKz7H7QkUVZkRF8aSTeuL2h37uhosk4S95/pF9RvFlRMM6iJjPPJyTpXjeDKlW9zGccfsPw4V6hXzJz1GVqr4QO2qn4KEoSfg7uW4hZI1TEkDW4A49OKeKCRAvwwGkAPQUSwaBMa3C3oYKpIo1sUONNu5NQMkBTKYblWjhehdlLEax+wUw7kmnPmAldYaQvtVpozBh7QhfNLNDoWdPK6o67MyY4PSABq0fVpUamgQhl8Rx5YHyMAvYdW3U/ocNejPUjC6lcUdfqSNnsJtXhGNOOGOLfcYxaWUR91ANKXlowtLOeGoZ4+5M8JR2vLaCc8+AAcGJYh3Rp5eCfIR2ekqKDF6uq+HC1bol0Wc0np1KNR7lNqfep3LfUwSTQCB+OCKS9wsxIl92SmTSVjn5CQBXHJbDEQbD5nRWHjDhdNZPfYAyXtdxjd7K7TzjykV4/G1Jtm1D/IKG7gWQjU8wzBmKn0fRrOQhqmGJ78NZqqBj1zf+7WwZvlNiNpFYQycqh9yuPWQBei9oMagSAk7gwPTO4pZxUrk4KYcnRhaUwdJenSlyPKBkR7Oxt0QppuQ8w2YtQVm4fw5BTEu51ENC0VUBbkoXRn2x49spVRrwPuLGYA2AADyx13IZe8Lei0/HUAkCnBhW5Yxn2tBS/mCAABnm8h48ijRx8/Q4dHgq4lZygrGWlYQrk8p25QUhPBDFNJ14ZNSoyCUCl66rxP66uMLq6fsG6EbpklABsEhaxxBCCk7RiMMdUH9YsJm0XIg32XJ9vEMq2TRDhMFjxduAYT9K0LBWVw6ucvCZbkqDXcsA+hCsEXAS9OckuPTTjDyIMOce5ca8RaqqDm5MTRzJD2HAZH4UQr0jzwjnnY3In9Ijl73x8rGlWS6WumxISkSpgncz2HoTngAQsT8IC1TgLCKVhsRACHEqAQoxVR+lqMFkBELp8SkoPPKzajwGJtUsk9+A1UmGRWSJE5yafMV0PLK0W+hMhwHBz8ouHNve1y+N6zrky+Zmb7z5LOe9l+GrrSMlHA65uKmg8sgRvYGb2NtF1lw9Y5hqBJtUPQ3JHVlqUfjcnAui3HgCW585ZbKcp8yFrxn5j0/9xau3g1yHG9/cOsRmA26+mzXX/k5v7AcH3iElE4FIp7lSPip0oEJeTIpnKoyhkNeh8Sjg8rX0CbIXMHkTJQshweUaXmvGqcqdxMWCsw03H/hHM1DMq1KZ2H2+OoA7h48UWk4/bs9NZNQ8ZP08nTTufdYFNFUDZWYshg2ChbYAWAA5yoEOiPjSUCKqH3xUnBTKZJQyF5MybeEqSaMBSM40WKqUGLCbPd6/j+Lm39fMrYL6EwVVL/Pn4C0y7hwSaCfnMRCMaRQXVivIPvA/bqXsDsbDUK4ar6ddABOJkBEarRDCBVM2o9Q1TJQ2JJ+JypUHIeoGtDiaQvoSXrceE0gGomuHu35ed6tg69fBiu1vW6kaeiAAtDklGDRBjUUzCKjpIAhjoARyZHm6UZFaOEDEYytJmTUEmFs2q0in9BP/SCnt+O2vx+LxZ97IXavFzzry4BLtzGxis6+Ti9Y7R5C8CuoJ4bdpFvIzsPqUFMnYB0SGbgMAZK7iBeDATUcB8gIRp+NQqBpIiAsdJB1p1Qc7Q7lDr4J6K/w5x6E5PWnY0NOBP9uAa0DgBlBAX2jXEbu46bmc5HXWfEpk1zDQlrOFP2gZVCG0Voe+lKo8B/ZFE1PvDnworAK09bjVvNBSYBlnPhfQztnTHRuoZCfMz52htZbuZEO9U4UQdQw/ApDVAKWcEjT6arlOdRcXDwSFHk7WI0fwKEa3sNdh/SboB7TQz+EfQTDWGtg2xCYebc86Aj/kL4jb8bsF079zYCmbU3OrcUhYtoc/UEe1X/rNYErPb9pASnIeB/t6o19OXLl+/SrauypwNZ5raTT/W69F2Oh/U8DpOQ8Ez4pnFMSk9iH16WJV/gYiZcOMc0sUfkH44y+77RNNvafOuwFh32Uu2Ap7udvv4LTUR9u/Wu8BoAAAAASUVORK5CYII=) 粤公网安备 44030702005057号](https://www.beian.gov.cn/portal/registerSystemInfo?recordcode=44030702005057) [法律声明](https://www.hiascend.com/zh/legal/law)[隐私政策](https://www.hiascend.com/zh/legal/privacy)[Cookie协议](https://www.hiascend.com/zh/legal/cookies)[用户协议](https://www.hiascend.com/zh/legal/user)[联系我们](https://www.huawei.com/cn/contact-us) #### About Ascend [Ascend Computing Industry](https://www.hiascend.com/en/ecosystem/industry) #### Communication and Information [Ascend Forum](https://forum.huawei.com/enterprise/en/forum-100504.html)[News](https://www.hiascend.com/en/activities/news) #### Links [Huawei Corporate](https://www.huawei.com/en/)[Kunpeng Community](https://www.hikunpeng.com/en/)[HUAWEI CLOUD](https://www.huaweicloud.com/intl/en-us/) 关注我们 版权所有 © 2021-2025华为技术有限公司 保留一切权利 [Terms of Use](https://www.hiascend.com/zh/legal/law) [法律声明](https://www.hiascend.com/zh/legal/law) [隐私政策](https://www.hiascend.com/zh/legal/cookies) [用户协议](https://www.hiascend.com/zh/legal/user) [联系我们](https://www.huawei.com/zh/contact-us)
Readable Markdownnull
Shard171 (laksa)
Root Hash2628830536891727371
Unparsed URLcom,hiascend!www,/software/modelzoo/models/detail/36f8b77d9f404f79b50d7cd09abbf9b9 s443