【PaddlePaddle Hackathon 2】49、在 Paddle 中实现1-bit Adam 优化器

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 第二期活动的任务 ISSUE，更多详见 【PaddlePaddle Hackathon 第二期】任务总览）

【任务说明】

• 任务标题：在 Paddle 中实现1-bit Adam 优化器
• 技术标签：深度学习框架，C++，优化算法
• 任务难度：困难
• 详细描述： Adam 是NLP 任务中常用的优化器，目前 Paddle 中已经有 Adam的实现。 论文 1-bit Adam: Communication Efficient Large-Scale Training with Adam's Convergence Speed 提出了对已有Adam 优化器的改进，减少Adam 优化器在大规模分布式训练下时的通信量。此任务的目标是实现Paddle 中的 1-bit Adam 优化器，并在通信量、收敛精度两个指标上和论文对齐。调用路径：paddle.optimizer.OneBitAdam

【提交内容】

• API 的设计文档，并提 PR 至 PaddlePaddle/community 的 rfcs/APIs 目录
• C ++ 实现代码，在 Paddle repo 的 paddle/fluid/operators/optimizers 目录
• Python 实现代码 & 英文 API 文档，在 Paddle repo 的 python/paddle/optimizer 目录
• 单测代码，在 Paddle repo 的 python/paddle/fluid/tests/unittests 目录
• 中文API文档，在 docs repo 的 docs/api/paddle/optimizer 目录

【参考内容】

• PR: #26288
• 文档：API 贡献指南

【技术要求】

• 了解 Paddle 动静态图下 Optimize pass过程
• 熟练掌握 C++ 、Python
• 熟悉 Adam 优化器算法原理
• 了解论文中的 Compression 原理

【答疑交流】

• 如果在开发中对于上述任务有任何问题，欢迎在本 ISSUE 下留言交流。
• 对于开发中的共性问题，在活动过程中，会定期组织答疑，请大家关注官网&QQ群的通知，及时参与。

[paddle-bot-old]

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

[wangjincheng123456]

在通信量、收敛精度两个指标上和论文对齐？论文里面实验用到的显卡数量特别多，没有这么多显卡，这个该怎么跑实验，怎么和论文里面对齐呢？

[paddle-bot]

Since you haven't replied for more than a year, we have closed this issue/pr.
If the problem is not solved or there is a follow-up one, please reopen it at any time and we will continue to follow up.
由于您超过一年未回复，我们将关闭这个issue/pr。
若问题未解决或有后续问题，请随时重新打开，我们会继续跟进。