名企
【资料图】
品玩6月27日讯，据微软官方消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，可显著减少大模型训练时间和成本。
ZeRO++ 建立在 ZeRO 传输技术基础上，提供增强的通信策略，可提高训练效率，同时减少训练时间和成本。ZeRO++ 可对权重进行量化，其利用基于块的量化方法来保持训练精度，这种优化的量化过程相对原始 Zero 传输技术更快更准确。
微软研究人员表示，与 ZeRO 相比，ZeRO++ 减少了高达 4 倍的通信量，提高了训练吞吐量和效率。
关键词：
版权与免责声明：
1 本网注明“来源：×××”（非商业周刊网）的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责，本网不承担此类稿件侵权行为的连带责任。
2 在本网的新闻页面或BBS上进行跟帖或发表言论者，文责自负。
3 相关信息并未经过本网站证实，不对您构成任何投资建议，据此操作，风险自担。
4 如涉及作品内容、版权等其它问题，请在30日内同本网联系。
