【天风计算机缪欣君团队】DeepSpeed Chat开源，大模型百花齐放时刻即将到来，数据要素重要性进一步上升

【天风计算机缪欣君团队】DeepSpeed Chat开源，大模型百花齐放时刻即将到来，数据要素重要性进一步上升

Deepspeed是微软开源的深度学习优化库，4月12日，微软开源了基于此优化库的DeepSpeed Chat，进一步方便大语言模型的开发，Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。

（1）简化 ChatGPT 类模型的训练和强化推理，仅需一个脚本即可实现多个训练步骤；

（2）DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式， 包括监督微调（SFT）、 奖励模型微调和 基于人类反馈的强化学习（RLHF）在内的三个步骤；

（3）将 DeepSpeed 的训练和推理能力整合到一个统一的混合引擎（DeepSpeed-HE）中用于 RLHF 训练，简化包括量并行计算、内存管理等工程类工作。

Deepspeed chat使得RLHF的训练大幅加快（比现有系统快15倍）、成本降低且易于大规模推广（仅单GPU就可支持超130亿参数的模型）。

以Deepspeed为代表的的AI开源生态正在为大语言模型的训练和部署门槛不断降低，我们认为（1）未来拥有一个自己的大语言模型难度不断下降，应用层百花齐放指日可待；（2）打造行业垂直大模型的技术门槛正在下降，在大模型的三要素中，数据要素的门槛更加凸显。

欢迎交流：缪欣君/刘鉴