英伟达开源大模型对齐框架—NeMo-Aligner

声明:本文来自于微信公众号 AIGC开放社区（ID:AIGCOPEN），作者:AIGC开放社区，授权站长之家转载发布。YLx品论天涯网

随着ChatGPT、Midjourney等大模型产品的影响力、应用场景越来越多，为了确保输出的内容安全、可靠，对齐成为开发人员的关注重点和难点。YLx品论天涯网

但现在的模型参数少则几百亿多则上千亿，想通过传统的监督式微调方法来完成对齐效果往往不理想。YLx品论天涯网

因此，英伟达的研究人员开源了安全对齐框架NeMo-Aligner。这是一个包括人类反馈进行强化学习（RLHF）、直接偏好优化(DPO)、SteerLM和自我对弈微调等技术合集，可帮助开发人员极大提升模型的安全性能和稳定输出。YLx品论天涯网

开源地址:https://github.com/nvidia/nemo-alignerYLx品论天涯网

论文地址:https://arxiv.org/abs/2405.01481v1YLx品论天涯网

YLx品论天涯网

下面为大家介绍两个效果比较好、常用的NeMo-Aligner对齐方法。YLx品论天涯网

RLHFYLx品论天涯网

RLHF是NeMo-Aligner框架的核心模块之一，主要通过人类反馈来引导大模型学习，使其输出更符合人类的价值观和偏好，同时采用了近端策略算法（PPO）来优化语言模型的行为。YLx品论天涯网

YLx品论天涯网

训练过程主要分为三个阶段:初始阶段，从预训练的基础模型开始，进行监督微调。在监督微调中，使用输入提示和期望的回复对基础模型的参数进行更新，使其尽可能地模仿期望的回复。这一阶段是为了确保基础模型能够生成符合用户指令的回复。YLx品论天涯网

奖励模型训练阶段，使用一组设定好的人类偏好数据，例如，问答的特定输出格式，来训练一个奖励模型，以最大化预测奖励与人类偏好一致的可能性。通常，会在监督微调的模型之上初始化一个线性奖励模型头部，并在其上进行训练。YLx品论天涯网

YLx品论天涯网

策略优化训练，基于训练好的奖励模型，通过PPO进行优化训练。在训练过程中，使用基于KL散度的正则化项，防止策略偏离起始点太远并利用奖励模型的盲点。YLx品论天涯网

SteerLMYLx品论天涯网

SteerLM主要通过引导大模型的生成流程来实现安全对齐，使用了一种“引导信号”的指导策略。可将开发者希望的输出模式注入到模型的训练中，以引导模型生成更符合预期的响应。YLx品论天涯网

首先，需要准备一个包含输入提示和期望输出的数据集对。这些输入提示可以是用户提供的指令或问题，而期望输出是模型生成的响应。YLx品论天涯网

YLx品论天涯网

根据输入提示和期望输出，生成引导信号。引导信号可以采用不同的方式生成，例如，使用规则、基于规则的策略或者其他的启发式方法，可以控制生成文本的风格、主题、情感等内容。YLx品论天涯网

例如，在多轮AI对话中，可以指导模型生成符合用户期望的回答;在文本摘要任务中，可以指导模型生成更加准确和有信息量的摘要内容;在机器翻译任务中，可以使模型生成更加准确和流畅的翻译结果。YLx品论天涯网