随着大模型的能力越来越强，如何低成本地让模型的输出更符合人类的偏好以及社会的公共价值观，就显得尤为重要。
基于人类反馈的强化学习（RLHF）在对齐语言模型上取得了非常好的效果，可以让预训练模型具有无害性、有用性等理想品质，并在多项自然语言处理任务中取得了最先进的结果。
但RLHF在很大程度上依赖于人类提供的标注结果，获取高质量数据的成本过于昂贵且耗时，小型研究团队可能无法支付训练成本。
其他无需人工标注的对齐方法，如RLAIF（基于AI反馈的强化学习）和上下文蒸馏（contextdistillation）主要利用预设的提示模版，利用现有模型自动生成训练数据，在语言模型对齐上取得了非常不错的效果。
最近，加州大学伯克利分校、MetaAI和加州大学洛杉矶分校的研究人员共同提出了一项新技术RLCD（基于对比度蒸馏的强化学习，Reinforcementlearningfromcontrastdistillation），同时结合了RLAIF和上下文蒸馏的优势，使用包含高质量和低质量示例的「模拟偏好数据对」来训练偏好模型，其中示例使用对比的正面和负面提示生成。
论文链接：