KTO： Kahneman-Tversky优化

KTO方法的理论基础

KTO（Kahneman-Tversky Optimization）的核心思想源于行为经济学的前景理论。该理论指出人类决策时对收益和损失存在非对称心理反应，表现为损失厌恶（loss aversion）效应。传统RLHF依赖二元偏好对数据，而KTO通过量化这种心理差异，实现单样本绝对标注下的有效优化。

损失函数设计原理

KTO的损失函数包含两个关键组成部分：

• 收益项：处理被标注为"好"的样本时，采用凸函数形式增强模型输出与标注的一致性
• 损失项：处理"坏"样本时使用更陡峭的惩罚曲线，反映人类对负面结果的强烈规避倾向

数学表达为：
L K T O = E [ w ( y ) ( 1 − σ ( β Δ ( y ) ) ) ] \mathcal{L}_{KTO} = \mathbb{E}[w(y)(1-\sigma(\beta \Delta(y)))]LKTO​=E[w(y)(1−σ(βΔ(y)))]
其中Δ ( y ) \Delta(y)Δ(y)表示样本评分与参考值的偏差，w ( y ) w(y)w(y)是方向敏感权重函数。

数据效率优势

相比传统偏好学习方法，KTO具有显著优势：

• 无需构建偏好对y w > y l y_w > y_lyw​>yl​，直接利用原始单样本标注
• 支持从部分标注、噪声标注等弱监督数据中学习
• 对标注一致性的要求降低30-50%，实践中标注成本可减少40%以上

实现关键步骤

模型训练时需注意：

• 参考值设定建议采用模型当前输出的移动平均
• 温度系数β \betaβ需通过验证集调整，典型值区间为0.1-0.3
• 损失项权重通常设为收益项的2-3倍以匹配损失厌恶系数

实验数据显示，在相同标注预算下，KTO相比DPO等方法的胜率提升达15-20%，且在长文本生成等复杂任务中优势更为明显。

https://github.com/ContextualAI/HALOs

classDummyKTOTrainer(UnpairedPreferenceTrainer):"""A fake version of KTO (not the actual one!) meant to introduce you to the HALOs repo."""defloss(self,policy_chosen_logps:torch.FloatTensor,policy_rejected_logps:torch.FloatTensor,reference_chosen_logps:torch.FloatTensor,reference_rejected_logps:torch.FloatTensor)->Tuple[torch.FloatTensor,torch.FloatTensor,torch.FloatTensor]:chosen_KL=(policy_chosen_logps-reference_chosen_logps).mean().clamp(min=0)rejected_KL=(policy_rejected_logps-reference_rejected_logps).mean().clamp(min=0)chosen_logratios=(policy_chosen_logps-reference_chosen_logps)rejected_logratios=(policy_rejected_logps-reference_rejected_logps)losses=torch.cat((1-F.sigmoid(self.config.loss.beta*(chosen_logratios-chosen_KL)),1-F.sigmoid(self.config.loss.beta*(rejected_KL-rejected_logratios))),0)chosen_rewards=self.config.loss.beta*(policy_chosen_logps-reference_chosen_logps).detach()rejected_rewards=self.config.loss.beta*(policy_rejected_logps-reference_rejected_logps).detach()returnlosses,chosen_rewards,rejected_rewards