# Summary [信息熵](信息熵.md) # Cues # Notes 看这个 `run_compute_entropy` 函数，它是在计算**信息熵**，这是信息论中的一个经典概念。 ## 这个函数的作用 这个函数计算的是**概率分布的熵**，具体来说： 1. **输入**：`logits` - 模型的原始输出（未归一化的概率） 2. **输出**：每个位置的熵值 ## 为什么要计算熵？ 在强化学习对齐（RLHF/Alignment）中，计算熵有几个重要用途： ### 1. **探索 vs 利用的平衡** - **高熵**：模型对下一个token的不确定性高，倾向于探索 - **低熵**：模型对下一个token很确定，倾向于利用已有知识 ### 2. **训练稳定性监控** - 熵值可以帮助监控模型训练过程中的行为变化 - 如果熵值突然变化很大，可能表明训练不稳定 ### 3. **奖励塑形（Reward Shaping）** - 可以用熵作为额外的奖励信号 - 鼓励模型在需要时保持适度的不确定性 ### 4. **安全性和鲁棒性** - 在安全对齐中，熵可以帮助识别模型是否过于自信 - 过度自信的模型可能更容易产生有害输出 ## 经典问题变体 这实际上是**信息论中的熵计算问题**，在机器学习中经常遇到： - **交叉熵损失**：分类问题中的标准损失函数 - **KL散度**：衡量两个概率分布的差异 - **互信息**：衡量两个随机变量的相互依赖程度 在RLHF中，熵计算是**策略梯度方法**的重要组成部分，帮助模型学习更好的探索策略。