聚类指标总结
1. 一句话总结
- 优化指标是“模型训练时要最小化/最大化的函数”；
- 评估指标是“训练完后用来衡量模型好坏的标准”。
2. 二者的详细对比
| 维度 | 优化指标（Objective/Loss Function） | 评估指标（Evaluation Metric） |
|---|---|---|
| 作用 | 指导模型训练，决定梯度更新方向 | 衡量训练/测试后模型的好坏 |
| 使用阶段 | 模型训练阶段 | 模型评估阶段 |
| 目标 | 最小化（或最大化）它，让模型拟合数据 | 越高（或越低）代表模型性能越好 |
| 常见形式 | 损失函数，如 MSE、交叉熵、对比损失 | 准确率、F1、ARI、NMI、FMI 等 |
| 是否可微分 | 必须可导（用于反向传播） | 不一定可导（只用于观察效果） |
| 参与训练吗？ | ✅ 是训练核心 | ❌ 不参与训练，仅用于评估 |
3. 外部评估指标
3.1 Rand Index（RI）/Adjusted Rand Index（ARI）
3.1.1 RI
3.1.1.1 定义
- RI，基于样本对的组合来统计有多少对被正确分类（即一致地分在同一簇或不同簇中）
3.1.1.2 核心思想
在所有可能的样本对中：
- a：同属一个类，聚类结果也分在同一个簇
- b：不同类，聚类也分在不同簇
- c：同属一个类，但聚类分到不同簇
- d：不同类，但聚类分到同一个簇
那么，RI 定义为：
$$
\text{RI} = \frac{a + b}{a + b + c + d}
$$
也就是所有一致判断的对数（a+b）占总对数的比例。
3.1.1.3 范围
- RI ∈ [0, 1]，越接近1表示聚类越好。
- 缺点：对随机聚类也可能得到较高值，不稳健。
随机聚类指的是不基于任何数据结构或特征，而是随机地把数据样本划分到若干个簇中，就像“掷骰子决定每个样本属于哪个类”一样。
3.1.2 ARI
3.1.2.1 定义
ARI 是对 RI 进行修正，排除了随机结果带来的影响，使得在随机聚类时 ARI 的期望值为 0。
公式（略复杂）为：
$$
\text{ARI} = \frac{\text{RI} - \mathbb{E}[\text{RI}]}{\max(\text{RI}) - \mathbb{E}[\text{RI}]}
$$
实际计算会用组合数来表达，具体计算公式是基于混淆矩阵的（即聚类 vs. 真实标签的交叉表）。
3.1.2.2 特点
- ARI ∈ [-1, 1]：
- 0 表示结果与随机分类一致
- 1 表示完全一致
- 小于 0 表示比随机还差
- 更稳健，广泛用于对聚类结果进行客观评价
3.1.3 举个简单例子
假设我们有 4 个样本，真实标签是 [A, A, B, B]，两个聚类结果：
聚类1：
[1, 1, 2, 2]（正确分类）聚类2：
[1, 2, 1, 2]（错误分类）聚类1的 ARI ≈ 1.0（完美匹配）
聚类2的 ARI ≈ -0.5（比随机还差）
3.1.4 总结对比
| 指标 | 是否修正随机性 | 值域范围 | 推荐程度 |
|---|---|---|---|
| RI | 否 | [0, 1] | 中 |
| ARI | 是 | [-1, 1] | 高 |
3.2 Mutual Information（MI）/Normalized Mutual Information（NMI）
3.2.1 MI
3.2.1.1 直觉理解
Mutual Information（互信息）来自信息论，用来衡量两个变量共享了多少信息。在聚类中，它衡量聚类结果 $C$ 和 真实标签 $L$ 之间的关联性。
如果知道聚类标签，可以推断出真实标签，那么说明互信息高，聚类结果好。
3.2.1.2 数学定义
设真实标签集合为 $L = {l_1, l_2, …, l_K}$，聚类结果为 $C = {c_1, c_2, …, c_J}$，那么互信息定义为：
$$
MI(C, L) = \sum_{i=1}^{J} \sum_{j=1}^{K} P(c_i \cap l_j) \cdot \log \left( \frac{P(c_i \cap l_j)}{P(c_i) \cdot P(l_j)} \right)
$$
其中：
- $ P(c_i) $：样本属于第 $i$ 个聚类的概率
- $ P(l_j) $：样本属于第 $j$ 个真实类别的概率
- $ P(c_i \cap l_j) $：样本同时属于聚类 $c_i$ 和标签 $l_j$ 的概率
3.2.1.3 但 MI 有个问题
- 它不是归一化的，取值范围依赖于聚类的复杂度。
- 不能直接比较不同聚类数时的聚类质量。
所以我们引入了NMI
3.2.2 NMI
3.2.2.1 直觉理解
NMI 是对 MI 的归一化版本，使其取值总在 [0, 1] 之间，更易比较。
3.2.2.2 常见的定义公式
$$
\text{NMI}(C, L) = \frac{MI(C, L)}{ \sqrt{H(C) \cdot H(L)} }
$$
其中：
- $ H(C) $：聚类结果的熵
- $ H(L) $：真实标签的熵
- 熵的计算公式是：
$$
H(X) = -\sum_{x} P(x) \log P(x)
$$
也可以使用其他归一化形式，比如平均法：
$$
\text{NMI}(C, L) = \frac{2 \cdot MI(C, L)}{ H(C) + H(L) }
$$
这两种在 sklearn 中都支持。
3.2.2.3 NMI 的特点
- 范围：$$ \text{NMI} \in [0, 1] $$
- 1 表示完全一致，即聚类完美还原真实标签；
- 0 表示完全无关，即聚类结果与标签完全不相关。
3.2.3 🔍 小结对比
| 指标 | 概念 | 值域 | 是否归一化 | 说明 |
|---|---|---|---|---|
| MI | 聚类和标签共享的信息量 | ≥0 | 否 | 越大表示越相关，但无法比较不同任务 |
| NMI | 归一化的 MI | [0,1] | ✅ | 越接近 1 越好，常用于聚类评价 |
3.3 Fowlkes–Mallows Index（FMI）
3.3.1 FMI 是什么？
Fowlkes–Mallows Index（FMI）是一种基于**两两样本对（pairwise comparison）**的评估指标，它考虑了以下三类样本对的关系：
- True Positive (TP)：在聚类结果中被分到同一簇，并且在真实标签中也属于同一类。
- False Positive (FP)：在聚类中是同一簇，但真实标签不一样。
- False Negative (FN)：真实标签相同，但在聚类中被分到不同簇。
FMI 就是根据这些来评估聚类的好坏。
3.3.2 FMI 的公式
$$
\text{FMI} = \frac{\text{TP}}{\sqrt{(\text{TP} + \text{FP}) \cdot (\text{TP} + \text{FN})}}
$$
3.3.2.1 各部分解释
- 分子是 TP：聚类正确地把同类放在了一起
- 分母是 TP+FP 和 TP+FN 的几何平均，避免偏向于只考虑正例或负例
3.3.2.2 FMI 的取值范围
- 取值范围为 [0, 1]
- 越接近 1 表示聚类结果越接近真实标签
- 0 表示完全不匹配，1 表示完全匹配
3.3.3 FMI 的直观理解
设想我们要将学生分组，而我们事先知道他们的真实专业（真实标签），我们的聚类算法给出了分组结果。FMI 就是在问：
“你分在一起的学生，真的都属于同一个专业吗？”
“那些应该属于一个专业的学生，你有没有漏掉没分在一起？”
3.3.4 与其他指标比较
| 指标 | 特点 |
|---|---|
| FMI | 简洁明了，基于 pairwise 评估，直观易解释 |
| ARI（调整兰德指数） | 对随机分组结果进行惩罚，适合聚类数不同的情况 |
| NMI（归一化互信息） | 信息论角度衡量聚类与标签的相关性 |
| Purity | 更偏向分类准确率，但忽略了聚类结构整体性 |
FMI 特别适用于聚类类别数已知、数据量中等的情况。
3.3.5 总结
| 优点 | 缺点 |
|---|---|
| 简单易计算，解释直观，0-1之间好比较 | 不适用于无标签评估；聚类数差距大时不稳定 |
4. 内部评估指标
内部指标不依赖真实标签，仅依赖数据本身和聚类结果，常用于实际无标签任务。常见的有：
4.1 轮廓系数（Silhouette Coefficient）
- 结合了簇内相似度和簇间差异性。
- 取值范围 [-1, 1]，越接近1表示聚类效果越好。
公式：
$$
s(i) = \frac{b(i) - a(i)}{\max(a(i), b(i))}
$$
其中：
- $a(i)$：样本与本簇内其他样本的平均距离
- $b(i)$：样本与最近邻簇的平均距离
4.2 Davies-Bouldin Index（DBI）
- 衡量各簇之间的相对距离和散度。
- 数值越小表示簇分得越清晰。
4.3 Calinski-Harabasz Index（CH）
- 也叫方差比准则（Variance Ratio Criterion），衡量簇间方差与簇内方差之比。
- 值越大表示聚类越好。