机器学习提示和技巧备忘单
作者：阿夫辛·阿米迪和谢尔文·阿米迪
分类指标
在二元分类的背景下，为了评估模型的性能，需要跟踪以下主要指标。
混淆矩阵 混淆矩阵用于在评估模型的性能时获得更完整的了解。它的定义如下：
| 预料到的 班级 | |||
| + | - | ||
| 实际的 班级 | + | TP 真正的积极因素 |
纤维网 假阴性 II 类错误 |
| - | FP 误报 I 类错误 |
总氮 真阴性 |
|
/div>
br/>
p>主要指标以下指标通常用于评估分类模型的性能：
/p>
分区>
| 公制 | 公式 | 解释 |
| 准确性 | $\displaystyle\frac{\textrm{TP}+\textrm{TN}}{\textrm{TP}+\textrm{TN}+\textrm{FP}+\textrm{FN}}$ | 模型整体性能 |
| 精确 | $\displaystyle\frac{\textrm{TP}}{\textrm{TP}+\textrm{FP}}$ | 积极预测的准确度如何 |
| 记起 灵敏度 |
$\displaystyle\frac{\textrm{TP}}{\textrm{TP}+\textrm{FN}}$ | 实际正样本覆盖率 |
| 特异性 | $\displaystyle\frac{\textrm{TN}}{\textrm{TN}+\textrm{FP}}$ | 实际负样本覆盖率 |
| F1成绩 | $\displaystyle\frac{2\textrm{TP}}{2\textrm{TP}+\textrm{FP}+\textrm{FN}}$ | 混合指标对于不平衡类很有用 |
/div>
br/>
p>ROC 接收者操作曲线（也称为 ROC）是通过改变阈值绘制的 TPR 与 FPR 的关系图。这些指标总结如下表：
/p>
分区>
| 公制 | 公式 | 相等的 |
| 真阳性率 热塑性弹性体 |
$\displaystyle\frac{\textrm{TP}}{\textrm{TP}+\textrm{FN}}$ | 召回率、灵敏度 |
| 误报率 FPR |
$\displaystyle\frac{\textrm{FP}}{\textrm{TN}+\textrm{FP}}$ | 1-特异性 |
/div>
br/>
p>AUC 接收操作曲线下面积，也称为 AUC 或 AUROC，是 ROC 下方的面积，如下图所示：
/p>
br/>
分区>
/div>
br/>
H2>
回归指标
/h2>
p>基本指标给定一个回归模型$f$，以下指标通常用于评估模型的性能：
/p>
分区>
| 总平方和 | 平方和的解释 | 残差平方和 |
| $\displaystyle\textrm{SS}_{\textrm{tot}}=\sum_{i=1}^m(y_i-\overline{y})^2$ | $\displaystyle\textrm{SS}_{\textrm{reg}}=\sum_{i=1}^m(f(x_i)-\overline{y})^2$ | $\displaystyle\textrm{SS}_{\textrm{res}}=\sum_{i=1}^m(y_i-f(x_i))^2$ |
/中心>
中心>
/表>
表>
/colgroup>
正文>
/tbody>
科尔组>
列宽度=“50%”/>
列宽度=“50%”/>
TR>
/tr>
TR>
/tr>
td 对齐=“中心”>
套索/td>
td 对齐=“中心”>
岭/td>
td 对齐=“中心”>
弹性网/td>
tdalign="left">• 将系数缩小到 0
• 适合变量选择
/td>
tdalign="left">使系数更小
/td>
tdalign="left">变量选择和小系数之间的权衡
/td>
td 对齐=“中心”>
/td>
td 对齐=“中心”>
/td>
td 对齐=“中心”>
/td>
tdalign=“左”>$...+\lambda||\theta||_1$
$\lambda\in\mathbb{R}$
/td>
tdalign=“左”>$...+\lambda||\theta||_2^2$
$\lambda\in\mathbb{R}$
/td>
tdalign="left">$...+\lambda\Big[(1-\alpha)||\theta||_1+\alpha||\theta||_2^2\Big]$
$\lambda\in\mathbb{R},\alpha\in[0,1]$
/td>
b>欠拟合
/b>
b>刚刚好
/b>
b>过拟合
/b>
b>症状
/b>
br/>• 训练误差接近测试误差
br/>• 高偏差
br/>• 训练误差远低于测试误差
br/>• 高方差
b>回归图解
/b>
b>分类图解
/b>
b>深度学习插画
/b>
b>可能的补救措施
/b>
br/>• 添加更多功能
br/>• 训练时间更长
br/>• 获取更多数据
| 锦葵的cp | 航空工业协会 | 商业银行 | 调整后$R^2$ |
| $\displaystyle\frac{\textrm{SS}_{\textrm{res}}+2(n+1)\widehat{\sigma}^2}{m}$ | $\displaystyle2\Big[(n+2)-\log(L)\Big]$ | $\displaystyle\log(m)(n+2)-2\log(L)$ | $\displaystyle1-\frac{(1-R^2)(m-1)}{m-n-1}$ |
| 训练集 | 验证集 | 测试装置 | |
| • 模型经过训练 • 通常为数据集的 80% |
• 评估模型 • 通常为数据集的 20% • 也称为保留或开发集 |
• 模型给出预测 • 看不见的数据 |
|
| k 倍 | 留出 | • 对 $k-1$ 折叠进行训练并对剩余折叠进行评估 • 通常$k=5$ 或$10$ |
• 对$n-p$ 观察结果进行培训并对剩余的$p$ 观察结果进行评估 • 情况 $p=1$ 称为留一法 |
误差分析 误差分析是分析当前模型与完美模型性能差异的根本原因。
烧蚀分析烧蚀分析正在分析当前模型与基线模型之间性能差异的根本原因。
