统计应用

分类器评价、混淆矩阵与ROC曲线

阿稳 / 2011-09-16

本文转载自阿稳的博客，原文链接请点击此处。本文主要介绍了数据挖掘中分类器的评价指标，以及混淆矩阵、ROC曲线等内容。作者简介：阿稳，豆瓣，算法工程师。感兴趣的领域：推荐系统，数据挖掘，算法架构及实现的可扩展性，R环境编程。博客http://www.wentrue.net/blog/。假定你基于贝叶斯理论、神经网络或其他技术建立了自己的分类器。你如何得知自己是否干了一项漂亮的工作呢？你如何得知是……

机器学习

分类模型的性能评估——以SAS Logistic回归为例(3): Lift和Gain

胡江堂 / 2009-02-18

书接前文。跟ROC类似，Lift（提升）和Gain（增益）也一样能简单地从以前的Confusion Matrix以及Sensitivity、Specificity等信息中推导而来，也有跟一个baseline model的比较，然后也是很容易画出来，很容易解释。以下先修知识，包括所需的数据集： […] 说，混淆矩阵(Confusion Matrix)是我们永远值得信赖的朋友：……

机器学习

分类模型的性能评估——以SAS Logistic回归为例(2): ROC和AUC

胡江堂 / 2008-12-31

上回我们提到，ROC曲线就是不同的阈值下，以下两个变量的组合（如果对Sensitivity和Specificity两个术语没有概念，不妨返回，《分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵》，强烈建议读者对着看）： […] Sensitivity（覆盖率，True Positive Rate） 1-Specificity (Specificity, 负例……

机器学习

分类模型的性能评估——以SAS Logistic回归为例(1): 混淆矩阵

胡江堂 / 2008-12-25

跑完分类模型（Logistic回归、决策树、神经网络等），我们经常面对一大堆模型评估的报表和指标，如Confusion Matrix、ROC、Lift、Gini、K-S之类（这个单子可以列很长），往往让很多在业务中需要解释它们的朋友头大：“这个模型的Lift是4，表明模型运作良好。——啊，怎么还要解释ROC，ROC如何如何，表明模型表现良好……”如果不明白这些评估指标的背后的直觉，就很可能陷入这样……