统计计算

那些年，我们一起追的 EB

那些年，我们一起追的 EB

杨灿 / 2012-05-26

写了《统计学习那些事》，很多童鞋都表示喜欢，这让我越来越觉得冯导的一句话很有道理：“我的电影一向只伺候中国观众，还没想过拍给全世界人民看。这就跟献血一样，本身是好事，但如果血型不对，输进去的血也会产生排异现象。我的‘血型’就适合中国人，对不上世界观众，别到时伤了我的身子骨，还伤害了世界观众，所以我暂时不会‘献血’。” 比如他的《天下无贼》，我就特别喜欢。然而天下可以无贼，却不可以没有英雄（不是张导的……

统计模型

分组最小角回归算法（group LARS）

分组最小角回归算法（group LARS）

郝智恒 / 2011-04-27

继续前两篇博文中对于最小角回归（LARS) 和 lasso 的介绍。在这篇文章中，我打算介绍一下分组最小角回归算法（Group LARS）。本文的主要观点均来自 Ming Yuan 和 Yi Lin 二人 2006 合作发表在 JRSSB 上的论文 Model selection and estimation in regression with grouped variables. 首先，我想说明一下，为何要引入分组变……

统计模型

修正的 LARS 算法和 lasso

修正的 LARS 算法和 lasso

郝智恒 / 2011-04-25

在小弟的上一篇文章中，简单的介绍了 LARS 算法是怎么回事。主要参考的是 Efron 等人的经典文章 least angle regression。在这篇文章中，还提到了一些有趣的看法，比如如何用 LARS 算法来求解 lasso estimate 和 forward stagewise estimate。这种看法将我对于模型选择的认识提升了一个层次。在这个更高的层次下看回归的变量选择过程，似乎能有一些更加创新的想……

统计模型

LARS 算法简介

LARS 算法简介

郝智恒 / 2011-04-23

最近临时抱佛脚，为了讨论班报告 Group Regression 方面的文章，研究了 Efron 等人于 2004 年发表在 Annals of Statistics 里一篇被讨论的文章 LEAST ANGLE REGRESSION。这篇文章很长，有 45 页。加上后面一些模型方面大牛的讨论的文章，一共有 93 页。对于这种超长论文，我向来敬畏。后来因为要报告的文章里很多东西都看不懂，才回过头来研读这篇基石性的文章。所谓……