推荐文章

“支持向量机系列”的番外篇二: Kernel II

张驰原 / 2014-05-08

原文链接请点击这里在之前我们介绍了如何用 Kernel 方法来将线性 SVM 进行推广以使其能够处理非线性的情况，那里用到的方法就是通过一个非线性映射 $\phi(\cdot)$将原始数据进行映射，使得原来的非线性问题在映射之后的空间中变成线性的问题。然后我们利用核函数来简化计算，使得这样的方法在实际中变得可行。不过，从线性到非线性的推广我们并没有把 SVM 的式子从头推导一遍，而只是直接把最终……

推荐文章

昔日因，今日意

杨灿 / 2014-04-19

飞帅云：“三十功名尘与土，八千里路云和月。莫等闲，白了少年头，空悲切。”可我在耶鲁两年多了，基本一事无成。既没有像当年那样死磕Lasso和Boosting，也没有能追随Deep Learning 的浪潮。曾经真的以为人生就这样了，平静的心拒绝再有浪潮。斩了千次的情丝却断不了，百转千折她将我围绕。有人问我她究竟是哪里好？我想我是鬼迷心窍。 […] 她就是LMM，我给她起了一个美丽的中文……

推荐文章

“支持向量机系列”的番外篇一: Duality

张驰原 / 2014-03-19

原文链接请点击这里在之前关于support vector的推导中，我们提到了dual，这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题，而是对于所有带约束的优化问题都适用的，是优化理论中的一个重要部分。简单来说，对于任意一个带约束的优化都可以写成这样的形式： $$ \begin{aligned} \min&f_0(x) \\ s.t. &f_i(x)\leq……

推荐文章

支持向量机系列五：Numerical Optimization

张驰原 / 2014-03-06

原文链接请点击这里作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出来每个人实现得结果还不一样，提一下方法，再结合实际的实现代码的话，应该会更加明……

推荐文章

支持向量机系列四：Outliers

张驰原 / 2014-02-22

原文链接请点击这里在最开始讨论支持向量机的时候，我们就假定，数据是线性可分的，亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据，使用 Kernel 方法对原来的线性 SVM 进行了推广，使得非线性的的情况也能处理。虽然通过映射\(\phi(\cdot)\)将原始数据映射到高维空间之后，能够线性分隔的概率大大增加，但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线……

推荐文章

支持向量机系列三：Kernel

张驰原 / 2014-02-17

原文链接请点击这里前面我们介绍了线性情况下的支持向量机，它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过，由于是线性方法，所以对非线性的数据就没有办法处理了。例如图中的两类数据，分别分布为两个圆圈的形状，不论是任何高级的分类器，只要它是线性的，就没法处理，SVM 也不行。因为这样的数据本身就是线性不可分的。对于这个数据集，我可以悄悄透露一下：我生成它的时候就是用两个半径不同的圆圈加上……

推荐文章

支持向量机系列二: Support Vector

张驰原 / 2014-01-25

原文链接请点击这里上一次介绍支持向量机，结果说到 Maximum Margin Classifier ，到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图：可以看到两个支撑着中间的 gap 的超平面，它们到中间的 separating hyper plane 的距离相等（想想看：为什么一定是相等的？），即我们所能得到的最大的 geometrical margin……

推荐文章

支持向量机系列一: Maximum Margin Classifier

张驰原 / 2014-01-23

原文链接请点击这里支持向量机即 Support Vector Machine，简称 SVM 。我最开始听说这头机器的名号的时候，一种神秘感就油然而生，似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起，然后再做成一个 Machine ，一听就很玄了！不过后来我才知道，原来 SVM 它并不是一头机器，而是一种算法，或者，确切地说，是一类算法，当然，这样抠字眼的……

推荐文章

从数据到价值——创业团队应该关注的四个阶段

王汉生 / 2014-01-03

COS编辑部按：本文作者为北京大学王汉生教授，文章面向光华MBA学生系统梳理了从数据到价值的理念。作者简介：王汉生教授现任狗熊会会长、北京大学商务智能研究中心主任、北京大学光华管理学院商务统计与经济计量系系主任。现为ISI, ASA, IMS, RSS, ICSA会员，ASA会士(2014年6月23日更新)。 […] 这是一个最好的时代，移动互联网技术为从业者提供了无比丰富的数据。从……

推荐文章

use R for fun系列之玩转图像篇

刘辰昂 / 2013-09-01

系列以use R for fun为主题，以COS论坛上的精华帖、相关package以及自己的一些code为素材，结合自身的一些编程体会，从而整合成文。本文是第三篇玩转图像篇。本文素材出处均已在正文中注明接着for fun的话题往下讲，大家或多或少都曾经用过PS来玩过图片，其强大的功能令我们不得不赞叹，无论是美图还是是恶搞都曾给我们带来了不少的乐趣。今天我们就要让这种乐趣在万能的R中实现！当然实……

推荐文章

COS论坛精华帖系列——use R for fun系列之小应用制作篇

刘辰昂 / 2013-08-10

系列以use R for fun为主题，以COS论坛上的精华帖、相关的package以及自己的一些code为素材，结合自身的一些编程体会，从而整合成文。本文是第二篇小应用制作篇。本文素材出处均已在正文注明本文继续承接上一篇的话题(小游戏开发篇)，继续在交互操作上做文章，不同的是这里引入了更丰富的操作和idea，仅仅做些小游戏还远远达不到我们的胃口，因此这里不妨再把思维拓宽些，让R来我们的生活服……

推荐文章

COS论坛精华帖系列——use R for fun系列之小游戏开发篇

刘辰昂 / 2013-08-08

系列以use R for fun为主题，以COS论坛上的精华帖、相关的package以及自己的一些code为素材，结合自身的一些编程体会，从而整合成文。很多人都片面的认为R仅仅是一个自由免费的统计分析软件，加之其没有其他商业软件诸如SAS、SPSS等商业软件友好的界面而并不被很多人所喜爱，但事实上这非常片面，因此本文旨在通过一系列看似不务正业但实则蕴含一定R语言使用技巧的内容纠结部分user对R……