MrTriste's Blog

不正经，却严肃

交叉熵损失函数

sigmoid，softmax，推导，好处

交叉熵损失函数 以前没有特别注意这个东西，今天看XGBoost的时候，看到它里面classification的softmax的代码，不知道为什么这里可以用softmax，但是看到softmax这个函数非常亲切，看PRML时，里面的LR部分提到过，跟sigmoid函数差不多性质，但是类比过来还是有些问题，本质上还是没有深刻理解。 sigmoid函数用于二分类，softmax用于多分类。 ...

Posted by MrTriste on December 8, 2017

一些URL

浏览网页中比较重要的链接

Influence Maximization https://www.cnblogs.com/qioqio/p/7521039.html 机器学习方向 http://blog.csdn.net/workerwu/article/details/44137385 https://www.cnblogs.com/peileyuan/p/4775453.html 机器学习资源 http...

Posted by MrTriste on December 8, 2017

决策树损失函数Nt的理解

决策树损失函数Nt的理解

决策树损失函数对Nt的理解 为了避免出现过拟合的现象，我们要对决策树进行剪枝。 设决策树的子节点集合为T，t是T中的一个元素，该叶节点有$N_t$个样本，其中k类的样本有$N_{tk}$个，共K个分类 则损失函数可以定义为 右边第一项表示误差大小，第二项表示模型的复杂度，也就是用叶节点表示，防止过拟化。（一般的损失函数都用两项来表示，误差和模型复杂度，具体可以参看另一篇文章损失函数...

Posted by MrTriste on August 7, 2017

CART树之剪枝

CART树之剪枝

CART之剪枝详解 我们这里用的是代价复杂度剪枝算法。 首先我们将一颗充分生长的树称为$T_0$ ，我们希望减少树的大小来防止过拟化，但又担心去掉一些节点后预测的误差会增大，那么如何达到这两个变量之间的平衡则是问题的关键，因此我们用一个变量$\alpha$ 来平衡，因此损失函数定义为如下： T为任意子树，C(T)为预测误差，可以是平方误差也可以是基尼指数，|T|为子树T的叶子节点个数，...

Posted by MrTriste on August 6, 2017

逻辑斯蒂回归

Posted by MrTriste's Blog on July 24, 2017

集成学习

关于集成学习和集成树的一些总结

参考bootstrap, boosting, bagging 几种方法的区别与联系 决策树 好处：（1）特征数据放缩不变性；（2）面对无关特征更鲁棒；（3）得到确定的model。 但是decision tree往往不够准确，因为很容易产生over-fitting：一颗很深的树往往有low bias, high variance；而随机森林Random Forest通过对对多个决策树进行...

Posted by MrTriste on May 1, 2017

XGBoost

XGBoost

参考xgboost原理和xgboost入门与实战 目标函数 XGBoost目标函数的定义就是：损失函数+正则项+常量。 正则项就是为了控制模型的复杂度，损失函数本来是预测的分类与目标的差异，但是为了降低计算的复杂度，基于boosting的思想，每次根据上一次的残差更新这次预测值，那么损失函数就是与的差，然后用泰勒展开来近似这个损失函数，最终损失函数只依赖于每个数据点在误差函数上的一阶导...

Posted by MrTriste on May 1, 2017

Hmm 隐马尔可夫模型

Posted by MrTriste's Blog on May 1, 2017

提升树

分类问题和回归问题的提升树

Boosting Tree 提升树，是一种以决策树为基函数的提升方法。 它的基本思想是每次都对前面一棵树学习的残差再次进行学习，而不是与前面的学习过程是独立的，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把...

Posted by MrTriste on May 1, 2017

GBDT

梯度提升决策树

GBDT GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力（generalization)较强的算法。 GBDT中的每课决策树都是回归树。 那么为什么...

Posted by MrTriste on May 1, 2017

FEATURED TAGS
人工智能 机器学习 损失函数 决策树 随机森林 分类 回归 GBDT 提升树
ABOUT ME

你牵着狗，我牵着你
月上三竿，微风习习。

FRIENDS