搜索结果
查询Tags标签： XGBoost，共有 51条记录-
XGBoost算法
XGBoost是GBDT，梯度下降树的一种。 一、XGBoost是如何进行计算的 如果判断一个人是否喜欢玩电脑，可以用年龄、性别、职业等信息得到下面的回归树。 对每个节点赋予权重，然后可以计算每个人的得分，比如小男孩= 2，但是一个树用来拟合或者计算并不合理，因此增加树的数量…
2021/12/7 20:19:38 人评论 次浏览 -
决策树- 随机森林/GBDT/XGBoost
随机森林单颗决策树缺点：易过拟合的缺点 传统机器学习处理过拟合通常采用集成学习 (多颗树投票)随机森林的生成方法【在bagging的基础上+CART树】： 1.从总数为N样本集中通过重采样的方式产生n个样本 (Bootstrap) 2.假设样本特征数目为a，对n个样本选择其中k个特征， 用建…
2021/10/22 23:09:56 人评论 次浏览 -
决策树- 随机森林/GBDT/XGBoost
随机森林单颗决策树缺点：易过拟合的缺点 传统机器学习处理过拟合通常采用集成学习 (多颗树投票)随机森林的生成方法【在bagging的基础上+CART树】： 1.从总数为N样本集中通过重采样的方式产生n个样本 (Bootstrap) 2.假设样本特征数目为a，对n个样本选择其中k个特征， 用建…
2021/10/22 23:09:56 人评论 次浏览 -
python XGboost回归预测 算法实现和原理讲解（比赛青睐）
对经典问题 波士顿房价进行回归预测 一、加载波士顿数据集并观察数据的shape。 from sklearn.model_selection import train_test_split def del_data(): #建立处理数据集的方法，便于直接带入xgboost算法(train_data, train_targets), (test_data, test_targets) = bosto…
2021/10/18 11:09:35 人评论 次浏览 -
python XGboost回归预测 算法实现和原理讲解（比赛青睐）
对经典问题 波士顿房价进行回归预测 一、加载波士顿数据集并观察数据的shape。 from sklearn.model_selection import train_test_split def del_data(): #建立处理数据集的方法，便于直接带入xgboost算法(train_data, train_targets), (test_data, test_targets) = bosto…
2021/10/18 11:09:35 人评论 次浏览 -
XGBoost--学习2-关于XGBoost若干问题的思考
6.1 XGBoost与GBDT的联系和区别有哪些？ （1）GBDT是机器学习算法，XGBoost是该算法的工程实现。 （2）正则项：在使用CART作为基分类器时，XGBoost显式地加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。 （3）导数信息：GBDT在模型训练时只…
2021/10/16 6:14:39 人评论 次浏览 -
XGBoost--学习2-关于XGBoost若干问题的思考
6.1 XGBoost与GBDT的联系和区别有哪些？ （1）GBDT是机器学习算法，XGBoost是该算法的工程实现。 （2）正则项：在使用CART作为基分类器时，XGBoost显式地加入了正则项来控制模型的复杂度，有利于防止过拟合，从而提高模型的泛化能力。 （3）导数信息：GBDT在模型训练时只…
2021/10/16 6:14:39 人评论 次浏览 -
XGBoost--学习1
5. XGBoost实例 本篇文章所有数据集和代码均在我的GitHub中，地址：https://github.com/Microstrong0305/WeChat-zhihu-csdnblog-code/tree/master/Ensemble%20Learning/XGBoost 5.1 安装XGBoost依赖包pip install xgboost5.2 XGBoost分类和回归 XGBoost有两大类接口：XGB…
2021/10/16 6:14:39 人评论 次浏览 -
XGBoost--学习1
5. XGBoost实例 本篇文章所有数据集和代码均在我的GitHub中，地址：https://github.com/Microstrong0305/WeChat-zhihu-csdnblog-code/tree/master/Ensemble%20Learning/XGBoost 5.1 安装XGBoost依赖包pip install xgboost5.2 XGBoost分类和回归 XGBoost有两大类接口：XGB…
2021/10/16 6:14:39 人评论 次浏览 -
XGBoost
1. XGBoost简介 XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量的Kagg…
2021/10/16 6:14:36 人评论 次浏览 -
XGBoost
1. XGBoost简介 XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量的Kagg…
2021/10/16 6:14:36 人评论 次浏览 -
Python机器学习 - 卡方检验, LabelEncoder, One-hot, xgboost, shap
一、统计学相关 1. crosstable # 计数 ct = pd.crosstab(label, feature, margins=True) # 比例 ct_prob = contingency_table.div(ct[All], axis=0)2. 卡方检验 # p-value scipy.stats.chi2_contingency(cross_table)[1] # chi^2 scipy.stats.chi2_contingency(cross_tab…
2021/9/12 1:05:15 人评论 次浏览 -
Python机器学习 - 卡方检验, LabelEncoder, One-hot, xgboost, shap
一、统计学相关 1. crosstable # 计数 ct = pd.crosstab(label, feature, margins=True) # 比例 ct_prob = contingency_table.div(ct[All], axis=0)2. 卡方检验 # p-value scipy.stats.chi2_contingency(cross_table)[1] # chi^2 scipy.stats.chi2_contingency(cross_tab…
2021/9/12 1:05:15 人评论 次浏览 -
【史诗级干货长文】集成学习进阶（XGBoost & lightGBM）
集成学习进阶 1. xgboost算法原理1.1 最优模型的构建方法1.2 XGBoost的目标函数推导1.2.1 目标函数确定1.2.2 CART树的介绍1.2.3 树的复杂度定义1.2.3.1 定义每课树的复杂度1.2.3.2 树的复杂度举例 1.2.4 目标函数推导 1.3 XGBoost的回归树构建方法1.3.1 计算分裂节点1.3.…
2021/7/26 23:36:30 人评论 次浏览 -
【史诗级干货长文】集成学习进阶（XGBoost & lightGBM）
集成学习进阶 1. xgboost算法原理1.1 最优模型的构建方法1.2 XGBoost的目标函数推导1.2.1 目标函数确定1.2.2 CART树的介绍1.2.3 树的复杂度定义1.2.3.1 定义每课树的复杂度1.2.3.2 树的复杂度举例 1.2.4 目标函数推导 1.3 XGBoost的回归树构建方法1.3.1 计算分裂节点1.3.…
2021/7/26 23:36:30 人评论 次浏览
