机器学习——XGBoost算法
机器学习——XGBoost算法 XGBoost（eXtreme Gradient Boosting）是一种高效且灵活的机器学习算法，广泛应用于数据挖掘、自然语言处理和推荐系统等领域。它是基于梯度提升树（Gradient Boosting Decision Trees，GBDT）算法的改进版本，在目标函数的定义和求解、节点分裂算法、缺失值处理和算法系统层优化等方面进行了改进和优化。本文将介绍XGBoost算法...
机器学习——决策树节点生成算法
机器学习——决策树节点生成算法 决策树是一种常用的机器学习模型，它能够根据数据特征的不同进行分类或回归。决策树的关键在于节点的生成算法，不同的生成算法会影响决策树的结构和性能。本篇博客将介绍三种常用的决策树节点生成算法：ID3算法、C4.5算法和CART算法，包括详细的理论介绍、算法公式和Python实现，并对三种算法进行对比与总结。 1. ID3算法（Iterative Dichotomiser 3） I...
机器学习——支持向量机（SVM）
机器学习——支持向量机（SVM） 支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习算法，常用于分类和回归任务。SVM在分类问题中尤其广受欢迎，因为它不仅能够在线性可分的情况下找到最优的分类超平面，还可以通过核函数处理非线性情况。 在本篇博客中，将介绍支持向量机的理论基础、关键概念以及通过Python代码实现一个简单的SVM分类器。 1. 线性分类基础 支持向量机是一...
机器学习——坐标轴下降法和梯度下降法
机器学习——坐标轴下降法和梯度下降法 在机器学习中，优化算法是一种关键的技术，用于寻找模型参数的最优解。坐标轴下降法（Coordinate Descent）和梯度下降法（Gradient Descent）是两种常见的优化算法，用于求解目标函数的最小值。本文将详细介绍坐标轴下降法和梯度下降法的理论基础及Python代码实现进行对比分析。 梯度下降法 梯度下降法是一种常用的优化算法，通过迭代更新参数来使目标函数...