【Python】【机器学习】十大算法简介与应用

监督学习算法

线性回归

核心：拟合线性关系y = w x + b y = wx + by=wx+b
应用：房价预测、销量分析
特点：简单、可解释性强

逻辑回归

核心：Sigmoid函数处理二分类P ( y = 1 ∣ x ) = 1 1 + e − ( w x + b ) P(y=1|x) = \frac{1}{1+e^{-(wx+b)}}P(y=1∣x)=1+e−(wx+b)1​
应用：信用评分、疾病诊断
特点：输出概率值

决策树

核心：基于信息增益/基尼系数分裂节点
应用：客户分群、风险评估
特点：可解释性强，易过拟合

随机森林

核心：多决策树投票集成
应用：金融反欺诈、推荐系统
特点：抗过拟合，并行计算

支持向量机（SVM）

核心：最大化间隔超平面w T x + b = 0 w^Tx + b = 0wTx+b=0
应用：图像分类、文本分类
特点：适合小样本高维数据

无监督学习算法

聚类->K均值聚类

核心：最小化簇内平方误差∑ i = 1 k ∑ x ∈ C i ∣ ∣ x − μ i ∣ ∣ 2 \sum_{i=1}^k \sum_{x \in C_i} ||x - \mu_i||^2∑i=1k​∑x∈Ci​​∣∣x−μi​∣∣2
应用：用户画像、市场细分
特点：需预设K值

降维->主成分分析（PCA）

核心：特征降维，保留最大方差方向
应用：数据可视化、去噪
特点：线性变换，丢失部分信息

其他关键算法

朴素贝叶斯

核心：基于条件独立性假设P ( y ∣ x ) ∝ P ( y ) ∏ P ( x i ∣ y ) P(y|x) \propto P(y)\prod P(x_i|y)P(y∣x)∝P(y)∏P(xi​∣y)
应用：垃圾邮件过滤、情感分析
特点：计算效率高

K近邻（KNN）

核心：基于距离投票分类
应用：推荐系统、异常检测
特点：惰性学习，计算成本高

梯度提升树（如XGBoost）

核心：迭代优化损失函数
应用：竞赛常用、点击率预测
特点：高性能，需调参