一、机器学习简介
机器学习（Machine Learning, ML）主要研究计算机系统对于特定任务的性能，逐步进行改善的算法和统计模型。通过输入海量训练数据对模型进行训练，使模型掌握数据所蕴含的潜在规律，进而对新输入的数据进行准确的分类或预测。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸优化、算法复杂度理论等多门学科。
1.1 人工智能、机器学习与深度学习
- 人工智能（AI）是计算机科学的一个广泛领域，目标是让机器具备类人的“智能”，包括自然语言处理（NLP）、计算机视觉、机器人技术、专家系统等等；具体实现手段多种多样，包括规则系统、符号逻辑、统计方法、机器学习等。
- 机器学习是AI的一个子领域，核心是通过数据驱动，让计算机进行学习并改进性能，自动发现规律（模式），并利用这些规律进行预测或决策。
- 深度学习是机器学习的一个子领域，基于多层神经网络处理复杂任务。
1.2 机器学习应用领域
今天，在计算机科学的诸多分支学科领域中，无论是多媒体、图形学，还是网络通信、软件工程，乃至体系结构、芯片设计，都能找到机器学习技术的身影，尤其是在计算机视觉、自然语言处理等计算机应用技术领域，机器学习已成为最重要的技术进步源泉之一，并为许多交叉学科提供了重要的技术支撑。
1.3 基本术语
- 数据集（Data Set）：多条记录的集合。
1）训练集（Training Set）：用于训练模型的数据。
2）验证集（Validation Set）：用于调节超参数的数据。
3）测试集（Test Set）：用于评估模型性能的数据。 - 样本（Sample）：数据集中的一条记录是关于一个事件或对象的描述，称为一个样本。
- 特征（Feature）：数据集中一列反映事件或对象在某方面的表现或性质的事项，称为特征或属性。
- 特征向量（Feature Vector）：将样本的所有特征表示为向量的形式，输入到模型中。
- 标签（Label）：监督学习中每个样本的结果信息，也称作目标值（target）。
- 模型（Model）：一个机器学习算法与训练后的参数集合，用于进行预测或分类。
- 参数（Parameter）：模型通过训练学习到的值，例如线性回归中的权重和偏置。
- 超参数（Hyper Parameter）：由用户设置的参数，不能通过训练自动学习，例如学习率、正则化系数等。
二、机器学习三要素
器学习的方法一般主要由三部分构成：模型、策略和算法，可以认为：
机器学习方法 = 模型 + 策略 + 算法。
- 模型（model）：总结数据的内在规律，用数学语言描述的参数系统。
- 策略（strategy）：选取最优模型的评价准则。
- 算法（algorithm）：选取最优模型的具体方法。
2.1 机器学习方法分类
机器学习的方法种类繁多，并不存在一个统一的理论体系能够涵盖所有内容。从不同的角度，可以将机器学习的方法进行不同的分类：
- 通常分类：按照有无监督，机器学习可以分为 有监督学习、无监督学习 和 半监督学习，除此之外还有 强化学习。
- 按模型分类：根据模型性质，可以分为概率模型/非概率模型，线性/非线性模型等。
- 按学习技巧分类：根据算法基于的技巧，可以分为贝叶斯学习、核方法等。