今天学Spark MLlib 机器学习，算是从纯数据处理过渡到数据建模环节。MLlib 作为 Spark 自带的机器学习库，能直接处理分布式数据集，不用像单机的 sklearn 那样受限于数据量，先选了经典的鸢尾花数据集，用 SparkSession 读取成 DataFrame 后，先做了基础的数据预处理 —— 用 VectorAssembler 把多个特征列合并成一个特征向量列，这是 MLlib 的核心要求，所有特征必须封装成向量才能输入模型；接着把数据集按 7:3 分成训练集和测试集。然后选了最简单的逻辑回归模型，用 Pipeline 管道把特征处理和模型训练串起来，代码里只要定义 PipelineStage 数组，再调用 fit () 训练、transform () 预测就行，全程都是调用封装好的 API，新手不用手写算法逻辑。训练完用 MulticlassClassificationEvaluator 评估准确率，第一次跑出来有 85% 左右，调整了下特征和训练迭代次数，准确率涨到了 90%。实操时踩了两个坑：一是忘记合并特征列，直接把零散列输入模型报错，才记牢 MLlib 的特征向量要求；二是评估时选错了指标，一开始用了二分类的指标，鸢尾花是多分类，换成 multiclass 才正常。还简单了解了 MLlib 支持的算法类型，分类、回归、聚类、协同过滤都有，而且和 Spark 的 DataFrame 深度兼容，之前学的 DataFrame 操作能直接用来做数据预处理，不用切换数据结构。
