修改spark源码不生效的问题

spark版本为3.0.3

阅读前可以先看一下这个文章：

spark 编译环境搭建_spark 编译器搭建 vs-CSDN博客

Windos环境下查看spark源码：

我们从spark官网下载的源码有很多子项目（模块），如core，spl.core，examplesd等等：

这些模块之间有依赖关系，但是对应模块的依赖库中没有对方就会无法运行而报错

# 如我在example模块中写的类用到了Logging，以及sql.core。

# 而sql.core又用到了core中的SparkSession类，但是example模块没有core和sql.core的依赖

如果直接编译运行的话：

# 上图报错就是因为example模块用到了org.apache.spark.internal.Logging类，而该模块的依赖库中又没有对应的库（类，模块）

可以去项目结构查看当前xx模块用到了哪些库：

# 翻阅依赖后发现没有我们所需要的core，sql.core依赖

所以我们需要让example的依赖库中有它所依赖的，在这个spark包里面的其他模块的jar包（如下图的spark.spl模块的jar包）：

# 该jar包是由sql.core打包而来

他才能正常编译运行.

我们下载官方使用的spark，其中含有jars文件：

该jars目录含有各个模块所需要的依赖，为了省事，我们选择把这些依赖都导入每个模块：

然后就能正常运行了（这里会再次构建一下）。

# 注意maven的构建命令 和 idea的构建 有区别，建议windows构建的话，使用idea的构建，即不要勾选委托给maven

# 默认是不勾选的。因为使用maven构建的话，会进行测试，而测试中会用到sh脚本，windows没这玩意会构建失败

根据上述构建的话

随之而来就是我们修改core中的SparkSession类后，在example中执行的类所依赖的core的jar包并没有随之更新，

就会出现 修改源码不生效 以及 在源码中新开一行添加注释后导致调试时高亮行与实际运行错位 的情况：

# 控制台应该输出 修改demo==========Running Spark version 3.0.3

# 在源码中新加一行导致错位

要解决这种情况，只需要我们在每次修改后，将对应模块打成jar包替换掉原本jar包即可。

在core下执行mvn clean install -Dmaven.test.skip=true打成jar包：#需要跳过测试

用生成的spark-corel的jar替换掉原本jars目录中的spark-core的jar（为了方便理解，复制jars目录，并改名为jars_xiugai）

# 省事的话不用删除原来的引入的jars，直接替换一下就行。

# 这里是为了方便理解，复制jars目录，并改名为jars_xiugai导入，将原来的jars删了。

效果：