如何在万亿级别规模的数据量上使用Spark

Spark在平台中的角色
平台架构包含日志接入、查询与计算，离线计算由Spark on Yarn承担，存储层使用内部COS替代HDFS。
快速掌握Spark的四个步骤
理解关键术语：掌握Shuffle、Partitions、Driver、Container等运行术语，以及RDD、DataFrame等编程术语，即可理解原理与编码。
熟悉核心配置：如内存（spark.executor.memory）、超时（spark.network.timeout）等。需注意配置的副作用，如推测执行（spark.speculation）在写入MySQL时可能引发数据重复。
善用并行度：RDD任务通过num-executors、executor-cores和spark.default.parallelism调整，推荐并行度为核心数的2~3倍；Spark SQL则用spark.sql.shuffle.partitions控制。
学会修改源码：Spark模块化清晰，根据目录找到对应jar包源码，修改后编译替换即可，便于功能定制与优化。
平台实践要点
快速部署：支持物理机一键部署和Docker弹性扩展。
动态资源分配：配置YARN Shuffle Service并启用dynamicAllocation，自动调整Executor数量。
合理分配资源：根据数据量级（千万级vs百亿级）配置不同计算资源。
贴合业务：支持高并发实时查询，如通过MongoDB出库。
场景适配：对千亿级日志中UTF-8解析异常，在计算层增加异常处理，避免影响采集效率。
问题定位：通过yarn logs查看失败日志，常见问题包括代码语法、Spark版本兼容、数据倾斜和内存溢出。
集群运维：定期监控异常节点、清理日志、预检资源，保障稳定性。
当前平台每日计算分析数据量已达千亿至万亿级别。