当前位置: 首页 > news >正文

sparklocal 单机模式把元数据配置大MySQL里面

val spark = SparkSession.builder().master("local[5]").appName("jobTask").enableHiveSupport()// 元数据存储到 MySQL.config("javax.jdo.option.ConnectionURL", "jdbc:mysql://localhost:3306/spark_metastore?createDatabaseIfNotExist=true").config("javax.jdo.option.ConnectionDriverName", "com.mysql.cj.jdbc.Driver").config("javax.jdo.option.ConnectionUserName", "sparkuser").config("javax.jdo.option.ConnectionPassword", "spark123")// 数据文件存储到本地.config("spark.sql.warehouse.dir", "E:\\workpath\\sparkproject\\sparkLocalTask\\local_warehouse")// 性能优化配置.config("spark.sql.shuffle.partitions", "10").config("spark.default.parallelism", "10").config("spark.driver.memory", "6g")// 关闭不必要的日志.config("spark.ui.showConsoleProgress", "false").getOrCreate()

  

http://www.jsqmd.com/news/824972/

相关文章:

  • spark local不启动hive支持,不持久化元数据,直接读取parquet文件
  • 充电桩显示屏选型与单片机串口屏方案实战解析
  • AI人工智能未来发展趋势
  • RK3566工控板Wi-Fi模组性能实测:Wi-Fi 6与双频方案选型指南
  • 2026现阶段佛山铜挤压机实力厂商选择:聚焦核心能力与长期价值 - 2026年企业推荐榜
  • Next.js企业级UI系统启动器:集成设计系统与工程化最佳实践
  • METSO A413150输出模块
  • 程序员都要掌握的 Git 核心知识有哪些?
  • Hermes Agent自定义Provider接入Taotoken的详细配置步骤
  • Allegro铺铜避坑指南:从十字花焊盘到孤铜删除,新手必知的10个实用技巧
  • 别再只会./minio server了!手把手教你3种Minio后台启动与配置方法(含自定义账号密码)
  • 2026年5月七星区搬厂公司推荐榜:大型设备、精密仪器、整厂搬迁、仓储物流等类型厂家选择指南 - 海棠依旧大
  • CSS Grid布局如何实现项目重叠效果_利用z-index与grid-area实现
  • Games101 作业踩坑记(M1 Mac)
  • 3PEAK思瑞浦 TP2274-TS2R TSSOP14 精密运放
  • Python 网络IO优化:异步与连接管理
  • 2026年至今,广东不锈钢汤锅采购指南:聚焦品质与供应链 - 2026年企业推荐榜
  • 从Exynos到骁龙W5:Pixel Watch 2的芯片升级与UWB技术解析
  • PHP怎么实现IonCube加密_PHP IonCube编码器指南【指南】
  • 【STM32CubeMX实战】基于NRF24L01与HAL库构建稳定无线通信链路
  • ARM JTAG-DP调试端口架构与工程实践解析
  • RAG学习笔记:让大模型先查资料再回答问题
  • 面试鸭:高效智能的面试刷题神器,轻松备战求职面试
  • 终极指南:3分钟掌握Obsidian代码块美化技巧,让技术笔记瞬间升级
  • skimage新版SSIM/PSNR计算踩坑记:从win_size报错到data_range设置,手把手教你搞定图像质量评估
  • Kubernetes Pod安全标准:构建零信任的容器运行环境
  • 3步彻底解决电脑风扇噪音,FanControl实战指南让你的电脑安静如初
  • 使用TaotokenCLI工具一键配置多开发环境的方法
  • OrangePi串口实战:从pyserial配置到USB-TTL数据抓取
  • 威伦通HMI变址