当前位置: 首页 > news >正文

【赵渝强老师】Scala编程语言

1

Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机)之上,并兼容现有的Java程序。因此,要安装Scala环境之前,首先需要安装Java的JDK。学习Scala编程语言,将为后续学习Spark和Flink奠定基础。

image.png
点击这里查看视频讲解:【赵渝强老师】Scala编程语言

下面的代码展示了在Spark中如何使用Scala开发一个WordCount程序。

package demoimport org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.log4j.Logger
import org.apache.log4j.Levelobject WordCountDemo {def main(args: Array[String]): Unit = {Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)//本地模式//val conf = new SparkConf().setAppName("WordCountDemo").setMaster("local")//集群模式val conf = new SparkConf().setAppName("WordCountDemo")//创建SparkContextval sc = new SparkContext(conf)val result = sc.textFile("hdfs://bigdata111:9000/input/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)//输出到屏幕result.collect.foreach(println)//输出到HDFSresult.saveAsTextFile("hdfs://bigdata111:9000/output/spark/wc")sc.stop}
}

在Flink中也可以使用Scala编程语言,下面的代码也将在Flink中执行一个WordCount程序。

package demoimport org.apache.flink.api.scala._object WordCount {def main(args: Array[String]) {val env = ExecutionEnvironment.getExecutionEnvironmentval text = env.fromElements("I love Beijing","I love China","Beijing is the capital of China")val counts = text.flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1)counts.print()}
}
http://www.jsqmd.com/news/97657/

相关文章:

  • 松源华兴匠心之道,冻干机维修秘籍 - 品牌推荐大师
  • 2025年口碑好的运输半挂车/液化天燃气运输半挂车厂家推荐及选择参考 - 行业平台推荐
  • 终极指南:如何用开源OCR实现PDF到Markdown的智能转换
  • 终极跨平台标签设计:gLabels-Qt完整使用指南
  • Noi浏览器:重新定义AI时代的高效工作流
  • Autoware Universe 自动驾驶开发实战:从入门到精通完整指南
  • 如何快速掌握pdftotext工具:PDF文本提取的完整教程
  • PapersGPT智能助手:让Zotero文献管理进入AI对话时代
  • 打造惊艳年会!log-lottery 3D球体抽奖完整指南
  • 快速掌握Power BI数据分析的完整指南
  • DeepBI:3步实现零代码AI数据分析的完整指南
  • Synology硬盘兼容性终极指南:5步解锁第三方硬盘限制
  • 27、实用脚本编程技巧与示例
  • BilibiliSponsorBlock完整配置指南:轻松实现B站纯净观看体验
  • 深入解析:【JAVA 进阶】Spring Cloud 微服务全栈实践:从认知到落地
  • Langchain-Chatchat与AutoGPT结合的可能性
  • 仿RabbitMQ实现消息队列(三)--muduo介绍与应用
  • 【赵渝强老师】HBase的逻辑存储结构
  • Stressapptest系统稳定性检测与内存性能评估完整指南
  • OpenRouter 模型聚合平台,提供超多免费模型使用
  • 免费终极工具Pintr:快速将照片转化为专业线条画
  • 立体声到5.1环绕声:用Python解锁影院级音效的完整指南
  • 【C++】:priority_queue的理解,利用和模拟实现
  • 【赵渝强老师】阿里云大数据生态圈体系
  • 28、实用脚本程序介绍
  • LangFlow支持iflow协议吗?兼容性全面测评
  • 29、脚本杂谈:实用脚本的解析与优化
  • 30、脚本杂谈:m1 宏处理器与 sed 命令速览
  • 31、Awk 脚本语言快速参考指南
  • 2025年年终消防机器狗场景落地商推荐:聚焦工业与地下救援场景的可靠性验证及高适应性案例盘点 - 品牌推荐