当前位置: 首页 > news >正文

2.5记录

上午把查询优化练得差不多,下午就开始入门Hive的基础函数了。之前听别人说Hive函数很多,但入门阶段不用学太多,先掌握最常用的、基础的就够了,所以今天重点学了字符串处理函数和数值计算函数,这些后续处理数据、清洗数据的时候,肯定会经常用到。

比如字符串处理函数,学了截取字符串、拼接字符串、替换字符串的函数,比如截取IP地址的前两段,拼接访问时间和URL,替换日志中的无效字符,这些操作都很简单,跟着教程写几条语句,练习几遍就会了。还有数值计算函数,比如求计数、求和、求平均值,和普通SQL中的函数用法差不多,因为我之前有SQL基础,上手起来特别快,不用花太多时间理解。

我还特意用函数做了简单的数据清洗练习,比如用替换函数,把日志中的无效字符(比如空格、特殊符号)替换掉;用截取函数,从访问时间中,截取到小时,统计每个小时的访问量,虽然都是简单的操作,但能把函数和之前学的查询、分区表结合起来
总结一下今天的学习内容,上午巩固了Hive查询优化,还解锁了分区裁剪的新技巧;下午入门了Hive基础函数,掌握了常用的字符串处理和数值计算函数,还做了简单的数据清洗练习。一整天下来,知识点不算多,但都很实用,也练得比较扎实。

http://www.jsqmd.com/news/346973/

相关文章:

  • 2026年革命:太空辐射环境测试如何重塑软件可靠性——软件测试从业者的专业解析
  • 题解:洛谷 P1260 工程规划
  • 数据中台建设指南:从0到1构建企业级大数据平台
  • 【计算机毕业设计案例】基于springboot+B_S架构的积分制零食自选平台(程序+文档+讲解+定制)
  • 夜に駆ける
  • app尝试做一个文字生成语音的功能
  • 基于springboot的人格测试网站系统
  • 2026基于springboot的在线招聘系统
  • Solution - P2292 [HNOI2004] L 语言
  • app内手机防盗功能基本开发完成
  • 系统思考与组织效率
  • 做员工福利平台的公司有哪些?企业福利平台该怎么选,深度解析 - 速递信息
  • 大四毕业生亲测有效的降AI实战笔记,免费降AI指令+专业将AI工具,轻松降低AI率
  • 2026年河北画室集训实力推荐榜:纵横美术/大画室/小画室/联考成绩/小班教学深度解析,专业口碑与高分保障之选 - 品牌企业推荐师(官方)
  • 2026年 屏蔽箱厂家推荐排行榜:屏蔽室/屏蔽柜/射频屏蔽箱/OTA屏蔽箱等全品类专业屏蔽设备实力品牌深度解析 - 品牌企业推荐师(官方)
  • [豪の算法奇妙冒险] 代码随想录算法训练营第四十一天 | 121-买卖股票的最佳时机、122-买卖股票的最佳时机Ⅱ、123-买卖股票的最佳时机Ⅲ
  • JAVA - 并发之内存模型
  • 2026年论文降AI保姆级教程:手把手教你如何降AI,将80%的AI疑率降至5%
  • 太空生物计算融合趋势:测试从业者的新机遇
  • 2026年南京汽车租赁品牌推荐榜:轿车/包车/会议用车/旅游包车/企业用车/商务车/政企用车全方位租赁服务深度解析 - 品牌企业推荐师(官方)
  • AI驱动的星际合作协议:2026太空法下的测试从业者洞察
  • 基于深度学习的web端多格式纠错系统(源码+文档)
  • 揭秘数据库性能优化:连接池的五大核心作用
  • 生物测试架构师稀缺性危机:数据透视与行业影响
  • 2026多校冲刺省选模拟赛5
  • 为什么测试工程师更需要抗扰大脑?
  • P1429 学习笔记
  • OpenClaw+Sealos组合拳:我司的AI Agent开发效率直接翻了4倍
  • 资治通鉴-名言
  • python3.12报错:ModuleNotFoundError: No module named imp