当前位置：首页 > news >正文

大数据开发学习Day11

news 2026/6/4 8:24:04

一、Linux / Shell

日志文件 app.log 格式

2025-04-11 08:00:00,uid100,SUCCESS2025-04-11 08:01:00,uid101,FAIL2025-04-11 08:02:00,uid100,SUCCESS

1.筛选出 SUCCESS 的行
2.提取 UID（第 2 列，逗号分隔）
3.去重统计次数
4.按次数降序排列

grep"SUCCESS"app.log|cut-d','-f2|sort|uniq-c|sort-nr

grep “SUCCESS” app.log
作用：只保留包含SUCCESS的成功日志
用途：过滤失败 / 异常日志，只看目标数据

二、SQL

176. 第二高的薪水

SELECT(SELECT DISTINCT salary FROM Employee ORDER BY salary DESC LIMIT1OFFSET1)AS SecondHighestSalary;

LIMIT 1 OFFSET 1
跳过 1 条，取 1 条 = 第二条

178. 分数排名

SELECT score, DENSE_RANK()OVER(ORDER BY score DESC)AS'rank'FROM Scores ORDER BY score DESC;

DENSE_RANK() 连续并列排名
分数相同：名次相同
排名格式：1,1,2,3,3,4
RANK()：跳跃排名 1,1,3,4
ROW_NUMBER()：不并列 1,2,3,4

180. 连续出现的数字

SELECT DISTINCT l1.num AS ConsecutiveNums FROM Logs l1 JOIN Logs l2 ON l1.id=l2.id -1JOIN Logs l3 ON l1.id=l3.id -2WHERE l1.num=l2.num AND l2.num=l3.num;

三、PySpark

frompyspark.sqlimportSparkSessionfrompyspark.sqlimportfunctionsasF spark=SparkSession.builder \.master("local[*]")\.appName("day11")\.getOrCreate()data=[(1,"click",10),(1,"buy",20),(2,"click",15),(3,"view",5),]df=spark.createDataFrame(data,["uid","event","cost"])# 1. 分组多聚合df.groupBy("uid")\.agg(F.sum("cost").alias("total"),F.avg("cost").alias("avg"),F.count("*").alias("cnt")).show()# 2. 过滤 + 排序df.filter(F.col("cost")>10)\.orderBy(F.desc("cost"))\.show()# 3. 新增列df.withColumn("cost_double",F.col("cost")*2).show()spark.stop()

四、算法

合并两个有序链表

classListNode:def__init__(self,val=0,next=None):self.val=val self.next=nextdefmergeTwoLists(l1,l2):dummy=cur=ListNode()whilel1andl2:ifl1.val<l2.val:cur.next=l1 l1=l1.nextelse:cur.next=l2 l2=l2.nextcur=cur.nextcur.next=l1orl2returndummy.next