浏览器市场与用户画像分析 实验报告
浏览器市场与用户画像分析 实验报告
实验背景
实验目的
熟悉互联网用户行为半结构化日志数据的结构与特点；掌握日志解析、字段拆分、数据清洗、多维度聚合与跨表关联的实操方法；完成从原始行为日志到结构化数据表的转换；围绕浏览器应用完成市场格局、用户使用时段、行为偏好等维度的数据建模，为浏览器市场分析与用户画像构建提供数据支撑。
实验环境
实验平台：助睿数智（Uniplore）一站式数据科学实验平台
数据处理：助睿 ETL 数据集成平台
可视化平台：助睿 BI 可视化平台
数据库：MySQL（团队私有数据库、线上公共数据库）
数据规模：1000 用户、800 万 + 条行为记录、约 825MB
数据来源
本次实验采用首届中国互联网数据挖掘竞赛公开数据集，包含：
用户人口属性表：demographic.csv（性别、年龄、职业、收入等）
用户电脑行为日志：浏览器访问记录、软件使用记录，覆盖 2012 年 5–8 月共 4 周数据
数据加工整体流程
原始日志数据 → 日志解析结构化 → 行为明细清洗 → 浏览器数据筛选 → 时长计算 → 时段提取 → 维度聚合 → 市场格局表生成 → 时段活跃表生成 → 可视化分析 → 浏览器市场与用户画像分析完成
实验步骤
日志数据结构化转换
创建实验项目
登录助睿 ETL，新建项目并命名为 “互联网用户行为日志数据加工”。
导入实验数据
进入项目文件库，新建目录 “互联网用户行为日志数据集”，从公共空间导出 20 个日志文件至本地目录。
创建行为事件明细表
新建转换流 “创建原始行为日志数据表”，执行 SQL 创建 behavior_events 表，存储解析后的结构化行为明细。
日志批量采集与解析
使用获取文件名组件批量读取日志文件；
使用Java 代码组件解析文件名、跳过日志头部、按 <=>/[=] 拆分字段，提取会话 ID、用户 ID、进程名、访问 URL、时长等关键字段；
使用字段选择组件过滤冗余字段；
使用表输出组件将结构化数据写入 behavior_events。
验证结构化结果
加载数据库元数据，查询 behavior_events，确认字段完整、数据格式正确。
进程用户规模统计与分析方向确定
创建进程统计表
新建转换流，执行 SQL 创建 program_stats，用于存储各软件使用用户数。
统计各进程用户数量
读取 behavior_events；
筛选 user_id、process_name；
替换 process_name 空值为 “未知”；
按 process_name 分组，统计用户数；
结果写入 program_stats。
BI 可视化确定分析对象
在助睿 BI 中创建数据集 进程用户数据统计；
制作水平条图，按用户数降序展示各软件覆盖度；
结论：浏览器类进程（Chrome、360、搜狗、QQ 浏览器、IE）用户覆盖最高，确定浏览器为核心分析对象。
分析表结构设计与建表
围绕浏览器市场格局与时段行为，设计两张核心表：
browser_coverage：浏览器用户数、总使用时长
browser_hourly：浏览器按小时活跃用户数
在 ETL 中分别执行 SQL 创建两张表，完成表结构初始化。
浏览器行为数据清洗、聚合与建模
读取全量行为数据
读取线上公共数据库 behavior_events，筛选关键字段：session_id、user_id、session_start_time、process_name、url、event_seconds。
筛选主流浏览器数据
使用过滤记录组件，筛选 process_name 属于主流浏览器进程： iexplore.exe、360chrome.exe、360se.exe、chrome.exe、sogouexplorer.exe、QQBrowser.exe。
计算窗口停留时长
按 session_id、event_seconds 排序；
分析查询获取下一行秒数；
计算器计算 duration_sec = next_event_seconds - event_seconds；
过滤时长 > 0 的有效记录。
提取日期与小时
剪切字符串提取 date；
转换时间字段为日期类型；
计算器提取 hour。
生成用户 - 日 - 浏览器 - 小时明细
按 user_id、date、process_name、hour 分组，聚合使用时长、行为次数，形成统一分析基础明细。
分支 A：浏览器市场格局表生成
按 process_name 分组；
聚合指标：
ouser_count：去重用户数
ototal_duration_sec：总使用时长
结果写入 browser_coverage。
分支 B：浏览器时段活跃表生成
按 process_name、hour 排序、分组；
聚合指标：active_user_count：小时内活跃用户数；
结果写入 browser_hourly。
结果验证
加载数据库元数据，查询两张结果表：
browser_coverage：用户数、时长分布合理；
browser_hourly：时段数据完整、无异常值。
实验结果
日志结构化成果
成功将 20 份半结构化日志解析为结构化明细表 behavior_events，字段完整、数据无乱码，完成从原始日志到可分析数据的转换。
浏览器市场格局
从 browser_coverage 可知：
Chrome、360 浏览器用户覆盖领先；
360 浏览器总使用时长最高；
IE 浏览器用户基数大但时长偏低；
搜狗、QQ 浏览器用户规模相对较小。
浏览器时段使用特征
从 browser_hourly 可知：
工作日 9:00–12:00、14:00–18:00 为 Chrome 活跃高峰；
晚间 20:00–22:00 360 浏览器活跃显著；
IE 浏览器使用时段分散，无明显高峰。
分析方向价值验证
通过用户覆盖度统计，精准锁定浏览器为核心分析对象，数据样本充足、维度丰富，可支撑市场格局、用户画像、使用习惯、流失预测等后续分析场景。
实验总结
本次实验完整完成了互联网用户行为日志从半结构化解析、清洗、聚合到建模的全流程数据加工任务，成功构建浏览器市场格局表与时段活跃表。
通过本次实验，掌握了以下核心能力：
半结构化日志解析、字段拆分、结构化转换方法；
ETL 平台组件组合使用：获取文件名、Java 代码、过滤、排序、分析查询、聚合、表输出；
数据维度设计、指标聚合、跨表关联建模；
BI 可视化分析确定业务分析对象；
浏览器市场格局与时段行为特征的数据化呈现。
本次实验输出的两张核心数据表，为后续浏览器用户画像构建、偏好分析、流失预测与个性化推荐提供了高质量数据基础，也为复杂用户行为分析项目提供了标准的流程范式。