十、电商数仓用户行为采集平台

一、数据仓库概述

数据仓库（Data Warehouse）是为企业制定决策、提供数据支持的系统。其输入数据通常包括三类：

本文聚焦于用户行为数据的采集，介绍如何通过埋点收集用户行为，并搭建采集平台将数据传输到日志服务器。

二、用户行为日志

2.1 埋点方式

目前主流的埋点方式包括：

2.2 日志内容分类

本项目收集的用户行为日志主要包括五类：

2.3 日志格式

日志结构分为两类：页面日志和启动日志。

2.3.1 页面日志

一条完整的页面日志包含：

• 一个页面浏览记录
• 若干动作记录（actions）
• 若干曝光记录（displays）
• 一个错误记录（err，可选）
• 环境信息（common）

2.3.2 启动日志

一条完整的启动日志包含：

• 一个启动记录（start）
• 一个错误记录（err，可选）
• 环境信息（common）

三、数据采集通道设计

3.1 采集链路

用户行为数据的采集链路为：

应用端 → 日志文件 → Flume → Kafka → HDFS/Hive/Flink

3.2 Flume 配置方案

3.2.1 Source 选型：TailDirSource

选择 TailDirSource 的原因：

TailDirSource 是生产环境的首选，它解决了断点续传和多目录监控的问题。

3.2.2 Channel 选型：KafkaChannel

采用 KafkaChannel 的优势：

• 省去 Sink 组件，直接写入 Kafka
• 提高传输效率，减少一跳
• 利用 Kafka 的高可靠和高吞吐特性

3.2.3 配置文件示例

# 定义组件 a1.sources = r1 a1.channels = c1 # 配置 Source：TailDirSource a1.sources.r1.type = TAILDIR a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* a1.sources.r1.positionFile = /opt/module/apache-flume-1.10.1-bin/taildir_position.json # 配置 Channel：KafkaChannel a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel a1.channels.c1.kafka.bootstrap.servers = hadoop1:9092,hadoop2:9092 a1.channels.c1.kafka.topic = topic_log a1.channels.c1.parseAsFlumeEvent = false # 组装 a1.sources.r1.channels = c1

关键配置说明：

3.3 日志校验拦截器

为保证数据质量，可配置拦截器对日志格式进行校验：

# 配置拦截器 a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = com.atguigu.flume.interceptor.ETLInterceptor # 绑定拦截器 a1.sources.r1.interceptors = i1

拦截器的主要功能：

• 校验日志是否为合法的 JSON 格式
• 过滤不符合格式的脏数据
• 统计日志采集的成功率和失败率

四、总结

用户行为采集平台的核心要点：

这套采集方案具有高可靠、实时性强的特点，能够满足大规模用户行为数据的采集需求。