AWS 实战指南】使用 Amazon S3 Files 构建企业级 EFK 日志存储

💡 核心场景与业务背景

在传统的 EFK（Elasticsearch, Fluentd, Kibana）日志架构中，Java 应用的日志通常先写入 EC2 的本地 EBS 云盘，再由 Fluentd 采集。当拥有数百台 EC2 时，会面临两大痛点：

1. EBS 成本高昂：几百台机器的日志盘费用是一笔巨款。

2. Mountpoint 的局限：如果使用传统的开源工具（如s3fs）或旧版Mountpoint for S3直接挂载 S3，由于 S3 原生不支持“追加写（Append）”，高频的日志写入会导致严重的 I/O 阻塞和天价的 API 请求费。

Amazon S3 Files完美解决了这一问题。它在 VPC 内部提供了一个原生的 NFS 接口，利用硬件级缓存实现了对 S3 对象的“增量续写”，让数百台 EC2 能以极低的成本、极高的性能将日志流式安全地存入 S3。

🛠️ 详细实施步骤

步骤一：S3 存储桶准备与“版本控制”避坑

S3 Files 的底层依赖增量记录来实现文件修改，因此对目标存储桶有严格的强制要求。

1. 进入Amazon S3 控制台，创建或选择一个现有的存储桶（例如：s3://s3-nonprod-sg-app-logs）。

2. ⚠️ 关键必做项（官方硬性要求）：进入存储桶的属性 (Properties)标签页。

3. 找到存储桶版本控制 (Bucket Versioning)，点击编辑并将其设为“启用 (Enable)”。

   • 避坑说明：如果在创建 S3 Files 时目标 Bucket 未开启版本控制，控制台将直接拦截并报错。

4. 最佳实践（省钱秘籍）：进入管理 (Management)标签页，创建一个生命周期规则 (Lifecycle Rule)，将非当前版本（Noncurrent versions）在 7 天后永久删除。因为高频写日志会产生大量历史版本碎片，不清理会产生额外存储费。

步骤二：IAM 权限检查与“Role 创建”避坑

S3 Files 是一个全托管的网关服务，它需要代表你向 S3 写入数据，因此需要一个专属的服务角色 (Service Role)。

1. 确认操作人权限：在点击创建 S3 Files 之前，请确保你当前登录的 AWS 账号/角色拥有以下 IAM 权限：

   • iam:CreateRole

   • iam:PutRolePolicy

   • iam:PassRole

2. 避坑说明：很多运维人员使用权限受限的 Assumed Role 登录，点击创建时会报is not authorized to perform: iam:CreateRole。遇到此错，必须找 AWS 管理员为你临时赋予创建角色的权限，以便控制台能自动生成类似S3FilesRole_xxx的底层服务角色。

步骤三：创建 S3 Files 系统

打通了前置条件后，开始创建实体。

1. 导航至 S3 控制台，选择左侧菜单的S3 Files。

2. 点击创建文件系统 (Create file system)。

3. 通用配置：输入你刚才准备好的 S3 存储桶路径。

4. 网络配置 (VPC)：选择你的数百台 EC2 所在的那个 VPC。

   • 注意：这一步是 S3 Files 高性能的核心，它直接将挂载点接入你的内网，数据不走 NAT 网关。

5. 点击创建，等待几分钟直到状态变为Available。记录下生成的挂载点域名（例如fs-xxxx.s3files.ap-southeast-1.amazonaws.com）。

步骤四：配置网络与安全组连通性

S3 Files 伪装成了 VPC 内的一个 NFS 服务器，所以必须打通内网端口。

1. 找到为 S3 Files 自动生成的弹性网络接口 (ENI)或关联的安全组 (Security Group)。

2. 编辑该安全组的入站规则 (Inbound Rules)。

3. 添加一条规则：

   • 类型：NFS

   • 协议：TCP

   • 端口：2049

   • 源 (Source)：选择你那几百台 EC2 共同使用的安全组 ID（或者整个 VPC 的 CIDR）。

步骤五：在 EC2 上执行挂载 (Mount)

现在，我们可以去 Java 应用所在的服务器上执行挂载了。

1. 安装 NFS 客户端（如果尚未安装）：

   # Ubuntu/Debian sudo apt-get install nfs-common # Amazon Linux/RHEL/CentOS sudo yum install nfs-utils

2. 创建本地挂载目录：

   sudo mkdir -p /var/log/app-logs

3. 执行 NFS v4.2 挂载指令（替换为你自己的 fs 域名）：

   sudo mount -t nfs4 -o nfsvers=4.2,hard,timeo=600,retrans=2 fs-xxxx.s3files.ap-southeast-1.amazonaws.com:/ /var/log/app-logs

4. 开机自动挂载：将以下内容追加到/etc/fstab中：

   fs-xxxx.s3files.ap-southeast-1.amazonaws.com:/ /var/log/app-logs nfs4 nfsvers=4.2,hard,timeo=600,retrans=2,_netdev 0 0

步骤六：对接 EFK 体系

挂载成功后，/var/log/app-logs看起来就是一个极速的本地硬盘，但数据其实已经直通 S3。

1. 配置 Java 应用（如 Logback/Log4j）将日志直接输出到/var/log/app-logs/java-app.log。

2. 配置 Fluentd/Filebeat 的path监听该目录。

3. 架构闭环：因为日志已经落入 S3，Elasticsearch 端甚至可以直接利用 S3 Select 或 Searchable Snapshots 功能直接查询这些冷数据，进一步削减 ES 集群的 EBS 依赖。