wayland显示合成器
Wayland 合成器是集显示服务器、窗口管理器、合成器于一体的核心进程，采用客户端直接渲染 + 合成器统一合成的极简架构，通过 Unix Socket 与 DRM/KMS/evdev 实现低延迟、零拷贝、强隔离的图形显示;
核心定位与架构
1. 角色与职责
- 合成器 = 显示服务器：替代 X11 的 X Server，直接接管DRM/KMS（显示）与evdev（输入）。
- 核心职责：
- 管理客户端连接与 Wayland 协议通信
- 维护场景图（窗口层级、位置、变换）
- 接收客户端渲染好的缓冲区（Buffer）
- 合成所有窗口为最终帧并提交硬件显示
- 接收输入事件并转发给目标客户端
- 窗口管理（布局、焦点、缩放、旋转）
2. 与 X11 的核心差异
- X11：客户端→X Server→合成器→X Server→DRM/KMS，多层中转、数据拷贝、延迟高、安全差 。
- Wayland：客户端→合成器→DRM/KMS，直接渲染、零拷贝、一步到位。
关键组件与协议
1. 核心对象（Wayland 协议）
- wl_compositor：创建
wl_surface（窗口画布）的工厂。 - wl_surface：客户端窗口的抽象，承载内容与状态。
- wl_buffer：像素数据载体（共享内存或 DMA-BUF）。
- wl_seat/wl_pointer/wl_keyboard：输入设备抽象。
- wl_output：显示器抽象（分辨率、刷新率、位置）。
2. 通信机制
- IPC：基于Unix Domain Socket的异步消息通信。
- 协议：由
wayland.xml定义，自动生成 C 绑定（libwayland-client/libwayland-server）。 - 消息类型：
- Request：客户端→合成器（创建 surface、提交 buffer）。
- Event：合成器→客户端（输入事件、尺寸变化）。
整体架构分层
1. 协议层（Wayland Protocol）
- 核心协议：基于 Unix 域套接字的异步、面向对象消息协议，分为底层 wire 协议（IPC 通信）与高层对象协议（资源 / 事件）。
- 协议实现：
- 客户端：
libwayland-client - 合成器：
libwayland-server
- 客户端：
- 关键对象：
wl_compositor（合成器入口）、wl_surface（窗口画布）、wl_buffer（像素缓冲区）、wl_seat（输入设备）、wl_output（显示输出）。 - 扩展协议：XDG Shell（窗口管理）、Linux-DMABUF（GPU 缓冲区）、DRM Syncobj（显式同步）、 fractional-scale（分数缩放）等。
2. 合成器内部核心模块
（1）协议处理与客户端管理
- 维护客户端连接、全局对象注册（Registry）、资源生命周期与销毁。
- 处理客户端请求（
wl_surface.attach/commit）并触发合成。
（2）场景图（Scene Graph）
- 维护窗口树（Surface Tree）、Z 序、变换（旋转 / 缩放 / HiDPI）、裁剪与 Damage 脏区跟踪。
- 决定输入事件分发目标、窗口可见性与合成顺序。
（3）输入子系统
- 通过
libinput读取/dev/input/event*，处理键鼠 / 触摸 / 手势。 - 坐标转换、键盘布局（xkbcommon）、焦点判定、事件分发（
wl_pointer/wl_keyboard）。 - 剪贴板：惰性复制，仅粘贴时传输数据。
（4）渲染后端
- GPU 渲染：GLES/Vulkan，将客户端缓冲区作为纹理合成到帧缓冲，支持 tiling 格式与 Modifier。
- 软件渲染：Pixman，无 GPU 时 fallback。
- 零拷贝：通过 DMA-BUF 直接导入客户端显存，无数据拷贝。
（5）DRM/KMS 后端与 Session 管理
- DRM/KMS：直接与内核交互，管理显示控制器（CRTC/Plane）、分辨率、原子提交（Atomic Commit）、PageFlip 与 VSync。
- Session：通过
libseat/logind以普通用户获取显卡 / 输入设备 FD，无需 root。 - 硬件优化：
- 直接扫描（Direct Scanout）：全屏 / 无遮挡窗口直接送显，跳过 GPU 合成。
- 硬件叠加层（Overlay Planes）：视频等内容放入 Overlay Plane，显示控制器硬件混合，节省 GPU 开销。
（6）XWayland 兼容层
- 作为 Wayland 客户端运行，为 X11 应用提供兼容，将 X 窗口渲染为 Wayland Surface。
- 保留 X11 安全与 HiDPI 缺陷，原生 Wayland 应用不受影响。
完整工作流程
1. 初始化与连接
- 合成器启动，通过
logind/libseat获取 DRM/evdev 设备 FD（非 root） 。 - 枚举显示器（KMS）、设置分辨率、创建帧缓冲。
- 监听 Unix Socket，等待客户端连接。
- 客户端连接后，通过
wl_registry获取全局接口（wl_compositor、wl_seat等）。
2. 窗口创建与渲染（客户端侧）
- 客户端调用
wl_compositor.create_surface创建wl_surface。 - 分配渲染缓冲区：
- 软件渲染：
wl_shm分配共享内存（mmap）。 - 硬件渲染：GBM/Vulkan 分配DMA-BUF（GPU 显存，零拷贝）。
- 软件渲染：
- 用 OpenGL/Vulkan/Cairo 渲染内容到缓冲区。
- 调用
wl_surface.attach(buffer)绑定缓冲区，wl_surface.commit()提交更新（含脏区域 Damage）。
3. 合成与显示（合成器侧）
- 合成器收到
commit，标记对应surface为脏（需要重绘）。 - 遍历场景图（Scenegraph），按 Z 序、位置、透明度、变换组合所有
surface的缓冲区。 - 渲染合成：
- 普通场景：用 GPU（GLES/Vulkan）将各 buffer 作为纹理绘制到主帧缓冲。
- 优化路径：直接扫描（Direct Scanout）（全屏无遮挡时，直接将客户端 buffer 提交给 KMS，跳过 GPU 合成）；硬件叠加层（Overlay Planes）（视频等用独立硬件层混合）。
- 原子提交（Atomic KMS）：将所有平面属性打包，内核保证原子生效，避免闪烁。
- 触发PageFlip，在下一个 VBlank 时切换到新帧，完成显示。
4. 输入事件处理
- 内核通过 evdev 将输入事件发给合成器。
- 合成器遍历场景图，确定目标窗口，将屏幕坐标转为窗口局部坐标（逆变换）。
- 通过
wl_pointer/wl_keyboard协议将事件发给客户端。 - 客户端响应事件、重绘、提交新 buffer，循环往复。
核心技术机制
1. 零拷贝与 DMA-BUF
- 客户端渲染后仅传递DMA-BUF 文件描述符（FD），不拷贝像素数据。
- 合成器直接导入 FD 为 GPU 纹理，实现真正零拷贝。
2. 显式同步（Syncobj）
- 客户端提交 buffer 时附带Acquire Fence（合成器可读取时机）与Release Fence（合成器读取完成通知）。
- 解决 GPU 渲染与合成的时序问题，避免闪屏、掉帧。
3. 场景图与 Damage 追踪
- 维护窗口树、层级、变换、裁剪。
- 仅重绘脏区域（Damage Region），而非全屏，降低功耗与开销。
4. 安全隔离
- 客户端默认无法访问其他窗口内容、监听全局输入。
- 截图 / 录屏 / 全局快捷键需通过XDG-Desktop-Portal显式授权。
安全隔离的核心设计原则
Wayland 合成器作为唯一可信中心，遵循三大安全铁律：
- 最小权限默认：客户端启动时无任何额外权限（不能截屏、不能监听全局输入、不能读取其他窗口）。
- 中心化管控：所有跨客户端 / 系统访问必须经过合成器中转 / 授权，客户端无法直接通信。
- 显式授权机制：任何敏感操作必须用户手动同意（弹窗授权），无静默权限。
这就是 Wayland 天然比 X11 安全的根本原因。
安全隔离的 5 大核心机制
1. 内核级地址空间隔离（最底层防线）
Wayland 完全依赖 Linux 内核的进程隔离：
- 每个客户端是独立进程，拥有独立虚拟地址空间
- 客户端之间无法直接访问彼此内存
- 合成器与客户端之间仅传递缓冲区句柄（FD），不传递像素数据拷贝
- 未经合成器允许，客户端无法打开显卡、输入设备节点
这是所有安全能力的基础。
2. 显示 / 窗口隔离：禁止读取其他窗口内容（核心隔离）
X11 最大漏洞：任何客户端都可以截取全屏、读取任意窗口内容。Wayland 合成器彻底修复：
- 客户端只能渲染自己的 Surface
- 合成器不提供任何 “获取其他 Surface 像素” 的协议接口
- 客户端无法获取屏幕全局坐标，只能获取相对自己窗口的坐标
- 合成器严格隔离像素数据，不转发、不泄露给非授权客户端
实现方式：
- 合成器维护独立的场景图（Scene Graph）
- 仅合成器持有所有窗口的纹理 / 缓冲区引用
- 客户端之间无直接访问通道
3. 输入设备隔离：禁止全局监听、窃听输入
合成器是唯一能直接访问硬件输入设备的进程：
- 客户端无法打开 /dev/input/设备
- 客户端无法接收全局键盘 / 鼠标事件
- 只有当前拥有焦点的窗口能收到输入事件
- 合成器做坐标转换，绝不泄露全局屏幕坐标
安全效果：
- 无法实现后台键盘记录器
- 无法监听其他应用的输入
- 无法模拟全局输入（必须授权）
4. 通信隔离：严格受控的 Wayland IPC
Wayland 协议通信模型是严格星型结构：
客户端 A ↘ ↗ 客户端 B 合成器 客户端 C ↗ ↘ 客户端 D- 客户端之间不能直接通信
- 所有消息必须经过合成器转发
- 合成器可以过滤、拦截、拒绝任何请求
- 敏感全局对象（屏幕、输入、截屏）必须通过授权才能访问
这从架构上杜绝了客户端互相攻击。
5. 显式授权系统：Portal 安全框架（高级能力安全）
对于截屏、录屏、全局输入、文件访问等敏感功能，Wayland 使用Desktop Portal（桌面门户）实现安全、可控、用户可审计的授权。
这是合成器安全隔离的上层标准实现。
Portal 工作流程（以截屏为例）
- 应用请求截屏 → 发给Portal 服务
- Portal → 向合成器请求屏幕内容
- 合成器 →弹出用户授权弹窗
- 用户同意 → 授权临时有效
- 合成器 → 将画面安全传递给应用
- 权限用完即回收，不持久化
支持的安全能力
- 截屏 / 录屏（ ScreenCast / Screenshot Portal）
- 全局输入模拟（InputCapture / RemoteDesktop）
- 剪贴板安全隔离
- 文件选择器隔离（应用看不到完整文件系统）
- 摄像头 / 麦克风隔离
典型合成器实现对比
| 合成器 | 定位 | 架构 | 渲染 | 特点 |
|---|---|---|---|---|
| Weston | 官方参考实现 | 插件式 libweston | GL/Pixman | 代码清晰、教学用 |
| Mutter（GNOME） | 桌面级 | 单进程 + GJS | OpenGL（Cogl） | 流畅动画、触摸友好 |
| KWin（KDE） | 功能丰富 | C++/Qt | OpenGL/QPainter | 特效多、可脚本化 |
| wlroots（Sway/Hyprland） | 模块化框架 | 极简积木式 | GL/Vulkan | 生态广、易定制 |