DuckDB发布Quack协议：多用户体验升级，性能远超传统协议！

Quack：DuckDB客户端 - 服务器协议

现在DuckDB实例可以使用Quack远程协议相互通信，能在客户端 - 服务器模式下运行，支持多个并发写入器。Quack设置简单，基于HTTP等成熟技术构建，速度快，可支持各种工作负载。

背景：数据库架构

数据库刚出现时，“客户端”和“服务器”未明确区分，整个数据库在一台计算机上运行。20世纪80年代，Sybase首次引入数据库“服务器”和“客户端”在不同计算机上运行的概念，此后客户端 - 服务器架构成为默认选择，但这种协议有大量开销。也有人反对该架构，如SQLite和DuckDB强调进程内架构，在交互式用例中效果好，但在多进程修改同一数据库文件时表现不佳。不过，也有一些解决办法，如创建自定义RPC解决方案、使用Arrow Flight SQL协议等。

介绍DuckDB的Quack协议

将DuckDB实例之间的通信协议命名为“Quack”。用户使用时，需两个DuckDB实例，可位于不同计算机或同一笔记本的不同终端窗口，要在两个实例中安装Quack扩展。通过示例展示了如何使用Quack协议进行数据交互，还可使用query函数发送复杂查询。更多详细信息可查阅文档。

协议设计

基于HTTP

Quack构建在HTTP之上，HTTP开销低，便于处理，还允许DuckDB - Wasm发行版直接使用Quack。

请求 - 响应模式

Quack上的交互由客户端以请求 - 响应模式驱动，消息包括连接请求、执行查询请求等。

序列化

请求和响应使用新的MIME类型“application/duckdb”编码，利用DuckDB内部高效的序列化原语。

加密

Quack默认生成随机身份验证令牌，服务器默认绑定本地主机，默认不使用SSL。不建议直接将端点暴露到互联网，建议使用常见HTTP端点并终止SSL。相关指南可在文档中查看。

往返次数

精心优化查询的协议往返次数，连接成功后一个查询可一次往返处理，且对批量响应传输进行了优化，是传输表的最快方式之一。

身份验证和授权

数据库查询的身份验证和授权复杂，Quack选择与DuckDB可扩展性理念契合的认证模型。自带默认身份验证方法和无授权限制，均可通过用户代码覆盖。

默认端口

Quack服务器默认监听端口9494。

基准测试

批量传输

在AWS Arm虚拟机上进行批量传输基准测试，将Quack与PostgreSQL协议和Arrow Flight SQL协议比较。结果显示，Quack在批量结果集传输方面表现出色，能在不到5秒内传输6000万行，远超其他协议。

小写入

进行小批量追加操作基准测试，发现Quack在最多8个并行线程时，每秒事务率最高可达约5500次，超过PostgreSQL。但之后遇到DuckDB自身并发插入限制，PostgreSQL扩展性更好。Arrow Flight表现不佳。

结论

用例

Quack为DuckDB带来完整多用户体验，可在更多新用例中发挥作用，还将集成到DuckLake中，带来新功能。有疑问可查阅Quack常见问题解答。

下一步计划

将Quack集成到DuckLake中，完善Quack并在DuckDB v2.0发布时推出首个生产版本。计划自动安装和加载Quack扩展，改进通信语法，提高每秒事务数。还考虑对协议进行扩展，添加复制协议。可参加DuckCon #7了解更多信息。

致谢

感谢MotherDuck的Boaz Leskes分享经验教训，感谢GizmoSQL / GizmoData的Philip Moore证明DuckDB客户端 - 服务器模式的价值。

附录：为什么不使用Arrow Flight SQL？

认可Arrow及相关项目价值，但担心在DuckDB内部使用Arrow交换格式受限，Quack使用自己的序列化方式。而且Arrow Flight SQL每个查询至少需两次协议往返，不适合小更新操作，Quack可实现单次往返查询执行和结果获取。