Lua中正则表达式与UTF-8编码的深度解析

在编程世界中，处理不同语言和字符编码始终是一项挑战。Lua编程语言虽然不直接支持正则表达式，但其强大的模式匹配功能在某些情况下可以替代正则表达。今天我们深入探讨Lua如何处理UTF-8编码的字符，特别是中文字符的匹配问题。

问题背景

假设我们有一个包含中文字符的字符串，我们希望使用Lua的模式匹配来识别和提取这些字符。直接使用类似于JavaScript或其他语言的正则表达式方法，如string.match("Í",'%s?[\u{4e00}-\u{9FFF}]+')，会导致匹配到不必要的字符（例如，‘Í’）。这是因为Lua的模式匹配是基于字节而不是基于Unicode码点（code point）的。

Lua模式匹配与字节操作

Lua的模式匹配机制主要针对字节操作，这意味着当处理UTF-8编码的字符时，必须考虑每个字符可能占用的字节数。例如，CJK（中日韩文字）字符通常在UTF-8中占用3个字节。官方文档中给出的UTF-8匹配模式utf8.charpattern使用了字节范围匹配：

string.match("Í",