【C++】std::wstring无法与-fshort-wchar同时使用

在进行Android跨平台开发时，意外发现std::wstring与-fshort-wchar参数存在冲突。会导致一系列内存越界读写，字符串溢出的情况。
经过调查。定位到std::wstring无法正确与-fshort-wchar参数共用。

在Windows平台的MSVC下，wchar_t默认是2字节，使用UTF-16LE编码。
在Linux，MacOS，Android平台下，wchar_t默认是4字节，使用UTF-32LE编码。如果在编译时，使用-fshort-wchar参数，会强制将wchar_t调整为2字节。

下面准备了一个简单的实验，同时使用了wchar_t和std::wstring两个类，存储一个‘中’字。

wchar_t wc = L'中';
printf("sizeof(wchar_t) = %lu\n", sizeof(wc));
printf("memory layout of wc: ");
for (int i = 0; i < sizeof(wc); i++)
{    printf("%02x ", ((unsigned char *)&wc)[i]);
}
printf("\n------\n");
std::wstring ws = L"中";
printf("ws.size() = %lu\n", ws.size());
printf("memory layout of ws: ");
for (int i = 0; i < ws.size() * sizeof(wchar_t); i++)
{printf("%02x ", ((unsigned char *)&ws[0])[i]);
}
printf("\n------");

代码编译

在MacOS平台使用不用的编译参数进行测试

不使用-fshort-wchar的参照组

g++ -std=c++11 -Wall wchar_size.cpp -o "build/wchar_default"

使用-fshort-wchar的实验组

g++ -std=c++11 -Wall -fshort-wchar wchar_size.cpp -o "build/wchar_short"

结果展示

参照组

sizeof(wchar_t) = 4
memory layout of wc: 2d 4e 00 00 
------
ws.size() = 1
memory layout of ws: 2d 4e 00 00 

-fshort-wchar实验组

sizeof(wchar_t) = 2
memory layout of wc: 2d 4e 
------
ws.size() = 8   <-------错误
memory layout of ws: 2d 4e 00 00 00 00 01 00 00 00 1c 00 00 00 03 00  <-------错误
------

实验总结

• 在使用-fshort-wchar的实验组，可以正常识别wchar_t空间占用2字节
• std::wstring无法正确适配-fshort-wchar参数。相关接口会发生混乱，无法正确处理字符串内容。
  • std::wstring对于宽字符占用字节数的处理，未受-fshort-wchar参数的影响。
  • std::wstring的部分逻辑已经编译到libc++的静态库和动态库中，并不会因为参数变更而进行适配。