谷歌搜索结果自营化分析技术
引言
近年来，谷歌极大地扩展了其搜索结果的交付方式，旨在直接在搜索页面上解答用户查询，用户无需点击进入外部网站。这些信息是谷歌通过网络抓取或从合作伙伴处收集而来。同时，谷歌还增加了对自有产品（如 YouTube、谷歌图片、谷歌地图、谷歌航班等）结果的展示，以及大量“相关”搜索查询，引导用户在谷歌最有价值的产品——搜索中不断深入。我们将这些在搜索结果中以框形式呈现、且在视觉上与传统排名结果有所区别（尽管界限正变得模糊）的结果类型称为“模块”。
我们设计了一项实验，以衡量这些谷歌自创及自引搜索结果的数量和位置，并将其与其他类型的结果和链接进行比较。特别地，我们希望将这些结果与指向非谷歌自有网站的结果和链接进行对比。在本文中，我们将搜索结果中指向外部内容的部分统称为“非谷歌”。
方法论
数据采集
由于目前没有公开的、随机的谷歌搜索查询样本，我们基于2019年11月至2020年1月期间谷歌趋势中出现的所有话题，创建了一个包含15，269次搜索的样本。我们使用了谷歌对搜索词的划分方式，并通过iPhone X的移动模拟器在谷歌搜索中运行了每一个词根。
分析技术
我们随后采用了一种新颖的技术来衡量谷歌在搜索结果首页为不同类型结果和链接分配的空间大小。
网页测定法: 该方法受生物学实验室中通过靶向染色来识别和测量细胞成分方法的启发。我们将此技术重新构想并应用于网页分析。
- 解析: 分析搜索结果，对页面上的每个模块和区域进行分类。
- 染色: 测量页面上每个类别的像素，并根据其类别赋予颜色。
- 聚合: 将页面上每个类别的像素合并，除以所有类别像素的总和。
具体实现上，我们将每个搜索结果页面的HTML回传至移动模拟器，使用Selenium根据xpath路径选取每个元素。通过Selenium，我们获取了元素的可见性、位置、长度和宽度等关键空间元数据。利用这些空间元数据，我们能够计算出每个结果在首屏及整个首页所占的面积。
分类标准
我们将搜索结果分为四类：广告、AMP、谷歌和非谷歌。分类是本项目面临的最大挑战，因为目前对于何为“谷歌”结果或“非谷歌”结果并无公认的定义。
- 非谷歌: 我们计算了结果中指向非上述谷歌自有网站的可点击部分。对于传统搜索结果，其附带的不可点击文本也计为非谷歌，因为该文本和标题由网站自身编写。
- 广告: 主要通过谷歌包含的“广告”和“赞助商”图标来识别。
- AMP: 我们根据
<a>标签中的“data-amp”属性来识别AMP内容。AMP内容由外部网站创建，但从谷歌服务器交付，且必须符合谷歌的技术规范。 - 谷歌: 包含“产品”和“答案”两个子类别。
- 产品: 指向谷歌地图、YouTube、谷歌图片、谷歌航班等谷歌自有产品及服务的链接。我们通过检查链接域名是否在已知谷歌域名列表中来识别。
- 答案: 指包含谷歌策划的文本和数据可视化的模块，通常从开放网络抓取而来。我们通过源代码中的可访问性特征（如ARIA）、隐藏标题和数据属性（如“data-attrid”）来检测答案。
混合处理: 对于包含混合链接的模块（如知识面板），我们根据链接的归属分别计算其可点击区域。对于精选摘要等包含无链接文本的模块，我们将不可点击的文本计为谷歌，因为该模块及其文本是由谷歌创建和选择的。
发现
我们通过这种技术分析发现，谷歌自有结果在搜索结果首屏占据主导地位。
- 在样本中，谷歌内容占据了首屏空间的62.6%，而指向非谷歌网站的结果和链接仅占19.2%。
- 在整个首页，谷歌内容的占比为41%，非谷歌内容为44.8%。
- 在超过一半的搜索中，谷歌内容至少占据了首屏的75%。在五分之一的搜索中，首屏完全没有出现非谷歌内容。
- 非谷歌结果和链接被推至页面中部及中下部，而谷歌则将自有结果置于搜索结果顶部的最佳位置。
我们还测量了用户滚动到各种搜索结果前需要经过的距离。在样本中，用户有75%的概率需要滚动越过首屏才能到达第一个传统结果（“非谷歌”的子集）。
局限性
我们承认研究方法存在局限性，包括：
- 分类选择: 对AMP和“答案”式模块的分类方式最具争议。我们测试了多种可能的分类定义，在所有定义选项下，谷歌在首屏都为自己分配了最多的空间。
- 样本选择: 无法获得真正随机的现代网络搜索样本。我们的样本来源于热门搜索查询，未能捕捉到个人用户的独特搜索，且新间和媒体类结果偏多。
- 显示设备: 我们固定使用iPhone X的屏幕尺寸进行测试，不同设备或桌面端的结果会有所不同。
结论
通过我们的技术分析，结论显示谷歌正将其自创及自引结果放置在搜索结果页面的最优位置。谷歌对搜索市场的垄断地位，使得这些技术选择和页面布局决策对依赖谷歌流量的网站所有者产生巨大的潜在影响。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）