使用食物图像查找烹饪食谱
一种基于Transformer架构并采用自监督学习训练的新方法实现了最先进的性能。
技术方法
该方法使用两个独立的编码器函数，一个用于处理食谱文本，另一个用于处理图像（下图左右两侧）。这些函数提取的表征将在推理时用于索引和搜索。为了编码食谱组件，研究人员采用了基于Transformer的架构：对于多句子输入（如配料和步骤说明）使用分层架构，对于单句子输入（如食谱标题）使用非分层架构。对于图像输入，则使用成熟的图像编码器ResNet和Vision Transformer。
研究人员使用两种不同的损失函数训练食谱检索模型：自监督损失函数Lrec和监督损失函数Lpair，后者测量食谱文本和食物图像表征在共享空间中的距离。
训练过程
监督损失Lpair在从食谱（左侧）和图像（右侧）提取的表征之间计算。该损失确保如果文本和图像表征属于同一训练样本（例如巧克力曲奇的图像及其对应的食谱文本），它们在共同的高维空间中彼此接近；否则则远离（例如相同的巧克力曲奇图像和千层面食谱文本）。
新颖的自监督损失Lrec在单个食谱组件的表征之间计算。该损失确保如果食谱组件（例如标题和配料）属于同一食谱，它们在表征空间中彼此接近；否则则远离（见下图）。直观地说，通心粉和奶酪食谱的标题与其配料名称（通心粉、洋葱、帕尔马干酪等）共享语义线索，这能使模型学习更好的食谱表征。
由于该损失不需要图像作为输入，因此可以在没有图像的训练样本上计算，这在网络食谱数据中非常常见；实际上，训练集中66%的样本是仅包含文本的食谱样本。实验表明，新的自监督损失项（即使仅应用于图像-食谱训练对）和额外的训练数据都有助于提高检索性能。
实验结果
在实验中，研究人员执行了双向跨模态检索：查找匹配图像的食谱和匹配食谱的图像。该方法在Recipe1M数据库（该领域的常用基准）上展示了最先进的性能。在图像到食谱检索任务中，当在包含1,000个元素的食谱数据库上搜索时，该方法实现了92.9%的Recall@10。这意味着给定包含1,000个食谱的数据库和1,000个食物图像查询，该方法能够为92.9%的图像查询在检索到的前10个结果中找到正确的食谱。
下图展示了一些定性结果，表明该方法能够编码图像和食谱表征中的语义，并能在细粒度配料级别找到匹配查询的食谱（例如第一行中的"面包"、"大蒜"和"面包块"，或第六行中的"鲑鱼"和"芦笋"）。
研究人员已公开提供代码和模型权重供进一步研究使用。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
