当前位置: 首页 > news >正文

缓解模型关系幻觉(披露式的信息让模型深化理解)

论文文章

CHAINMPQ: INTERLEAVED TEXT-IMAGE REASON ING CHAINS FOR MITIGATING RELATION HALLUCI NATIONS

一句话解释

从一段对话中,一点一点确认信息(先确认主体是什么,然后确认客体是什么,然后主体联系关系看能不能找到客体,然后客体联系关系看能不能找到主体,最后主体联系客体确定他们之间的关系)

流程

bias3~5:视觉注意力偏置

A1~A5:每次问题的文本答案

Text-guided Attention Enhancement:文本进入编码器成为一个嵌入向量\图片进入编码器成为一个嵌入向量,通过cross attention增强对图片中的主体客体的注意力

Construction of Multi perspective Aware Text Prompt:怎么从句子中拆主体-客体-关系\创建问题

Interleaved Text-image Reasoning ChainInterleaved Text-image Reasoning Chain:这是完整的流程了(标蓝色的东西是需要填入主体-客体-关系的变量位置),以图中例子,先问主体"dog"在哪-文本回答,第二部问飞盘在哪-文本回答,第三部问主体联系关系是什么-文本回答加视觉注意力偏见,第四部问客体联系关系是什么-文本回答加视觉注意力偏见,第五部问主体客体关系是什么-文本回答加视觉注意力偏见,最后回答这个问题用上上面的文本和视觉记忆。

http://www.jsqmd.com/news/1100402/

相关文章:

  • 客服外包公司排名,哪家口碑更靠谱
  • 华硕笔记本终极轻量控制工具:G-Helper完整指南
  • Linux内核开发入门:从C语言到内核模块的实践路径
  • 告别JMeter:基于Prometheus与Grafana的轻量级性能压测平台实战
  • HTML5、CSS3:完整特性详解(全表格精细化整理)
  • 手把手教你用iPhone Pro的激光雷达,5分钟搞定一个物体的3D模型(附Open3D处理代码)
  • ModelFS:如何利用可编程缓存技术加速LLM推理启动?完整解析
  • dbsyncer —— 一款开源的数据同步中间件,提供 MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL 等同步场景
  • C++实战:从原理到代码实现RSA非对称加密与安全传输
  • 从传统后端到阿里大模型:小白程序员必备的Agent与RAG进阶指南(收藏学习)
  • 阿里云账号:免实名、高权重高配额说明与充值赠金方案
  • 【电赛/毕设高端局】DMA数据全是0?STM32H7/F7 Cache一致性灾难、DWT纳秒测速与 CMSIS-DSP 极限榨汁指南
  • 【机器人】缓冲的不确定性感知沃罗诺伊单元多机器人碰撞规避【含Matlab源码 15672期】
  • 别再折腾了!Win11/Mac双平台保姆级教程:TeXLive 2024 + TeXStudio 一键安装与中文配置
  • Go项目配置安全实战:使用RSA非对称加密保护敏感信息
  • 手把手教你用GGML测试数据验证RK3588 NPU的矩阵乘法API(附避坑指南)
  • Kiran图标主题配置脚本解析:configure脚本的工作原理与自定义选项
  • 别再死记硬背公式了!用虚拟仿真软件5分钟搞懂迈克尔孙干涉仪原理
  • 2026手机抠图软件合集:免费无水印App与轻量工具实操指南
  • 【Springboot毕设全套源码+文档】基于springboot+spark的买菜推荐系统设计与实现(丰富项目+远程调试+讲解+定制)
  • GPT对比分析实战教程:维度拆解+量化评分+落地结论
  • Java 多线程并发
  • 基于深度学习的骨折检测系统(YOLOv8+YOLO数据集+UI界面+Python项目+模型)
  • 【Springboot毕设全套源码+文档】基于Java+springboot汽车维修保养服务信息系统的设计与实现(丰富项目+远程调试+讲解+定制)
  • 广州实惠的大排档选哪家
  • 多尺度特征融合技术解析:从FPN到BiFPN,提升YOLO小目标检测精度
  • Java 动态代理原理入门与面试
  • 黄金目前仍有下调压力
  • 原神玩家数据查询:3分钟掌握账号完整信息的终极工具
  • 单身证明公证书需要什么材料?单身证明公证书在哪里办?