当前位置: 首页 > news >正文

RAG文件分片上传

文件上传流程

controller层

  • 前端会对文件先进行MD5计算出唯一标识,再进行分片向后端发出分片上传的请求
  • 在每个文件第一个分片的时候要进行验证,截取文件的扩展名,验证改文件类型是否支持
  • 如果文件没有所属的组织标签,那么就获取该用户的主组织标签,并设置这个文件所属组织
    Service层
  • 先查询mysql数据库中 file_update 表是否存在这个文件 MD5 标识,查询是 file_MD5 + usrId 一起查询,如果不存在就创建
  • 双层校验:第一层:检查Redis(或其他缓存)中是否标记该分片已上传,第二层:检查数据库(chunk_info表)中是否有该分片的记录
  • 处理 “分片已上传但数据库无记录” 的异常场景
if (chunkUploaded) {if (!chunkInfoExists) {// 计算分片MD5、构建存储路径// 检查MinIO中是否真的存在该分片// 如果MinIO中不存在,把chunkUploaded设为false,触发重新上传} else {return; // 分片已上传且数据库有记录,直接结束}
}
  • 分片实际上传到 MinIO(核心操作),并且在 Redis 中标记分片已上传
  • 补充分片信息到数据库(chunk_info 表)

前端对文件进行分片

  • 前端使用 MD5 算法把文件的二进制数据转换成32位字符串,作为这个文件的唯一标识。
  • 还有 SHA-256 算法成长64位字符串,安全性远高于 MD5 算法
http://www.jsqmd.com/news/303964/

相关文章:

  • 2026外观不良检测设备:工业质量控制的关键技术
  • 2026青砂岩工程板材优质品牌推荐:青砂岩生产厂、青砂岩石材、青砂岩边角料、青砂石材雕刻、佛像石材雕刻厂、内江石材雕刻厂选择指南
  • 2026年中国舆情监测行业白皮书:附生成式AI舆情监测服务商综合实力排名
  • 2026年定量泵市场风云变幻,品质、口碑、售后俱佳的品牌会花落谁家?
  • 免费领丨2026私域增长sop表格(含引流策略、数据记录)
  • 2026外观缺陷自动检测设备技术与应用发展概述
  • 揭秘!家长圈口碑爆棚的语文辅导机构大起底
  • 2026年企业如何进行舆情监测管理?优择新浪舆情通,舆情管理新范式
  • 2026有色金属外观缺陷检测设备技术应用与行业实践
  • 新浪舆情通:2026企业必备的智能舆情预警系统,高效监测全网风险
  • 钣金加工品牌大起底:2026年口碑榜上的实力之选,钣金加工推荐排行榜单精选国内优质品牌榜单
  • 2026上海语文辅导机构测评推荐:哪些机构口碑性价比均优?
  • 用STM32CubeMX生成一个点灯程序
  • 2026四川隆昌石材雕刻优质厂家推荐
  • 网站定制开发硬核实力榜单:10家网站建设行业翘楚公司推荐深度实测
  • Mastercam许可管理系统
  • 2026年京东e卡回收平台哪家好?两大优质选择深度对比
  • 权威推荐好口碑益生菌2026六款口腔肠道益生菌选购指南,调节肠道,改善便秘口臭
  • 微调与安全隐私:为什么微调会放大风险
  • 2026年不锈钢酒柜制作厂家甄选:5家实力厂家深度测评,精工匠造,藏酒无忧
  • 3阶段主管护师备考经验分享:亲测通关实操干货
  • 消防泵房工业物联网平台解决方案
  • 详细介绍:OneRec - V2 lazy decoder为什么效率高
  • 钢铁厂冷却循环水可视化监控系统方案
  • 2026 年知名成都TD板定制厂家深度解析:产品、售后与经典案例全指南
  • 2026年评价高的四川树脂瓦PVC树脂瓦仿古树脂瓦厂家用户好评厂家推荐
  • LEEHON-TFT-LCD液晶屏与OLED有什么区别?
  • 35岁程序员,26年后面的路子咋走?
  • A-3
  • 2026年废纸撕碎机厂家权威推荐:郑州东宏机械设备聚焦行业发展