当前位置: 首页 > news >正文

进度跟踪与AI识别集成

一、本周工作概述
本周重点开发了施工进度跟踪模块并集成了AI图像识别功能。实现了施工前安全须知弹窗功能,支持语音播报且强制阅读时长1分钟。实现了多阶段照片上传功能,涵盖施工预备会、施工准备、施工过程、施工清场、施工总结会五个阶段。成功集成了阿里云通义千问视觉API,实现了对施工过程照片的AI智能分析,自动识别安全风险和质量问题。实现了照片水印功能和模糊度检测,确保上传照片的真实性和清晰度。
二、完成的核心功能
施工进度跟踪模块:
后端实现了progressController控制器
创建了/api/progress路由,支持进度记录的CRUD操作
实现了安全须知标记接口POST /api/progress/safety-notice/:applicationId,记录用户阅读安全须知的时间
实现了照片上传接口POST /api/progress/photo,支持带水印的实时拍摄照片上传
实现了进度查询接口GET /api/progress/:applicationId,获取指定申请的所有进度记录
实现了照片审核接口POST /api/progress/:id/review,支持管理人员审核照片
实现了阶段完成状态检查接口GET /api/progress/:applicationId/stages
前端创建了ProgressTracking进度跟踪页面,展示五个阶段的进度情况
实现了安全须知弹窗组件,播放语音播报并强制等待1分钟才能关闭
实现了照片上传组件,支持相机实时拍摄和相册选择
添加了时间水印功能,在照片上显示拍摄时间的年月日时分秒
AI图像识别服务集成:
创建了aiService服务类,封装阿里云通义千问视觉API调用
实现了recognizeImage方法,接收图片Buffer和MIME类型,返回AI分析结果
构建了针对施工场景的提示词模板,要求AI分析安全风险、施工质量和改进建议
实现了响应解析逻辑,提取AI生成的文本内容
创建了aiController控制器,处理AI识别请求
实现了单张图片识别接口POST /api/ai/recognize
实现了批量图片识别接口POST /api/ai/recognize-multiple,支持并行处理多张照片
集成了模糊度检测逻辑,文件大小小于2KB的照片自动判定为模糊并驳回
前端在ProgressTracking页面顶部添加了AI分析报告卡片,以时间线形式展示历史AI分析记录
实现了AI分析结果弹窗,上传施工过程照片后自动显示分析结果
照片水印功能:
在前端实现了Canvas水印绘制功能
在照片右下角添加半透明时间戳水印
水印格式为"YYYY-MM-DD HH:mm:ss",字体大小适中不影响照片主体
水印信息与服务器时间同步,防止客户端时间篡改
模糊度检测:
实现了基于文件大小的简化版模糊度检测
文件大小小于2KB的照片判定为可能模糊或损坏
模糊照片自动驳回并删除临时文件,提示用户重新拍摄
批量上传时跳过模糊照片,继续处理其他照片
三、技术实现细节
AI服务配置:使用环境变量DASHSCOPE_API_KEY配置阿里云API密钥,API端点为 https://dashscope.aliyuncs.com/api/v1/services/aigc/multimodal-generation/generation ,使用qwen-vl-max模型进行图像识别,设置top_p=0.8和temperature=0.5控制生成多样性。
Base64编码:将图片Buffer转换为Base64字符串,构建data URI格式(data:mimeType;base64,base64String)发送给AI API,支持JPG、PNG、GIF、BMP、WEBP等常见图片格式。
提示词工程:设计了针对施工场景的专用提示词,要求AI从安全风险(未佩戴安全帽、高空作业无防护、违规操作设备、危险物品摆放不当)、施工质量(是否符合标准)、改进建议(具体措施)三个维度进行分析,返回简洁的中文分点列表。
并发处理:批量上传使用Promise.allSettled并行处理所有图片,每张图片独立进行保存和AI识别,单个图片失败不影响其他图片,最后汇总成功和失败的数量及详细信息。
安全须知语音播报:使用Web Speech API的SpeechSynthesisUtterance实现文字转语音,设置lang为zh-CN,rate为0.8语速较慢确保清晰,强制等待60秒后才能点击确认按钮。
四、遇到的问题与解决
问题1:AI API响应时间较长(10-30秒),用户体验不佳,解决方案是在前端显示加载动画和进度提示,告知用户正在分析中。问题2:大尺寸图片导致API调用失败,解决方案是限制上传文件大小为10MB,超过限制提前拒绝。问题3:语音播报在某些浏览器不支持,解决方案是添加特性检测,不支持时降级为纯文本阅读。问题4:批量上传时部分图片识别失败导致整个请求失败,解决方案是使用Promise.allSettled而非Promise.all,确保部分失败不影响其他图片。
五、AI识别效果示例
AI分析结果示例:
【施工质量】
施工工艺符合标准,材料摆放整齐
【改进建议】
建议在2米以上高空作业区域加装防护栏
确保所有作业人员佩戴安全带
定期检查脚手架稳定性
六、下周计划
下周将开发施工验收管理模块,实现施工录像上传和回放功能,实现管理人员审核验收流程,实现违规操作记录和安全考核功能。同时开始开发AI智能对话助手,实现自然语言交互界面,支持用户通过对话方式操作系统功能。
七、代码统计
本周新增12个文件,编写约4200行代码,其中AI服务和控制器约1800行,进度跟踪前端页面约2400行。项目总代码量达到约9300行。

http://www.jsqmd.com/news/1037671/

相关文章:

  • 2026年6月最新卡地亚中国官方售后服务地址电话及客服网点查询 - 卡地亚服务中心
  • Deep-HiCEMs与MLCS:医疗AI的层次化概念学习技术
  • VB6 VBFlexGrid控件实现可点击删除链接与行删除功能详解
  • MLOps实战:数据科学家必须掌握的生产化能力体系
  • AutoCAD字体管家:告别“字体缺失“困扰,让设计回归创意本身
  • pandas多维聚合实战:从风控分析到AI-ready数据资产
  • 靠谱危包证办理机构怎么选?出口老板实用避坑指南 - 危险品出口解决方案
  • OpenCore Legacy Patcher深度技术解析:3大突破实现旧Mac系统升级
  • 27 届成都首创锦榜单招开班福利及官方联系方式,校区管理全解析 - 成都单招培训
  • 2026最新英语教学APP挑选指南 3个实用方法帮你避开选购误区
  • 项目初始化与基础架构
  • IEEE 11073 PHDC标准解析与嵌入式医疗设备通信库开发实践
  • 可解释AI(XAI)落地实战:从金融风控到医疗影像的四类工程化方案
  • 2025年Metasploit渗透测试实战:从Docker部署到漏洞利用全流程
  • 多模态AI图文语义对齐实战:可解释、可降级的跨模态系统设计
  • 2026年6月最新天梭中国官方售后服务地址网点电话客服热线 - 天梭服务中心
  • 暗黑破坏神2存档编辑器:Diablo Edit2终极使用指南
  • 生产级多维聚合:pandas groupby的五大工程化陷阱与实战
  • 2026年专业装甲门测量安装,精准服务打造安全家居新体验! - GrowthUME
  • 2026海口有磨损划痕的包包,还能高价回收吗 - 奢品小当家
  • 温度传感器IC在冷链运输场景中的应用方案介绍
  • 2026 AI搜索优化公司推荐|别再死磕传统SEO!抢占AI流量入口就靠这几家 - 品牌测评鉴赏家
  • AI学习者生存地图:提升知识消化率的实操转化指南
  • 国产大模型合规接入与企业AI应用落地指南
  • Gemini 1.5 Pro实战指南:API调用、推理优化与典型应用场景
  • 北京朝阳区旧包包高效变现,合扬同城比价优势突出,价格远超同行 - 奢侈品交易观察员
  • 无人机日志分析神器:3分钟上手UAV Log Viewer免费工具
  • 深入解析MPC801嵌入式处理器:架构、外设与高可靠系统设计实战
  • OpenCalib:自动驾驶多传感器标定的技术突破与实践指南
  • 苏州三棵树园艺有限公司仿真植物造景全链条服务体系 - 三棵树园艺