当前位置：首页 > news >正文

汽车制造行业Java如何设计分片上传后的视频文件MD5完整性校验方案？

news 2026/5/12 13:51:44

大文件传输系统建设方案（技术方案与代码示例）

一、项目背景与核心需求

作为公司项目负责人，针对产品部门提出的100G级大文件传输需求，需构建一套高兼容性、高稳定性、全浏览器支持的解决方案。核心需求如下：

功能需求：
- 单文件100G+传输，支持文件夹层级结构保留
- 断点续传（浏览器刷新/关闭后进度不丢失）
- 非打包下载（支持10万+文件并发下载）
- 加密传输（SM4/AES可配置）与自动解密下载
兼容性需求：
- 浏览器：IE8+、Chrome、Firefox、360安全浏览器
- 操作系统：Windows 7/10、macOS、Linux（CentOS/RedHat）
- 后端：JSP（现有系统）+ Spring Boot（新项目）
- 前端：Vue2/Vue3/React（通过微前端集成）
部署与成本需求：
- 阿里云ECS+OSS私有云部署
- 预算≤98万买断源代码授权
- 供应商需提供5个国企合作证明材料

二、技术架构设计

1.分层架构

┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ 浏览器端 │ │ 应用服务器 │ │ 存储层 │ │ (IE8/Vue2) │←──→│ (JSP/Spring) │←──→│ (阿里云OSS) │ └───────────────┘ └───────────────┘ └───────────────┘ ↑ ↑ ↑ │ 分片上传组件 │ 加密控制模块 │ 对象存储适配器 │ │ 进度持久化 │ 算法切换服务 │ 多云存储路由 │

2.关键技术选型

分片传输：自定义协议（兼容IE8的XMLHttpRequest Level 2）
进度持久化：
- 现代浏览器：IndexedDB
- IE8：UserData对象（通过Flash插件增强）
加密方案：
- 传输层：TLS 1.2 + SM4-CBC（国密SSL证书）
- 存储层：AES-256-GCM（阿里云KMS集成）

三、核心功能实现

1.文件夹层级传输（非打包方案）

前端实现（Vue2示例）：

// 递归处理文件夹结构classFolderUploader{constructor(folderPath){this.folderPath=folderPath;this.fileTree=[];}asyncscanFolder(){constentries=awaitthis.readDirectory(this.folderPath);for(constentryofentries){constfullPath=`${this.folderPath}/${entry.name}`;if(entry.isDirectory){constsubTree=newFolderUploader(fullPath);awaitsubTree.scanFolder();this.fileTree.push({type:'directory',name:entry.name,children:subTree.fileTree});}else{this.fileTree.push({type:'file',name:entry.name,path:fullPath,size:entry.size});}}}// IE8兼容的目录读取（通过ActiveXObject）readDirectory(path){returnnewPromise((resolve)=>{if(window.ActiveXObject){constfso=newActiveXObject("Scripting.FileSystemObject");constfolder=fso.GetFolder(path);constentries=[];conste=newEnumerator(folder.Files);for(;!e.atEnd();e.moveNext()){entries.push({name:e.item().Name,size:e.item().Size,isDirectory:false});}// 类似处理子目录...resolve(entries);}else{// 现代浏览器使用File System Access APIresolve([]);}});}}

后端实现（JSP示例）：

<%-- 文件分片接收接口 --%> <%@ page import="com.aliyun.oss.OSSClient" %> <%@ page import="com.aliyun.oss.model.ObjectMetadata" %> <% String fileId = request.getParameter("fileId"); int chunkNumber = Integer.parseInt(request.getParameter("chunk")); String tempPath = "/tmp/upload/" + fileId; // 保存分片到本地临时目录 try (InputStream is = request.getInputStream(); FileOutputStream os = new FileOutputStream(tempPath + "-" + chunkNumber)) { byte[] buffer = new byte[4096]; int bytesRead; while ((bytesRead = is.read(buffer)) != -1) { os.write(buffer, 0, bytesRead); } } // 记录已上传分片（使用Redis持久化） Jedis jedis = new Jedis("localhost"); jedis.sadd("upload:" + fileId, String.valueOf(chunkNumber)); %>

2.断点续传持久化

IE8兼容方案：

// 使用Flash的SharedObject实现本地存储functionsaveProgressIE8(fileId,chunks){try{varflash=document.getElementById("storageFlash");flash.setData(fileId,JSON.stringify(chunks));}catch(e){// 降级方案：通过Cookie存储（仅支持4KB）document.cookie=`progress_${fileId}=${JSON.stringify(chunks).substring(0,4000)}`;}}

3.加密传输与存储

SM4加密工具类（JSP端）：

// SM4加密工具类（需引入Bouncy Castle）publicclassSm4Util{privatestaticfinalStringALGORITHM="SM4/ECB/PKCS5Padding";publicstaticbyte[]encrypt(byte[]data,byte[]key)throwsException{Security.addProvider(newBouncyCastleProvider());SecretKeySpeckeySpec=newSecretKeySpec(key,"SM4");Ciphercipher=Cipher.getInstance(ALGORITHM,"BC");cipher.init(Cipher.ENCRYPT_MODE,keySpec);returncipher.doFinal(data);}// 阿里云OSS上传前加密publicstaticvoiduploadWithEncryption(OSSClientossClient,StringbucketName,StringobjectKey,Filefile){try(InputStreamis=newFileInputStream(file)){byte[]key="1234567890abcdef".getBytes();// 实际应从KMS获取byte[]encrypted=Sm4Util.encrypt(IOUtils.toByteArray(is),key);ObjectMetadatametadata=newObjectMetadata();metadata.setContentLength(encrypted.length);metadata.addUserMetadata("x-oss-meta-algorithm","SM4");ossClient.putObject(bucketName,objectKey,newByteArrayInputStream(encrypted),metadata);}catch(Exceptione){thrownewRuntimeException("加密上传失败",e);}}}