当前位置: 首页 > news >正文

MySQL中如何批量删除海量数据

1.删除大表数据

一个表有1亿6000万的数据,有一个自增ID。最大值就是1亿6000万,需要删除大于250万以后的数据,有什么办法可以快速删除?

删除大表的多行数据时,会超出innod block table size的限制,最小化的减少锁表的时间的方案是:
1、选择不需要删除的数据,并把它们存在一张相同结构的空表里
2、重命名原始表,并给新表命名为原始表的原始表名
3、删掉原始表

2.删除带索引的表

在My SQL数据库使用中,有的表存储数据量比较大,达到每天三百万条记录左右,此表中建立了三个索引,这些索引都是必须的,其他程序要使用。由于要求此表中的数据只保留当天的数据,所以每当在凌晨的某一时刻当其他程序处理完其中的数据后要删除该表中昨天以及以前的数据,使用delete删除表中的上百万条记录时,MySQL删除速度非常缓慢,每一万条记录需要大概4分钟左右,这样删除所有无用数据要达到八个小时以上,这是难以接受的。

查询MySQL官方手册得知删除数据的速度和创建的索引数量是成正比的,于是删除掉其中的两个索引后测试,发现此时删除速度相当快,一百万条记录在一分钟多一些,可是这两个索引其他模块在每天一次的数据整理中还要使用,于是想到了一个折中的办法:
在删除数据之前删除这两个索引,此时需要三分钟多一些,然后删除其中无用数据,此过程需要不到两分钟,删除完成后重新创建索引,因为此时数据库中的数据相对较少,约三四十万条记录(此表中的数据每小时会增加约十万条),创建索引也非常快,约十分钟左右。这样整个删除过程只需要约15分钟。对比之前的八个小时,大大节省了时间。

以上的做法:

1、先删除索引

2、删除不需要的数据

3、创建索引

注意:

执行大批量删除的时候最好使用limit,否则很有可能造成死锁。

如果delete的where语句不在索引上,可以先找主键,然后根据主键删除数据。

如果需要删除的数据远远大于不用删除的数据

1、先选择不需要删除的数据,并把它们存在一张相同结构的空表里;

2、再重命名原始表,并给新表命名为原始表的原始表名;

3、然后删掉原始表。

如果需要删除超大批量数据

1、先删除表中索引;

2、再删除需要删除的数据;

3、然后重新创建索引。

http://www.jsqmd.com/news/843337/

相关文章:

  • 创业公司的落户生根企业培养成为银行的重要招待客户 银行代表政府部门的重要商业交易方式 工作是工程师和一线城市外来务工人口的市民安全保护凭证 城市人口流动严重影响市场监管部门的调查小组分布方向和具体考察
  • XU9238输入电压3.3-32V 输出电压5-500V 输出电流4A开关型升压恒压驱动器
  • ARM架构ADD/AND指令详解与应用优化
  • 系统安全加固实战:在统信UOS与麒麟KOS中精准禁用指定网卡
  • 【独家首发】NotebookLM语义搜索底层架构图谱(基于2024 Q2最新API逆向分析,含7层向量映射逻辑)
  • 中华民族站起来了,《AI驱动上下五千年:从结绳记事到智能纪元》第三章:周礼分封——面向服务的架构(SOA)首次实践
  • Linux本地包签名异常定位实战
  • 一行环境变量,给 Claude Code 省下 90% 成本
  • 别再死记硬背了!UE5材质蓝图这5个快捷键,让你效率翻倍(附节点详解)
  • 【Gin】中间件练习题
  • Arm Compiler 6.21嵌入式开发工具链解析
  • 【自用】Kicad 导入嘉立创元器件封装(NLBN插件)
  • python 创建虚拟环境,使用虚拟环境,退出虚拟环境
  • 基于树莓派A+与3.5寸PiTFT打造便携式触摸屏设备全攻略
  • STM32F405时钟树配置避坑指南:从HSE到APB,手把手教你算对每个外设时钟
  • 5分钟快速上手:AMD Ryzen处理器专业级调试工具SMUDebugTool完全指南
  • HYCONTROL MICROFLEX-DB超声波液位计实操详解(参数+工况+故障排查)
  • 吕欣团队《大数据平台架构》第四章读书笔记:HDFS——把一块硬盘“拆”成一整个数据中心
  • 从“能用”到“好用”:手把手教你用Simulink Mask功能设计带约束的专业级模块
  • 异突触可塑性:生物大脑中的梯度学习机制与AI启示
  • 片上变压器增益增强技术:原理、架构与毫米波IC设计实践
  • Eviews面板数据回归实战:手把手教你用Hausman检验搞定固定效应与随机效应模型选择
  • NotebookLM提示工程在能源政策分析中的致命误区(附12个经NREL验证的Prompt模板)
  • AI能和你一起打游戏了:Agora-1这个多智能体世界模型有点东西
  • Hermes Agent 完全安装指南(macOS)
  • 南通电缆回收领域翘楚榜单揭晓:专业回收,服务至上
  • Spark算子分类与特性解析
  • 从相似贴子到智能客服:LangChain4j + Milvus 混合检索实战指南
  • 金融涉外业务赋能,守护跨境金融安全
  • 西部数据与希捷财报解读:HDD市场寒冬与存储技术趋势分析