当前位置: 首页 > news >正文

MySQL对大表格做数据归档

最近在检查数据的时候发现有个表格数据已经达到了两千多万,select count(*) 需要二十多秒,所以准备对历史数据进行一次归档,跟业务部门沟通他们说只需要保留半年数据即可,这样就可以把大量的历史数据移出当前业务表格,减少当前表的操作压力

首先大家千万不要因为业务部门说历史数据不查就直接 delete,注意大表千万不要直接 delete,如果删除的条件没有索引会直接锁表,如此大的数据量删除需要很久,锁表过程也会很长,然后删除条件有索引的情况也不建议直接 delete,会产生大量 undo/redo 日志,这个过程除了会删数据记录还会删索引记录,数据量太大会消耗大量资源导致数据库性能下降影响其服务稳定

所以我们用下面的方法,快捷方便稳定 (注意如果做了主从复制,需监控从库延迟情况)

# 创建一个表用来接收我们需要保留的数据CREATE TABLE alarm_appendix_new LIKE alarm_appendix;# 将我们要保留的数据导入到新表,这个过程可能会持续3-5分钟,建议暂停服务操作,如果服务不能暂停可以在下一个操作完成后再做一次数据补充INSERT INTO alarm_appendix_new SELECT * FROM alarm_appendix WHERE insert_time>='2025-11-01';# 直接将原始业务表格改为备份表(此过程是原子操作),将新表改为业务表格,注意如果没有暂停服务和上一个操作间隔太久可能会存在数据遗漏,需要补充数据RENAME TABLE alarm_appendix TO alarm_appendix_bak_20260623, alarm_appendix_new TO alarm_appendix;# 防止备份切换过程中存在数据遗漏,注意该操作要求表有主键,不然自己写sql补充也可以INSERT IGNORE INTO alarm_appendix SELECT * FROM alarm_appendix_bak_20260623 WHERE insert_time>='2025-11-01';

操作完再检查一下数据,可以发现还有五百多万条,查询时间 5.5 秒,虽然还是有些久,但是比两千多万条的时候还是要好上很多

http://www.jsqmd.com/news/1072080/

相关文章:

  • 如何高效获取国家中小学智慧教育平台电子课本PDF文件
  • 论文写作AI技巧有哪些?5个实用方法,效率翻倍
  • AltSnap:3分钟掌握Windows窗口高效管理终极技巧
  • 深度解构GIMI:游戏模型导入系统的架构革命与技术突围
  • 臻灵数字人教育私有化解决方案:断网离线一键生成数字人教学视频
  • SITS 2026框架落地指南(含金融/医疗/制造三行业适配包):3周完成L1→L3跃迁实战手册
  • 如何在3分钟内解决iPhone USB网络共享在Windows上的驱动问题
  • 终极指南:如何快速将网页HTML转换为可编辑Figma设计文件
  • scikit-learn:Python 机器学习的标配工具库
  • AISMM模型安全边界测试报告首度流出:在金融/医疗/工业控制三大场景下通过FIPS-140-3 Level 4验证,附漏洞响应SLA承诺书模板
  • 3分钟解决iPhone USB网络共享驱动问题:Windows用户终极指南
  • OpenCV:计算机视觉领域的老牌主力
  • KMS_VL_ALL_AIO:Windows和Office智能激活的进阶解决方案
  • Mac Mouse Fix:底层事件重映射技术让普通鼠标在macOS上超越苹果原生体验
  • 终极指南:如何免费为OBS添加AI虚拟背景,告别绿幕时代 [特殊字符]
  • 解码链上共识:区块链治理翻译的挑战与价值
  • 广州全屋整装预算与选材指南
  • 豆包seed标准版本1.6费用记录分析
  • 多套AI策略夏普比率,最大回撤批量计算程序,自动横向排名。
  • Windows AirPlay 2接收器终极指南:5分钟让PC变身苹果设备无线投屏中心
  • 5分钟快速部署指南:让Windows电脑完美支持AirPlay 2投屏功能
  • 2026年乌鲁木齐先装后付装修生产厂家top5实践经验分享
  • 非同名入金与非同名代付为两类不同的异名资金操作:
  • 如何在5分钟内用Blender完成建筑建模?ArchiPack参数化插件深度解析
  • 终极图像隐写分析指南:如何使用ImageStrike一站式解决18种CTF挑战
  • 为什么92%的企业卡在Level 3?AISMM Level 4的4个隐藏准入门槛,及2026年前最后窗口期应对策略
  • 【绝密档案】奇点大会内部培训手册节选:AI人才成熟度5阶跃迁路线图(含L3→L4突破性训练包)
  • 原神模型导入神器GIMI:3分钟让你成为游戏角色造型师
  • Root 选举 + Beacon + TDMA 切换功能实现
  • 终极指南:三步快速上手开源制造执行系统openMES