当前位置: 首页 > news >正文

ConvNeXt 改进 :ConvNeXt采用WTConv卷积(感受野的小波卷积),ECCV 2024,实现高效涨点,二次创新CNBlock结构 ,独家首发

本文教的是方法,也给出几种改进方法,二次创新结构,百变不离其宗一文带你改进自己模型,科研路上少走弯路。


前言

WTConv(基于小波变换的卷积层),用于在卷积神经网络(CNN)中实现大感受野。作者通过利用小波变换,设计了一个卷积层,可以在保持少量可训练参数的情况下大幅扩大感受野。WTConv 被设计为可以无缝替换现有 CNN 架构中的深度卷积层,适用于图像分类、语义分割、物体检测等任务。


理论介绍

WTConv 的核心思想是通过结合卷积神经网络(CNN)的强大特征提取能力与小波变换的多尺度特性,来实现大感受野的卷积操作,同时避免传统大卷积核带来的参数爆炸问题。传统的卷积操作通过滑动小窗口在图像上逐步执行局部特征提取,感受野的大小直接取决于卷积核的尺寸。随着卷积核的增大,参数量呈指数增长,导致网络训练效率降低、计算资源消耗增加。为解决这些问题,WTConv 提出了在小波域中执行卷积操作的策略。小波变换是一种常用于信号处理的技术,能够将信号分解为不同频率成分。WTConv 使用了其中的 Haar 小波变换,作为一种简单高效的工具,将输入图像进行分解,得到不同频带的低频和高频分量。在图像经过小波变换之后,低频分量保留了图像的全局结构信息,而高频分量则包含了图像的细节特征。通过对低频部分递归应用小波变换,WTConv 能够以较少的参数对大尺度特征进行捕捉,从而有效扩大感受野,而无需显著增加计算复杂度。在小波域中进行卷积操作可以带来更大的感受野对第二级小波域的低频带 XLL(2)​ 进行 3 × 3 卷积,产生一个包含 9 个参数的卷积操作,该操作响应输入 X 中 12 × 12 感受野的低频部分,如下图(摘自官网论文)所示:

理论详解可以参考链接:论文地址
代码可在这个链接找到:代码地址

训练代码参考和下载:手把手教你使用ConvNeXt训练自己数据集和推理,ConvNeXt模型训练(CVPR 2022),一个能挑战 Vision Transformer 的卷积神经网络,含完整代码和数据集


文章目录

  • 前言
  • 理论介绍
  • 🐴一、实战细节
    • ⚡⚡实验结果画图
    • ⚡⚡改进模块代码
    • ⚡⚡使用教程
      • ☑️步骤1
      • ☑️步骤2
      • ☑️步骤3
  • 🐴二、模型结构分析
    • ⚡⚡ 注意机制结构分析
    • ⚡⚡ConvNeXt 结构分析
      • ☑️CNBlock 结构图
    • ⚡⚡二次创新实战
      • ☑️第一种改进手法
        • 📐模块的传参分析教程
      • ☑️第二种改进手法
      • ☑️第三种改进手法
      • ☑️第四种改进手法
  • 🐴三、论文常用的评估指标
      • ☑️准确率 (Accuracy, ACC)
      • ☑️精确率 (Precision)
      • ☑️召回率 (Recall)
      • ☑️F1分数 (F1 Score)
  • 总结

🐴一、实战细节

⚡⚡实验结果画图

画图效果如下,代码可一键运行

画图代码:

# -*- coding: utf-8 -*-""" @Auth :落花不写码 @File :画图.py @IDE :PyCharm @Motto :学习新思想,争做新青年 """importmatplotlib.pyplotaspltimportpandasaspd
http://www.jsqmd.com/news/566534/

相关文章:

  • Cadence Allegro 17.4进阶指南:高效封装库的调用与管理技巧
  • 3大突破!Dramatron探索者指南:AI协同剧本创作的艺术与技术
  • 【RAG切分新范式】HiChunk:从94%准确率到动态检索的工程实践
  • 深入浅出GRUB2配置指南:双系统启动随心所欲
  • S2-Pro助力Python爬虫智能化:数据采集与语义解析实战
  • 序列生成的艺术:LSTM灵感在万象熔炉·丹青幻境动态绘画中的应用
  • 深入解析Rockit RGN模块:区域管理在视频叠加中的应用实践
  • 海洋航行器动力学建模与控制架构实现:从理论到工程实践的技术框架
  • usearch的开源赞助计划:企业支持与合作机会
  • Windows 10完美显示苹果HEIC照片:3步搞定跨平台预览
  • SegAnyGAussians跨平台部署与实战避坑指南
  • ms-swift进阶技巧:利用GRPO强化学习,让你的模型更智能
  • 从理论到实践:五点差分格式求解Poisson方程及其Matlab高效实现
  • Scrcpy:重新定义安卓设备跨平台交互体验
  • React-primitives平台注入机制揭秘:一次编写,多端运行
  • 5个步骤让你的Mac应用始终保持最新状态:Latest工具完全指南
  • DeTikZify终极指南:3步实现AI绘图代码自动化,让科研图表制作效率提升10倍
  • 7分钟掌握DLSS Swapper:从入门到精通的游戏性能优化指南
  • 2026年4月最新:数据大屏工具推荐:企业选型必看的5款主流产品对比 - 科技焦点
  • Cosmos-Reason1-7B实操手册:多GPU并行推理与显存负载均衡设置
  • RoundedTB代码架构解析:从WPF界面到系统级Hook的实现
  • 为什么选择AppleRa1n?解锁iOS 15-16设备激活锁的终极解决方案
  • 伏羲气象模型惊艳效果案例:提前7天精准预测区域性强降水过程
  • 5个效率提升技巧:Cursor AI功能优化指南
  • 攻克视觉问答挑战:从基础实现到知识推理的LAVIS全攻略
  • 2026年3 月最维度数据建模平台选型:多维分析与性能如何平衡 - 科技焦点
  • CMS.js插件开发指南:如何扩展你的Markdown渲染器
  • 反渗透设备行业全景图:技术壁垒、场景适配与西北区域标杆企业深度观察 - 深度智识库
  • 车机死机问题排查指南:从现象到源码的完整方法论小结
  • Qwen3.5-9B惊艳效果展示:128K上下文下的复杂推理对话实录