BigDL-2.x迁移指南：从旧版本到新版本的无缝升级

BigDL-2.x迁移指南：从旧版本到新版本的无缝升级

【免费下载链接】BigDL-2.xBigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x

BigDL-2.x作为一款支持在Apache Spark/Flink和Ray上运行分布式TensorFlow、Keras和PyTorch的强大工具，其新版本带来了诸多改进与优化。本指南将为你提供从旧版本到BigDL-2.x的无缝迁移方案，助你轻松完成升级，充分利用新版本的强大功能。

迁移前的准备工作

在开始迁移之前，确保你的开发环境满足BigDL-2.x的要求。首先，你需要克隆BigDL-2.x的仓库，仓库地址是 https://gitcode.com/gh_mirrors/bi/BigDL-2.x。然后，仔细阅读官方提供的迁移文档，了解新版本的变化和注意事项。

BigDL用户的迁移步骤

Scala应用迁移

对于Scala应用，主要的迁移工作是调整导入路径。将原来的import com.intel.analytics.bigdl.XYZ修改为import com.intel.analytics.bigdl.dllib.XYZ。不过有一些特殊情况需要注意：

• com.intel.analytics.bigdl.dataset.XYZ应改为com.intel.analytics.bigdl.dllib.feature.dataset.XYZ
• com.intel.analytics.bigdl.transform.XYZ应改为com.intel.analytics.bigdl.dllib.feature.transform.XYZ
• com.intel.analytics.bigdl.nn.keras.XYZ已被弃用，建议使用zoo keras api替代

如果你是Maven用户，需要修改依赖：

<dependency> <groupId>com.intel.analytics.bigdl</groupId> <artifactId>bigdl-dllib-spark_{spark_version}</artifactId> <version>${BIGDL_VERSION}</version> </dependency>

如果你是SBT用户，修改libraryDependencies为：

libraryDependencies += "com.intel.analytics.bigdl" % "bigdl-dllib" % "${BIGDL_VERSION}"

Python应用迁移

Python应用的迁移同样涉及导入路径的调整。将from bigdl.XYZ import *改为from bigdl.dllib.XYZ import *。特殊情况如下：

• from bigdl.dataset.XYZ import *改为from bigdl.dllib.feature.dataset.XYZ import *
• from bigdl.transform.XYZ import *改为from bigdl.dllib.feature.transform.XYZ import *
• bigdl.nn.keras.XYZ已被弃用，建议使用zoo keras api替代

Analytics Zoo用户的迁移步骤

Scala应用迁移

feature/common/nnframes模块

将import com.intel.analytics.zoo.XYZ改为import com.intel.analytics.bigdl.dllib.XYZ

Keras模块

将import com.intel.analytics.zoo.pipeline.api.keras.XYZ改为import com.intel.analytics.bigdl.dllib.keras.XYZ

Estimator模块

将import com.intel.analytics.zoo.pipeline.estimator.XYZ改为import com.intel.analytics.bigdl.dllib.estimator.XYZ

对于Maven用户，依赖修改为：

<dependency> <groupId>com.intel.analytics.bigdl</groupId> <artifactId>bigdl-dllib-spark_{spark_version}</artifactId> <version>${BIGDL_VERSION}</version> </dependency>

SBT用户的libraryDependencies修改为：

libraryDependencies += "com.intel.analytics.bigdl" % "bigdl-dllib" % "${BIGDL_VERSION}"

tfpark模块

将import com.intel.analytics.zoo.XYZ改为import com.intel.analytics.bigdl.orca.XYZ

Maven用户依赖修改为：

<dependency> <groupId>com.intel.analytics.bigdl</groupId> <artifactId>bigdl-orca-spark_{spark_version}</artifactId> <version>${BIGDL_VERSION}</version> </dependency>

SBT用户的libraryDependencies修改为：

libraryDependencies += "com.intel.analytics.bigdl" % "bigdl-orca" % "${BIGDL_VERSION}"

Python应用迁移

feature/common/nnframes模块

将from zoo.XYZ import *改为from bigdl.dllib.XYZ import *，但以下情况除外：

• from zoo.util.XYZ import *改为from bigdl.dllib.utils.XYZ import *
• from zoo.common.XYZ import *改为from bigdl.dllib.utils.XYZ import *

Keras模块

将from zoo.pipeline.api.keras import *改为from bigdl.dllib.keras import *

Estimator模块

将from zoo.pipeline.api.estimator import *改为from bigdl.dllib.estimator import *

tfpark模块

将from zoo.XYZ import *改为from bigdl.orca.XYZ import *

迁移后的验证与测试

完成代码迁移后，务必进行全面的验证与测试。运行你的应用程序，检查是否有错误或异常。可以参考BigDL-2.x提供的示例代码，确保你的应用在新环境下能够正常工作。

BigDL架构概览

通过以下架构图，你可以更清晰地了解BigDL的整体结构和各个模块之间的关系，这对于理解迁移后的代码组织非常有帮助。

端到端分布式内存管道

BigDL提供了端到端的分布式内存管道，下面的图片展示了数据从摄入到模型推理的完整流程，帮助你更好地理解数据在BigDL中的处理过程。

常见问题与解决方案

在迁移过程中，你可能会遇到一些常见问题。例如，依赖冲突、API不兼容等。此时，你可以查阅官方文档MigrationGuidance.md，其中详细列出了迁移过程中可能遇到的问题及解决方法。

如果遇到文档中未提及的问题，你可以在项目的社区论坛或Issue中寻求帮助，社区的开发者们会很乐意协助你解决问题。

总结

迁移到BigDL-2.x虽然需要一定的工作量，但新版本带来的性能提升和功能增强绝对值得。通过本指南提供的步骤，你可以顺利完成迁移，充分利用BigDL-2.x在分布式深度学习方面的强大能力。希望你在BigDL-2.x的使用过程中获得更好的体验！ 🚀

【免费下载链接】BigDL-2.xBigDL: Distributed TensorFlow, Keras and PyTorch on Apache Spark/Flink & Ray项目地址: https://gitcode.com/gh_mirrors/bi/BigDL-2.x