在部署之前通过一张图简单的了解一下华为AI技术栈架构和英伟达的差异和相同之处。
从下到上分别是硬件层面的芯片，硬件层：华为910B npu，英伟达 A100 gpu；驱动层：CANN和CUDA；训练框架层：MindSpore和PyTorch ；推理加速层：MindIE和LLM。
这里简单解释一下，我们作为运维在部署的时候是不需要训练框架层的，没几个运维懂模型训练和调优吧，哈哈哈。我们只需要部署推理加速的服务就好了，MindIE或者LLM。
可以这么理解，市面上的主流大模型都是预制菜，只要通过推理框架微波加热即可食用了。模型训练教给专业的厨师也就是AI研究员来处理，他们需要安装全套的AI训练环境，运维人在Hang Face下载拿到模型权重文件之后，安装一下对应硬件平台的推理服务就可以配置调用大模型提供推理服务了。