- 课程目标与套件内容：
- 学习目标：了解昇腾应用使能集中包含的工具及工具组件的具体功能。
- 套件内容：包括慢的SDK（含视觉、特征检索、推荐搜索、知识增强4种SDK）、mind cluster集群使能工具组件、mindedge端边设备使能组件、maaspeed训练加速工具库、Mandaie推理引擎，还有model Zoo模型库。
- Mona cluster组件：
- 作用：帮助维护硬件设施，对AI应用开发或模型训练推理所需的硬件设备进行管理。
- 具体功能：包含运维监控、作业调度、故障恢复等，通过MPI对第三方深度学习平台使用的昇腾算力硬件设备进行维护管理，具体分为安装部署、性能测试、故障诊断、集群调度维护。
- Model Zoo模型库：
- 模型情况：有众多预训练好的模型，涉及计算机视觉、自然语言处理等多领域，有小模型和大模型，可直接使用、二次训练或微调。
- 使用方式：可进行一站式模型开发或直接体验，一键下载SOTA模型使用，提供全流程开发工具支持模型在昇腾设备运行，可通过model show可视化工具查看模型训练效果。
- 在线体验：基于库中模型部署成在线应用供用户体验。
- 工具库：包括昇腾镜像仓库（可拉取Docker镜像快速部署环境）、自动迁移工具（适配昇腾平台）、数据采集和分析工具（采集模型训练数据）、精度对比工具（针对模型推理测试精度）。
- Mindedge组件：
- 功能：提供边缘AI业务基础组件管理和边缘AI业务容器全生命周期管理，提供节点看管、日志采集、统一运维能力和严格安全保证服务，为客户提供边缘云与数据中心协同的边缘计算解决方案。
- 结构：纵向分为边缘协同和设备管理两部分，横向为端边云三部分，云侧通过MEF center实现容器应用管理等，边侧通过MEF age实现边缘节点监控等，OMSDK是开发态组件辅助第三方管理机构构建管理系统。
- 应用使能的SDK部分：
- 视觉的vision SDK：用于视觉分析，在交通运营商等领域规模使用，适配城市治理等场景；提供CV加速算法、VPP图像处理等功能；具有高性能视频分析、轻量化应用开发、丰富参考设计的特性。
- 特征检索的SDK：应用于大规模特征检索聚类场景，提供全量检索、近似检索等功能；具有高性能检索算法、大容量特征库、多样化过滤筛选的特点，在安平互联网领域大规模应用。
- 推荐搜索的SDK：提供样本处理加速等功能；具有模型任务易迁移（跨平台迁移算法零改动）、支持大规模训练（embedding多级存储资源利用高效，支持分布式训练，训练模型稀疏参数可达100TB以上）的特性。
- RAG SDK知识增强部分：应用于大模型知识增强场景，提供轻量化应用开发（模块化、功能化接口搭建问答服务应用）、知识库灵活管理（支持文档切分和多模态数据解析）、高性能向量检索（缩短查询向量数据库时间）的功能。
- 推理引擎Mindie：
- 作用：华为昇腾针对AI全场景业务推出的推理加速套件，通过分层开放的AI能力支持用户多样化AI业务需求，释放昇腾设备硬件算力。
- 结构：包括推理服务（Mindie service）、相关推理套件（大语言模型等场景组件）、AI框架部分、推理运行时部分；向上支持多种主流AI框架，向下对接昇腾AI处理器，提供多层次编程接口，提升推理业务效率。
- 思考题：
- 题目：以下属于昇腾应用使能组件的有哪些选项。
- 答案：Mindcluster（用于集群维护管理）、Mindedge（用于管理边缘侧设备）、Mind SDK（进行应用使能），而昇腾AI的异构计算架构不属于使能组件。
![]()
