Canonical x Lenovo: 在边缘运行 AI workloads
by Canonical on 4 December 2024
携手 Canonical 和 Lenovo，在边缘运行 AI 工作负载
从制造业中的预测性维护，到医疗保健行业中的虚拟助手，再到最偏远地区的电信路由器优化，AI 正在各种边缘环境中掀起新浪潮，带来新机遇。但为了支持这些几乎随处运行的 AI 工作负载，公司需要具备快速、安全且高度可扩展的边缘基础架构。
开源工具 —— 例如用于轻量级 Kubernetes 编排的 MicroK8s 和用于 ML 机器学习工作流的 Charmed Kubeflow —— 可以为边缘 AI 部署提供更高的灵活性和安全性。如果配合加速计算堆栈使用，这些解决方案可以帮助专业人员更快地交付项目，降低运营成本，以及确保更可预测的结果。
今天这篇博客探讨为什么企业正逐渐在边缘 AI 领域转向开放式基础架构解决方案，并介绍如何部署一个专门构建的优化版堆栈，以大规模交付变革性的智能项目。
开放式基础架构堆栈为何适合边缘 AI
世界各地的企业组织都拥有大量的边缘数据，但是将 AI 功能应用到偏远崎岖基地数据源的最佳方式又是什么呢？Canonical、英伟达 NVIDIA 和 联想 Lenovo 可以提供帮助。
为了确保边缘 AI 的专用性能，可以考虑开源解决方案架构，其中包含在 Lenovo ThinkEdge 服务器上运行的 Canonical Ubuntu、用于轻量级 Kubernetes 编排的 MicroK8s，以及用于 ML 工作流管理的 Charmed Kubeflow。NVIDIA EGX 平台为该架构提供了基础，可以实现用于 AI 工作负载的强大 GPU 加速计算能力。
使用这种经预先验证的架构具有以下主要优点：
- 更快的迭代和试验速度：数据科学家可以更快地迭代 AI/ML 模型并加快试验过程。
- 可扩展性：该架构已经完成了各种 MLOps 工具选项测试，从而能够快速扩展 AI 项目。
- 安全性：AI 工作负载受益于 Canonical Ubuntu 提供的安全基础架构和定期更新，从而确保持续的保护和可靠性。
- AI 工作负载优化：该架构专为满足 AI 工作负载的特定需求而构建，这意味着它可以在优化的硬件和软件堆栈上高效处理大型数据集。
- 端到端堆栈：该架构利用 NVIDIA EGX 产品和 Charmed Kubeflow 来简化整个机器学习生命周期。
- 再现性：该解决方案提供了明确的指南，供整个组织的专业人员使用，以望得到一致的结果。
Canonical 的开源基础架构堆栈
对于边缘计算，Canonical 与 Lenovo 共同致力于堆栈，让认证硬件具备最佳性能。每个云基础架构都有非常明确的实现选择方案。不过，这些选择方案中的多数都可以标准化和自动化，以帮助降低操作风险。
经预先验证的基础架构则是以 Ubuntu 操作系统为基础。Ubuntu 已然受到 AI/ML 开发人员的接纳，因此它为生产环境增加了熟悉度和效率。Ubuntu Pro 对标准的 Ubuntu 发行版进行了扩展，提供来自 Canonical 的 10 年安全维护，以及选择性的企业级支持。
Canonical MicroK8s 是由云原生计算基金会（CNCF）认证的 Kubernetes 发行版。其提供简化的 Kubernetes 容器管理方法，这些容器对于可重复云部署而言至关重要。MicroK8s 会安装 NVIDIA GPU 操作符，实现对 GPU 资源的高效管理和利用。
Charmed Kubeflow 是 Kubeflow 的企业级发行版，Kubeflow 则是专为 Kubernetes 环境构建的热门开源 ML 工具包。Canonical 开发的 Charmed Kubeflow 可以简化 AI 工作流的部署和管理，提供对整个工具和框架生态系统的访问。
最后，Canonical 基础架构与众不同的地方在于通过 Juju 实现的自动化，Juju 是一个用于将基础架构组件和应用程序供应、管理和维护自动化的开源编排引擎。
用于边缘 AI 的 Lenovo ThinkEdge 服务器
如果没有合适的硬件，即使是最好的开源基础架构软件也无法充分发挥其潜能。使用 NVIDIA EGX 平台的Lenovo ThinkEdge 服务器 可以在边缘实现针对 AI 工作负载的强大性能。
特别是专门为狭小空间设计的 ThinkEdge SE450 服务器，非常适合部署在传统数据中心之外的位置。这些服务器旨在虚拟化传统 IT 应用程序以及新的变革性 AI 系统，为最新的边缘工作负载提供所需的处理能力、存储、加速和网络技术。
从边缘 AI 的验证设计开启入门之旅
Canonical、联想 Lenovo 和 英伟达 NVIDIA 正在共同努力，确保所有行业都可以使用数据科学技术。借助经预先验证的参考架构，开发人员和研究人员可以快速实现其 AI 项目的价值。
部署过程从在 ThinkEdge SE450 服务器上安装 Canonical 软件组件开始。用户通过 Charmed Kubeflow 仪表板，可以获取并使用 NVIDIA Triton 推理服务器创建一个 AI 实验。Triton 为高效且有效的模型服务提供一个专用环境。这种端到端的 AI 工作流在成本和性能方面都进行了优化。
如需深入了解参考架构和关于在边缘运行 AI 的分步指南，请点击下方按钮阅读 Lenovo 的白皮书。
订阅博客文章
查看更多内容
欢庆 Ubuntu 20 年：伙伴如何协助将 Ubuntu 引入不同的行业、市场和硬件
在我们庆祝 Ubuntu 诞生 20 周年之际，我们想花一点时间来思考合作的价值。软件应该开源并对所有人开放访问的想法催生了一个充满活力的用户社区和一个合作伙伴生态系统，并帮助我们将 Ubuntu 带到各个行业。 那么，我们和谁进行合作？我们很幸运拥有超过 100 个合作伙伴，他们都和 Ubuntu 有着不同的关系。 我们的合作之旅 当 Ubuntu 在 2004 年推出时，我们的目标之一是鼓励 Linux 社区采用，并将 Ubuntu 打造成一个可靠且用户友好的发行版。我们的第一个合作伙伴是 Debian 和 Linux 社区，他们一直与我们合作至今。 随着 Ubuntu 得到更为广泛的采用，其他组织很快就会注意到并利用 Ubuntu 的稳健性、适应性和可靠性。 […]
Raspberry Pi AI 套件在 Ubuntu 上的黑客指南
Raspberry Pi 最近发布了他们的 AI 套件，一个搭载 Hailo-8L AI 加速器的 PCIe M.2 HAT 套件。这款 AI 加速器的运算性能高达每秒 13 万亿次运算（TOPS）。相较之下，Coral Edge TPU 的运算性能为 4 TOPS，其拥有与 Raspberry Pi 5 CPU 相近的推理性能。AI 套件可以让标准平台上开发机器学习工作负载变得更加容易。它还允许在边缘部署强大的机器学习模型，而且成本低、功耗低。许多人对这款新工具包在其中可以发挥卓越性能的大量用例满怀期待，比如安全、制造或质量保证方面的摄像头视频对象实时检测。 在本篇博客中，我们将讨论我们尝试在 Ubuntu 24.04 LTS 上运行 Hailo-8L 加速器及其软件的 […]
分步指南：在 Ubuntu 上使用 Azure IoT Operations
简介 随着最近 Azure IoT Operations 的发布，Microsoft 为其客户提供了一个统一的数据平面，在节点数据捕获、基于边缘的遥测处理和云入口方面做出重大改进。 Azure IoT Operations 与 Ubuntu 的结合可谓是相得益彰，可以构建开箱即用的安全可靠的解决方案。 这篇博客是 Microsoft 的 Azure IoT Operations 入门的分步指南。最后，您会将 Azure IoT Operations 服务部署到本地支持 Azure Arc 的 microk8s Kubernetes 集群，并使用 X509 证书身份验证配置了与集群的 MQTT 代理的安全通信。为了实现这一点，您将执行命令、创建和编辑文件并发布自签名证书 […]