谢谢您的订阅!
当新的内容发布后您将开始接收邮件。您也可以点击邮件内的链接随时取消订阅。关闭Close

  1. 博客
  2. 文章

Canonical
20 February 2024

使用 MicroCeph 实现边缘存储


随时、随地—— MicroCeph 让边缘存储变得简单

数据无处不在,不仅存在于大型的集中式数据中心,而且还存在于较小的前哨,如零售店、远程或分支机构、拍摄地点甚至汽车。边缘存储的用例包括本地处理、在高网络延迟情况下无法进行的内容协作以及数据摄取(即对本地创建的内容进行捕获、保护,然后提供给其他系统)。

所有这些场景都有两个共同点:生成的数据至关重要,以及这些位置通常带宽有限。

从历史数据来看,其中部分用例会使用单板计算机,但随着时间的推移,数据的重要性提高,现在对性能和冗余有了更高的要求。而使用边缘存储即可满足这些新需求。

边缘存储解决方案允许在创建数据的地方安全存储并有效处理数据,无需将其传输到集中位置进行处理。这种方法可以实现安全、高性能的数据处理,不受延迟和带宽限制所影响。

在今天的博客中,笔者将介绍为什么要使用边缘存储解决方案,并演示如何使用 MicroCeph 轻松启动和运行存储集群。 

使用边缘存储维护局部性

在一些边缘环境中,例如零售商店,将结果发送到中央存储库之前,在该位置对销售和库存数据进行初步处理和分析会更加高效。这种易损坏的数据可用作其他流程的输入数据,并且可以在数百或数千个位置生成。

另一个用例是自动驾驶汽车,其每天可以生成高达 6TB 的数据。这些数据需要在本地进行实时处理,并且必须保持其完整性,因为这些数据将用于决策和自动驾驶算法的优化。

这些类型的用例需要高性能和冗余存储,而这在传统的单板计算机系统中是无法满足的。诸如 Ceph 的可扩展存储解决方案可以帮助实现性能和冗余目标。使用多个节点意味着存储数据的多个副本,这在单个节点或磁盘出现故障时可以减少数据丢失。Ceph 的横向扩展架构意味着添加额外节点可提高性能和容量。

分布式数据处理不仅可以减少对企业网络和数据中心的需求,而且还能减少获得结果的延迟。

使用边缘存储保护内容

图形和视频等内容类型的远程协作范围因文件大小而有限,因此数据需要临时存储在本地。例如,平均一集电视剧的原始素材可以消耗 100TB。 

此外,在远程拍摄地点,可能没有网络连接,无法将内容安全传输到集中式数据存储中心,因此必须先安全存储在本地,稍后再进行处理。在这种情况下,数据丢失可能会给制作公司带来巨大的财务损失。

全磁盘加密允许用户确信其数据在磁盘或节点丢失时不会暴露。通过 CephX 对所有不同的存储协议进行强大的客户端授权意味着只有经过批准的各方才能访问存储在集群上的数据。

简化的边缘存储

边缘存储系统必须提供简化且轻松的部署体验,并将持续维护开销降至最低。这是因为这些系统可能位于可能没有可用存储专家的远程或离线位置。标准的 Ceph 集群难以在边缘部署和操作,但 MicroCeph 可以解决这种复杂性难题。

我们重新设计了 MicroCeph,可以为非专家人群提供可靠和弹性的存储解决方案,无论他们选择将其部署在何处。它是一种高度可扩展的基于快照的解决方案,仅在三个节点上运行即可提供冗余和高可用性,但也可以进行扩展以满足多个 PB 级的需求。MicroCeph 与其所有依赖项一起进行容器化,并在底层主机上完全沙盒化运行,以最大限度地降低安全风险。软件更新过程轻松且无干扰,能够满足正在运行的 Ceph 集群的操作需求。

MicroCeph 支持所有的数据访问协议——块、文件和对象,并且可以结合全磁盘加密进行部署,因此无需担心硬件丢失。

让所有人轻松使用 Ceph

试试 MicroCeph 吧。只需要少数命令和几分钟时间,即可启动并运行一个功能性的 Ceph 集群。首先,使用以下命令安装 MicroCeph 快照,创建具有 3 个基于环回的 OSD 的单节点 Ceph 集群。不建议在生产环境中使用这种配置,但可以对 MicroCeph 轻松上手。

sudo snap install microceph --channel quincy/edge

然后从第一个节点启动集群:

sudo microceph cluster bootstrap

接着,添加一些将用作 OSD 的磁盘:

sudo microceph disk add loop,4G,3

验证集群状态:

microceph.ceph status
microceph.ceph osd status

了解更多

请前往 snapcraft 页面了解关于 MicroCeph 的更多信息。

更多资源


查看更多内容

全新工具 Workshop 上线:一条命令即可在 Ubuntu 中启动沙箱开发环境

开发者如今可在智能体 AI 等前沿工作流程中,获得环境统一、可复现的开发体验 Canonical 正式发布 Workshop,该解决方案可通过单条命令快速启动开发环境。只需配置一次,此开发环境即可在多台设备上复现使用。这意味着各类开发设备与部署流水线可保持统一工作流程,并可大幅减少管理依赖关系所花费的时间。...

Canonical 技术案例 – 彻底解决 12 年老旧代码中的 Linux 性能漏洞

部分支持案例处理起来十分简单。另一些案例则要深入老旧遗留代码,一处逻辑缺陷就能悄无声息让常规指令引发严重性能故障。本系列将介绍 Canonical 技术支持与持续工程团队如何协作,排查、修复并向上游提交仅靠常规故障排查无法解决的疑难问题。在第二篇帖子中,libnss-db 中一处存在 12 年之久的漏洞导致 getent...

借助全新 NVIDIA OpenShell Snap,在 Ubuntu 上安全管控 AI 智能体工作流

NVIDIA 发布经过验证的 OpenShell Snap 软件包,用于在 Ubuntu 上安全管控 AI 智能体工作流 Canonical 在 COMPUTEX 宣布与 NVIDIA 达成全新合作,将面向智能体的 NVIDIA OpenShell 运行时直接集成至 Ubuntu 生态系统。Canonical 将 OpenShell 封装为 Snap...

使用 MAAS 部署 VMware 虚拟机管理程序

多数现代数据中心本身均为异构架构。VMware 环境常与容器平台、数据库及其他裸机业务负载共存,多年运行于同一套硬件之上。服务器一次性采购,但会随业务需求变化调整承载业务。 然而,ESXi(VMware 虚拟机管理程序)的配置通常由独立流程负责。主机通过 VMware 工具、自定义脚本或专为将部署 ESXi...