爱刨根知识网

  1. 首页 > 经验知识 > >

使用NVMe-oF共享闪存存储的AIoT数据基础架构的新方法

生活经验知识分享


到2023年 ， 物联网(IoT)预计将包含近300亿个互联设备 。这些物联网设备可在网络上创建和传输大量数据 。但是数据所有者如何从传输的数据中获得情报?那就是AIoT诞生的地方 ， 即人工智能(AI)和IoT的结合 。
AIoT将智能处理功能添加到IoT设备收集的各种大型数据集中 。它使企业能够分析数据并提供见解 。如今 ， AIoT在互联用例(例如用于远程患者监控和预防医学的医疗保健)中仍然存在;在制造业中的机器人领域;在自动驾驶汽车中;在网络监控中;并在诸如C3.ai数字转化研究所的研究中努力减轻流行病并防止未来的传染病爆发 。对于需要深度筛选大量数据以执行深度学习算法的任何用例 ， AIoT是一种功能强大的工具 。它是自我学习 ， 自我监控和自我修复 。AIoT使预测决策具有很高的预测精度 ， 远远超过了人类 。
AIoT面临的挑战是系统涉及具有多个阶段的复杂数据管道 。企业不仅需要处理来自物联网的数据的数量 ， 种类 ， 速度和准确性 ， 还需要在实现AI解决方案时保持模型质量 ， 数据访问延迟 ， 吞吐量和数据缓存功能 。如果优化了计算系统以快速处理数据 ， 那么除非建立正确的计算 ， 存储和内存组合 ， 否则将数据导入这些系统可能会成为瓶颈 。
存储是关键基础 ， 需要解决AIoT数据管道的所有阶段 ， 从摄取到数据准备再到模型训练和推理 ， 并仔细考虑TCO ， 性能和功耗要求 。它还需要满足AI工作负载不断变化的需求 。企业正在转向NVMe闪存来满足AI所需的高吞吐量和低延迟 ， 但是让我们通过基于结构的NVMe(NVMe-oF)进一步迈出一步
【使用NVMe-oF共享闪存存储的AIoT数据基础架构的新方法】一种新方法–共享存储
一种新方法是将可组合的分解基础架构(CDI)与NVMe闪存 ， GPU池和大容量存储系统结合使用 ， 以在动态的 ， 软件定义的应用程序环境中实现快速响应时间和AI的扩展需求 。
CDI会从物理上分解资源(计算 ， 网络 ， 存储和GPU) ， 并根据特定应用程序的需要将它们汇总在一起 。这样可以灵活 ， 独立地扩展资源 ， 以满足AI工作负载不断变化的需求 。
可组合存储将大大提高企业调配和优化其数据基础架构以满足动态应用程序需求的灵活性和灵活性 。
CDI允许在许多主机之间共享和扩展存储 ， 网络和计算资源 。与融合系统不同 ， 当数据随着服务器容量的增长而增长时 ， 它避免了后续数据进出GPU服务器本地SSD的延迟 。它可以立即访问共享闪存中经过训练的模型和数据 ， 并可以快速响应 。
选择存储解决方案时 ， 具有NVMe闪存的开放式可组合基础架构可以跨团队无缝分配共享存储池 ， 以提高效率 ， 成本和CIO关心的KPI指标 。
如何跨AIoT数据管道实施NVMe-oF共享存储
实施AI计划时 ， 重要的是设计一种存储基础架构 ， 以支持前所未有的AIoT数据量 。优化TCO和效率的一种方法是查看AI工作负载的每个阶段 ， 以确定哪种存储类型最适合每个阶段 。NVMe-oF共享存储几乎适用于AIoT工作流程的所有阶段：
接收 – 接收阶段需要具有速度和规模 ， 以维持从IoT系统传入的数据的数量和速度 。要提取到临时着陆区 ， 可以使用NVMe存储平台或大容量存储系统(基于HDD ， 对象或云存储) ， 而要提取到集中式 ， 全局可访问的容量层 ， 则可以使用大容量存储系统 。为了吸收到高性能层(无论是在本地还是在云上部署) ， 都需要NVMe闪存来进行实时分析 。
数据准备 –数据准备阶段的主要重点应该放在数据质量上 。就成本和性能而言 ， NVMe存储平台也是一个不错的选择 。或者 ， 您可以选择闪存和HDD的混合选件 ， 以提供性能和更高容量的好处 。
模型训练 -模型训练阶段对已实现的AI解决方案的模型质量 ， 数据访问延迟 ， 吞吐量和数据缓存功能敏感 。这需要低延迟 ， 面向吞吐量 ， 可扩展的高性能存储层 ， 并且NVMe-oF存储平台非常适合满足这些需求 。
推论 –推论阶段同样需要低数据访问延迟 ， 吞吐量响应时间和数据缓存功能 。当模型训练和推理阶段访问分解架构中的一个共享存储时 ， 它们在很大程度上是相互依赖的 。例如 ， 如果推理评分较差 ， 则需要对模型进行重新训练 ， 并且在模型训练结束之前 ， 无法生成推理 。因此 ， 对两者使用相同类型的共享存储池是有意义的 。
备份/还原 –在备份阶段 ， 大容量HDD ， 对象存储或云存储最适合存储和按需访问旧模型和数据 。通常需要从备份中还原旧模型以进行推理或重新训练 ， 以满足新的传入IoT数据的需求 ， 因此最好利用近线或在线备份解决方案 。
适用于AIoT的NVMe-oF可组合分解基础架构
NVMe-oF正在统一如何大规模共享 ， 组合和管理存储 ， 以满足不断变化的应用程序和工作负载的需求 。使用NVMe闪存的可组合分解基础架构允许IT即时分配存储 ， 以支持AI每个阶段的AIoT实施 。
我们将继续看到越来越多地采用可组合的分布式存储解决方案 ， 这些解决方案可以有效地在以太网结构上扩展 ， 并为各种数据中心应用程序提供NVMe设备的全部性能潜力 。可组合存储将大大提高企业配置和优化其数据基础架构的灵活性和灵活性 ， 以满足AIoT及其数据中心KPI的动态应用需求 。

    推荐阅读


    上一篇：情话语录 情话语录长句

    下一篇：此时此刻心情低落说说 心情低落说说图片