关键字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， Intelligent Tiered Storage， Elastic File System， Cost Optimization， Automatic Data Tiering， Low-Cost Storage Tiers]
导读本次会议探讨了新的Amazon FSx Intelligent-Tiering存储类如何将传统NAS功能与智能分层、完全弹性的存储相结合，从而将成本降低高达85%。了解如何减少存储规划的烦恼，使用智能数据分层，以及在不修改应用程序的情况下将NAS工作负载迁移到云端。探索各种优势和使用案例，展示如何在保持应用程序所依赖的丰富功能集的同时优化存储成本。
演讲精华以下是小编为您整理的本次演讲的精华。
在2024年亚马逊云科技 re:Invent大会上，Amazon FSx for OpenZFS产品经理Alex Bleeckley和首席软件工程师Mark Roper介绍了一种突破性的新存储类别——Amazon FSx Intelligent Tiering。这项创新性的产品解决了客户在使用大型网络附加存储(NAS)数据集时一直面临的几个挑战。
第一个挑战与数据增长的不可预测性有关，数据集可能会同时经历扩张和收缩。这种不可预测性需要进行大量的运营工作，以确保存储容量既不会耗尽也不会被低估利用，从而导致不必要的成本。此外，在数据存储需求暂时激增后缩减存储规模也被证明是一个特别具有挑战性的任务。
第二个挑战源于NAS数据集以越来越快的速度增长，这是由分析、机器学习以及最近的人工智能趋势所推动的。因此，客户越来越渴望寻求成本优化解决方案，尤其是针对那些不太频繁访问的数据。
第三个挑战围绕着对于许多客户通常在本地存储在硬盘驱动器(HDD)或混合SSD-HDD部署中的大型数据集(有时达到PB级别)，高性能全SSD存储的成本过于高昂。这一限制阻碍了客户将这些数据集迁移到基于SSD的文件系统(如FSx for OpenZFS)。
为了解决这些挑战，Amazon FSx Intelligent Tiering将NAS功能与完全弹性、智能分层和低成本存储(类似于云原生存储解决方案Amazon S3)相结合。这种创新的存储类别可以自动增长和收缩以容纳存储的数据，从而消除了容量管理的需求，并确保客户只为实际使用的存储付费。
此外，FSx Intelligent Tiering通过自动将不太频繁访问的数据移动到较低成本的层来智能优化成本。这种自动化减少了识别和手动在存储位置之间移动非活动数据所需的操作工作，从而使客户能够以更低的成本保留数据，同时在需要时仍可访问这些数据。
这个新的存储类别提供了三个不同的层级:Frequent Access(频繁访问)、Infrequent Access(不频繁访问)和Archive Instant Access(即时存档访问)。较低的两个层级Infrequent Access和Archive Instant Access针对冷数据进行了优化。数据在30天不活动后会自动移动到Infrequent Access层，在90天不活动后会移动到Archive Instant Access层。关键的是，无论数据位于哪个层级，都可以在几十毫秒内即时检索。
FSx Intelligent Tiering引入了弹性定价模型和与Amazon S3相当的超低价格。客户按每月每GB存储的数据付费，成本因数据所在的层级而有所不同。此外，客户还需为智能分层数据的监控和自动化支付少量费用，从而实现自动节省成本。
在访问数据方面，FSx Intelligent Tiering摒弃了传统的预配置IOPS模型。相反，客户按请求付费，定价与Amazon S3 Intelligent Tiering保持一致。这种方式确保客户只为实际访问的数据付费，进一步优化成本。
FSx Intelligent Tiering的定价结构与现有SSD存储类别和传统的本地HDD-based NAS部署相比，可以显著节省成本。例如，与SSD存储类别相比，FSx Intelligent Tiering可以将NAS数据集的存储成本降低高达85%;与本地HDD部署相比，可降低高达20%的成本。这种成本降低使客户能够以经济实惠的方式将他们最大的NAS数据集迁移和存储在云中。
FSx Intelligent Tiering在块层面实现，允许OpenZFS文件系统无缝地使用这种存储类别，就像使用HDD、SSD或SAN一样。这种方式保留了FSx for OpenZFS现有的所有NAS功能，如跨多个Availability Zones的高可用性、数据压缩、用户和组配额、快照和克隆。
FSx Intelligent Tiering底层的存储技术与Amazon S3相同，确保数据在至少三个Availability Zones之间的持久性。智能分层过程与S3完全相同，根据访问模式自动在存储类别之间移动数据，以优化成本，无需任何手动干预。
为了在利用Intelligent Tiering的低成本的同时提供高性能，FSx for OpenZFS采用了几种优化措施。使用Intelligent Tiering的所有文件系统都配备了内置SSD写入日志，提供亚毫秒级写入延迟，并确保数据持久性。客户还可以预配可选的SSD读取缓存，以低延迟为频繁访问的数据提供服务，满足延迟敏感或IOPS密集型工作负载的需求。
OpenZFS文件系统在将I/O请求写入低延迟SSD写入日志后就会确认，提供亚毫秒级延迟。写入聚合将多个写入操作在内存中组合后再写入Intelligent Tiering，从而提高吞吐量并降低成本。客户不是为单个文件系统I/O付费，而是为聚合的I/O付费，这些I/O可达4MB大小，包括对同一文件或不同文件的多个写入操作。
对于读取I/O，数据可以从内存缓存、SSD缓存或直接从Intelligent Tiering中提供。OpenZFS缓存算法优化了在内存或SSD缓存中保留频繁和最近读取的数据，确保了这些访问模式的高性能。此外，预取优化可检测顺序文件访问模式，并在客户端请求之前主动将数据读入缓存，确保即使对未缓存的数据也能提供高性能。
为了说明FSx Intelligent Tiering的优势，让我们考虑一个为200多个用户提供家目录的客户，存储约126TB压缩后的数据。使用预配置SSD存储类别，按照最佳实践需要180TB的文件系统来容纳数据，同时保持70%的利用率。这种方式需要持续监控和扩展文件系统，以应对数据集的增长。
相比之下，使用FSx Intelligent Tiering，文件系统会自动扩展和缩减，客户只需为存储的数据付费。为了提供对频繁访问数据的低延迟访问，客户可以预配25TB的可选SSD读取缓存，覆盖任何给定时间用户频繁访问的数据量。
无论是SSD文件系统还是FSx Intelligent Tiering，都支持高达10GB/秒的吞吐量，具体取决于预配置的文件服务器性能级别。SSD文件系统提供约1毫秒的P50写入延迟，而由于Intelligent Tiering包含SSD写入日志，也可实现亚毫秒级的P50写入延迟。
对于读取延迟，SSD文件系统提供约1毫秒的P50延迟。使用FSx Intelligent Tiering和SSD读取缓存，对于倾向于缓存友好的家目录工作负载，也可实现亚毫秒级的P50读取延迟。唯一的区别是，对于不常访问的数据，会出现几十毫秒的较长尾部延迟。
总的来说，SSD文件系统和配备SSD读取缓存的FSx Intelligent Tiering的性能特征非常相似。然而，在这个示例中，即使包括了SSD缓存和请求成本，与预配置全SSD存储相比，FSx Intelligent Tiering仍可节省81%的成本。这种显著的成本降低使客户能够将他们最经过成本优化的本地HDD-based数据集迁移到FSx for OpenZFS，而之前这是由于成本高昂而无法实现的。
总之，Amazon FSx Intelligent Tiering为Amazon FSx for OpenZFS引入了一种全新的、完全弹性的文件存储类别。它将NAS功能与云原生存储解决方案的优势(如弹性、智能分层和低成本)相结合。通过利用Amazon S3的底层存储技术并实现性能优化，FSx Intelligent Tiering使客户能够以经济实惠的方式将大型NAS数据集迁移和存储在云中，同时保持高性能和NAS功能。
下面是一些演讲现场的精彩瞬间：
FSx 智能分层为从本地迁移到云端的大型网络附加存储数据集提供了经济高效的智能分层存储，同时保留了 NAS 功能。
Amazon FSx 在云端提供全托管的网络附加存储，允许无缝迁移数据集和应用程序到 亚马逊云科技，无需重新架构或重新设计工作流程。
客户利用 FSx for OpenZFS 的 NAS 功能、高性能以及快照和克隆等数据管理特性来支持其数据库工作负载，实现高效的数据访问和隔离。
对于高度活跃的数据集和频繁的数据访问，Amazon FSx for OpenZFS 提供了经济高效的存储和请求处理，并通过透明数据压缩进一步优化。
智能分层通过将不常访问的数据存档到最冷层来自动优化数据存储成本，同时保持整个数据集可供无缝访问。
Amazon EFS 现在提供可选的 SSD 读取缓存，用于低延迟读取频繁访问的数据，通过智能数据分层提供高性能和成本节约。
演讲者解释了预取优化如何从缓存中为文件读取请求提供服务，即使数据尚未缓存，从而提高性能，同时将较冷数据保留在 FSx 智能分层中以获得成本效益。
在这个数据增长难以预测且成本优化至关重要的世界中，亚马逊 FSx Intelligent Tiering应运而生，成为一股颠覆性力量。这种创新的存储类别为亚马逊 FSx for OpenZFS 无缝融合了网络附加存储的功能与云原生存储解决方案的弹性、智能分层和低成本。
凭借Intelligent Tiering，您的文件系统能够自动扩展和缩减，无需手动管理存储容量。借助与亚马逊 S3 相同的技术，它能够智能地将不常访问的数据移至低成本层，与 SSD 存储相比可节省高达 85% 的存储成本，与本地 HDD 部署相比可节省高达 20% 的成本。这种开创性的解决方案使您能够以经济实惠的方式将最大的本地 NAS 数据集迁移至云端。
基于强大的 OpenZFS 文件系统，FSx Intelligent Tiering提供高性能，延迟低于毫秒级，写入 IOPS 高达数十万，并与亚马逊云科技服务无缝集成。创新优化措施如 SSD 写入日志、读取缓存和智能预取，确保您经常访问的数据来自高性能层，而不常访问的数据则驻留在经过成本优化的层。
有了 FSx Intelligent Tiering，您现在可以拥抱云端的敏捷性，受益于全程托管的文件存储，并实现显著的成本节省 - 同时保留您的应用程序和用户所依赖的 NAS 功能。今天就拥抱文件存储的未来，释放智能数据管理的力量。
亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。
