首页 > IT业界 > 正文

要容量,也要性能!如何满足生成式AI提出的存储挑战?

2024-05-21 09:49:53  来源:

摘要:西部数据要做的就是通过更多创新来满足这些多样化的需求,不断创新以发展未来的存储技术
关键词: 西部数据
过去这两年,AI技术走在了发展的快车道上,不断刷新能力边界,但这也对数据存储设施提出了新的需求。

生成式AI模型训练需要多种形式的数据,这对存储容量、性能以及成本管理都提出了很高要求。同时,AI大模型自身还会产生越来越多的数据。Gartner预测,2025年生成式AI产生的数据将占所有生成数据的10%,目前还不到1%。

于是,数据的存储、管理和价值挖掘将成为企业的战略性考量。如何帮助企业构建满足AI应用多样化工作负载,且更具有成本效益、可扩展性和可持续性的数据基础架构,对存储厂商自身的行业积累、技术优势、市场洞察和产品创新等具有较高要求。

2024年,如果考虑更大容量和有成本优势的存储,磁盘仍是当仁不让的首选方案,如果要考虑性能方面的需求,闪存存储也是不二选择。

作为全球范围内的大型存储供应商,西部数据不断推出创新的存储产品和技术,可以帮助企业用户解决AI提出的数据存储难题。2024年,企业在面对生成式AI带来的存储挑战时,不妨了解一下西部数据推出三个硬盘技术产品。

第一个,已经提升到了24TB的传统CMR盘

2023年,西部数据正式批量出货24TB CMR HDD——Ultrastar DC HC580,西部数据认为,HC580可以为企业级数据中心提供更的高存储密度,还有更好的能效表现。

\
24TB Ultrastar DC HC580 CMR HDD

HC580采用了OptiNAND 技术及其他容量增强功能,在 10 碟片的CMR盘上,实现了更高效的存储,使数据中心能够在有限空间内容纳更多数据。

大容量的加持下,HC580可以在4U 102盘位的平台中提供每个U 单位612TB的原始存储容量,实现更高的存储密度。

与西部数据此前发布的22TB HDD产品相比,新款24TB CMR HDD的能效更高,其每TB 的能耗减少了约12%。不仅能降低成本,还有助于企业的ESG目标。

然而,这还不是容量最大的,如果要想容量更大,进一步提升单盘容量,业内都把目光锁定在了SMR盘上。

第二个,28TB更大容量的SMR盘。

2023年,西部数据还发布了单盘容量高达28TB的磁盘,这就是Ultrastar DC HC680,它最大容量来到了28TB,存储密度又有进一步提升。

\
28TB Ultrastar™ DC HC680 SMR HDD

HC680是一块SMR硬盘,它也同样采用了OptiNAND技术、能量辅助磁记录 (ePMR)、三阶寻轨定位系统 (TSA)、氦气封装(HelioSeal)等容量增强技术。

HC680同样采用的是单盘10个碟片的设计,容量最终来到了28TB。惊人的28TB容量,意味着存储密度、每TB能耗以及每TB成本得到进一步的优化。

这里有必要提一下 CMR(传统磁记录)和SMR(叠瓦式磁记录)盘的主要区别。

CMR盘采用传统磁记录技术,每条数据轨道之间有间隔,不重叠。这种方式写入数据的速度更快,但存储密度相对较低。

SMR盘采用叠瓦式磁记录技术,数据轨道部分重叠,类似屋顶上的瓦片。这种方式可以在同样大小的盘片上存储更多数据。

简单来说,CMR的读写性能更高,适合读写频次多的场景,但存储容量相对会较小。而SMR是牺牲了一些性能,换来了更高的存储密度,也换来了更低的成本。

作为一块SMR的HDD盘,HC680主要的场景还是在大容量存储、在线备份、智慧视频、在线归档、云存储、合规性存储、大数据存储以及其他可能不常访问数据的应用当中。

业内人士指出,随着生成式人工智能等新兴应用的兴起,对大容量、低功耗和高可靠性存储的需求将进一步激增。所以,HC680将在高密度、绿色数据场景中发挥更大价值。

第三个,高性能闪存固态盘。

除了HC580和HC680 HDD盘以外,西部数据也推出了新的企业级固态盘——Ultrastar DC SN655 NVMe SSD系列。SN655以高性能、大容量为主要优势,适用于对闪存成本敏感的用户,适用于以读为主的场景需求,读性能更强一些。

\
Ultrastar DC SN655 NVMe SSD

SN655采用了自研的支持 NVMe 1.4b 的控制器,自家的BiCS5 TLC 3D NAND颗粒,还有自己研发的Firmware。SSD三大件全套都有的技术构成,在SSD市场上并不多见,它意味着可以实现性能和稳定性的极致优化。

SN655采用的是PCIe 4.0 接口,支持U.2和U.3的Form Factor。随机读取IOPS超过100万。高性能表现,有助于提高数据处理能力,在大模型训练场景中,可以减少GPU的等候时间,提高机器学习训练效率。

高性能对于机器学习的重要性体现在训练时创建Checkpoint的场景,训练经常需要持续几周甚至几个月,为了避免半路出错中断训练过程,所以,经常需要将训练的中间结果进行存档。为了更快地存储,然后从存档状态中恢复,也经常需要用到存储的高性能优势。

SN655采用了双端口冗余设计,支持故障转移功能,提供端到端数据保护,自身还具有断电保护功能,提供250万小时平均故障间隔时间和1.0 DWPD,5年有限保修。此外,SN655提供高 QoS 一致性,针对云计算和横向扩展工作负载进行了优化。

通过这些特性,SN655 NVMe SSD 在现代数据密集型应用中提供了卓越的性能和可靠性,帮助企业在机器学习领域实现更高效的数据处理。

帮助企业解决多样化的存储需求

当然,从存储到解决数据存储挑战中间还有很长的路要走。西部数据通过对客户数据应用的深入研究和沟通,凭借多年专业领域的积累,提供定制化的存储解决方案,满足企业针对新生技术应用场景基础设施部署的多样化需求。

西部数据一直以来都积极与合作伙伴在产品、技术和市场方面持续合作,与软件开发商、OEM和云服务商都做系统架构的优化合作,将最新的技术和产品交付样品给合作伙伴做联合测试,持续优化可能存在的瓶颈,最终打造出符合合作伙伴和市场需要的解决方案。

当下最火的是生成式AI,需要HDD和SSD来支撑企业提供更大的存储空间,更高的存储性能,西部数据的解决方案可以很好地满足其需求。在可见的未来,随着5G、AI大语言模型和自动驾驶等技术的发展,数据量还会显著增加。

在未来,企业级用户和云数据中心对存储解决方案的要求也越来越高。存储不仅要具备大容量、高性能,还要有低的TCO、更好的PUE表现和更好的可扩展性。西部数据要做的就是通过更多创新来满足这些多样化的需求,不断创新以发展未来的存储技术。


第三十八届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:baxuedong

免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。