华中科技大学冯丹:存储系统发展趋势
华中科技大学冯丹:存储系统发展趋势
2017-02-20 11:48:39 来源:抢沙发
2017-02-20 11:48:39 来源:
摘要:存储需求以腾讯互联网公司为例,它对存储的需求日上传图片数量达到10亿张,社交游戏的访问密度达到每秒一百万次的速度,肯定第一步就离不开闪存的支持,高性能、低功耗、低延迟都需要闪存的支持。但是另一方面容量的增长趋势非常快,每年都增长到150PB以上,完全靠闪存也不可能。
关键词:
华中科技大学
趋势
系统
冯丹
由中国计算机学会信息存储技术专业委员会、中国教育部信息存储系统重点实验室和DOIT、存储在线共同举办的2016中国闪存峰会在京召开,主题为“关键之年,让闪存绽放”,来自产业界的众多嘉宾围绕闪存技术本身将如何演变与发展,以及闪存竞争的其它存储芯片技术,存储系统将会怎样发展这些热点问题进行了精彩的分享。
华中科技大学计算机学院副院长冯丹讲述了存储系统发展趋势,以下为整理内容:
存储需求以腾讯互联网公司为例,它对存储的需求日上传图片数量达到10亿张,社交游戏的访问密度达到每秒一百万次的速度,肯定第一步就离不开闪存的支持,高性能、低功耗、低延迟都需要闪存的支持。但是另一方面容量的增长趋势非常快,每年都增长到150PB以上,完全靠闪存也不可能。存储系统的变迁由此而来,即从单机到现在以闪存为代表的SSD再加上分布式的存储系统,以对象为代表的发展趋势。
存储系统有专用的,谷歌、腾讯、Facebook自己开发的分布式的存储系统,主要的特点都是大量的存储节点通过网络互联,有原数据服务器提供给客户端进行访问。我们刚才一直在说存储期间,包括PCM、RRAM等等,这些器件的出现为存储系统的架构带来了新的机遇。
2011年全球有40多家企业和高校以及研究院所有EIOW计划,主要的观点是在构建EB级存储系统要关注闪存等新存储介质。美国劳伦斯实验室,它们以实际的应用证明这一点,数据中心传统有320个节点,利用闪存减少到了80个节点,机架数24个减少到2个。
首先是节点面向闪存的优化。闪存虽然具有高性能,低功耗特点,但它也有缺点——读写不对称。以及寿命逐渐减少的情况下,如何避免对闪存的多次擦写,还有通过快照和克隆提高其可靠性,删重来减少数据量,减少写入次数,这些都是需要优化的点。
软件也有可能成为瓶颈,最上层一直到最底层我们访问软件的路径上,因为传统的软件针对硬盘的,硬盘毫秒级的访问延迟,所以软件只占百分之零点几。访问延迟达到了微秒甚至纳秒的时候,软件占已经达到了90%以上,软件成为瓶颈。因此现在的软件设计都是针对传统介质,还有事务顺序性引起的串行化,来进一步面向闪存进行优化。
冯丹表示,“分布式的文件系统性能是随着核的增加,性能基本上是不能增加的。理想的状态应该是线性的增加,所以他们采用这样的方法,采用域的办法来并行,可以提高一定的性能。”
其次是新体系结构的变革,学界和产业界都在做一些新的探索,产业界,微软和英特尔提出了BPFS、PMFS,清华大学也在探索,用它做内存,或是跟DRAM做混合内存,很多的公司也是在探索怎么做NVDIMM。
最后是新技术的融合发展,第一种——利用FPGA做PCM和闪存控制器。闪存可以充当SSD使用,PCM充当扩展内存使用。但如果真正运行,软件需重新设计,让它能直接访问NVRAM,用户能够绕开很多软件层直接访问,达到了提高性能的目的。另一种,通过接口访问文件系统,然后调用存储, NVMFS截获密令重构以便兼容,如此层更少,性能可以更高。
第三十五届CIO班招生
国际CIO认证培训
首席数据官(CDO)认证培训
责编:冯丹
免责声明:本网站(http://www.ciotimes.com/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等)版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。