中国云存储深入调查(一)：市场概述篇

    ●中国云存储市场动态

    中国目前企业的CIO/CTO对公有云还是存怀疑态度，目前，大约有70%的企业不愿意将企业内的数据放在公有云上，主要是从安全性的角度考虑，但是，数据对于企业业务投入越来越大，会迫使企业特别是对数据安全性非常高的金融业也逐步走向公有云。

    国内的企业观念更习惯于花钱购买硬件产品而非服务，作为存储需求最大的政府、电信、金融三个行业，在中国都建有自己的数据中心。

    在中小企业市场，目前90%的中小企业在存储采购只有10%的水平，因此，采购云存储能力非常低。

    云存储的安全性，需要从法律上对云存储的安全性，可靠性进行约束，需要出现第三方机构帮助企业来对云存储进行审计，

    同时，中国相对落后的网络建设制约着云存储的发展。

    ●中国云存储的市场驱动力

    1.网络宽带

    云存储系统将是多区域分布，遍布全球的庞大系统，目前使用者多数是通过ADSL、DDN等宽带接入设备来连接云存储，因此，云存储使用者需要使用宽带网络与存储系统进行连接，只有宽带网络得到充足的发展，使用者才能获得足够大的数据传输带宽，实现大容量数据传输，享受到云存储带来的便利。

    2.WEB 2.0技术

    通过WEB2.0技术可以使使用者的应用方式和可得到的服务更加灵活和多样化，目前云存储使用者只能通过WEB2.0技术，将PC、手机、移动终端等多种设备，实现数据、文档、图片、音频、视频等内容的集中存储和资料共享。

    3.应用存储

    应用存储时一种在存储设备中集成了应用软件功能的存储设备，其不但具有数据存储功能，还包括了部分应用软件的功能，就如同数据中心中包含程序应用服务器与数据库服务器，应用存储与云存储结合，可以减少云存储中服务器的树林，降低企业系统建设成本，较少系统中由于服务器造成的单点故障和性能瓶颈，提高系统性能和效率。

    4.集群技术、分布式文件系统和网络计算技术的发展

    云存储系统是由多个存储设备、多应用、多服务协同工作的集合体，需要通过集群技术、分布式文件系统和网络计算等技术，实现各个存储设备之间的协同工作，。

    5.网络存储安全技术的发展

    由于云存储的数据传输时通过普通的宽带进行传输，因此，必须保证数据传输的安全性，云存储可以通过CDN内容发布系统、数据加密技术保证云存储中的护具不会被未授权的用户所访问，同时，各个数据备份和容灾技术保证云存储中的数据不会丢失，从而保证云存储自身的安全和稳定。

    6.存储管理技术的发展

    云存储涉及多地域、多厂商、多硬件设备之间的传输管理，因此，存储虚拟化管理和多链路冗余管理尤为重要，这同样会和网络一样形成存储系统的性能瓶颈，同样，也会带来结构的不统一。

    由于云存储中存储设备众多，分布地域广造对存储设备运营管理商来说是个难题，必须解决集中管理、状态监控、故障维护、人力成本高等问题。

    ●中国云存储市场面临的挑战

    1.数据中心建设

    数据中心的建设需要大量的投入，中国国内的企业很少有这么大的实力，而如果国内企业来承建云存储，则需临着非常大的资金压力。若政府进行部署，那么诸多法律法规可能会限制其部署。

    2.国内云存储的用户

    国内已经建立了部分云计算中心，但大部分客户都是政府或者大型企业，以满足用户的计算需求，客户群比较局限，盈利能力较弱。同样，建立云存储服务，在国内用户没有达到一定数量的情况下，如何维持一个云存储数据中心是个非常大的难题。

华为企业内部的数据中心（图片源自互联网）

    3.可靠性

    目前，云存储服务的的可靠性还无法达到企业级的阵列要求。

    4.大型企业方面

    大型企业已经有自己的IT设施，是否愿意舍弃原先的IT设施，对企业的信息化系统，存储系统进行重新布置，需要的投入非常巨大。

    ●云存储未来发展趋势

    云存储已经成为未来存储发展的一种趋势，目前，云存储厂商正在将各类搜索、应用技术和云存储相结合，以便能够向企业提供一系列的数据服务，但是，未来云存储的发展趋势，主要还是要从安全性、便携性及数据访问等角度进行发展。

　　安全性。从云计算诞生，安全性一直是企业实施云计算首要考虑的问题之一，同样，在云存储方面，安全仍是首页考虑的问题，对于想要进行云存储的客户来说，安全性通常是首要的商业考虑和技术考虑。但是许多用户对云存储的安全要求甚至高于它们自己的架构所能提供的安全水平。既便如此，面对如此高的不现实的安全要求，许多大型的可信赖的云存储厂商也在努力满足它们的要求，构建比多数企业数据中心安全得多的数据中心，并通过可与NSA(美国国家安全局)媲美的加密层和保护层来保护存储中的数据。如今，用户通常发现云存储具有更少的安全漏洞，而且云存储所提供的安全性水平要比用户自己的数据中心所能提供的安全水平还要高。

　　便携性。一些用户在考虑托管存储的时候还要考虑数据的便携性。一般情况下这是有保证的，一些大型服务提供商所提供的解决方案承诺其数据便携性可媲美最好的传统本地存储。有的云存储结合了强大的便携功能，可以将整个数据集传送到你所选择的任何媒介，甚至是专门的存储设备。

　　性能和可用性。过去的一些托管存储和远程存储总是存在着延迟时间过长的问题。同样地，互联网本身的特性就严重威胁服务的可用性。最新一代云存储有突破性的成就，体现在客户端或本地设备高速缓存，将最经常使用的数据保持在本地，从而有效地缓解互联网延迟问题。通过本地高速缓存，即使面临最严重的网络中断，这些设备也可以缓解延迟性问题。这些设备还可以让经常使用的数据看起来像本地存储那样快速反应。通过一个本地NAS网关，云存储甚至可以模仿中端NAS设备的可用性、性能和可视性，同时将数据予以远程保护，且这种数据保护水平只有少数企业才能做到。性能方面的另一个问题是，当数据变化率太高的时候，这些解决方案可能会消耗太多的互联网带宽，而且这可能会使你的云存储解决方案产生隐含成本。即使如此，厂商们仍将继续努力实现容量优化和WAN(广域网)优化，从而尽量减少数据传输延迟性。

　　数据访问。另一个常见的疑虑是如果执行大规模数据请求或数据恢复操作，那么云存储是否可提供足够的访问性。如同我们先前所讨论的，一些厂商可以将大量数据传输到任何类型的媒介，可将数据直接传送给企业，且其速度之快相当于复制粘贴操作。此外，一些厂商还可以提供一套组件，在完全本地化的系统上模仿云地址，让本地NAS网关设备继续正常运行而无需重新设置。如果大型厂商构建了更多的地区性设施，那么数据传输时间将更加缩短。更重要的是，即使你的本地数据发生了灾难性的损失，厂商们也可以将数据再重新传输给你。

中国云存储深入调查(二)：产品服务篇

    ●常规的云存储的结构

    云存储的概念始于Amazon提供的一项服务，同时还伴随着其云计算产品。在Amazon的S3的服务背后，它还管理着多个商品硬件设备，并捆绑着相应的软件，用于创建一个存储池。新兴的网络公司已经接受了这种产品，并提出了云存储这个术语及其相应的概念。

　　云存储是一种架构，而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看，通过添加标准硬件和共享标准网络的访问，云存储很容易扩展云容量和性能。事实证明，管理数百台服务器，使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商承担了这一重任，并通过在线出租的形式来赢利。其它供应商(如Google)雇用了大量的工程师在其防火墙内部来实施这种管理，并且定制存储节点以在其上运行应用程序。由于摩尔定律(Moore’s Law)压低了磁盘和CPU的商品价格，云存储渐渐成为了数据中心中一项具有高度突破性的技术。

　　这十年来，集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法，对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说，这些方法与他们息息相关。架构方法分为两类：一种是通过服务来架构;另一种是通过软件或硬件设备来架构。

　　传统的系统利用紧耦合对称架构，这种架构的设计旨在解决HPC(高性能计算、超级运算)问题，现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构，集中元数据和控制操作，这种架构并不非常适合高性能HPC，但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下：

　　紧耦合对称(TCS)架构：

　　构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。HPC系统所具有的优势迅速压倒了存储，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。这种解决方案很先进，需要一定程度的技术经验才能安装和使用。

　　松弛耦合非对称(LCA)架构：

　　LCA系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作，而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处，允许进行新层次的扩展：

　　存储节点可以将重点放在提供读写服务的要求上，而不需要来自网络节点的确认信息。

　　节点可以利用不同的商品硬件CPU和存储配置，而且仍然在云存储中发挥作用。

　　用户可以通过利用硬件性能或虚拟化实例来调整云存储。

　　消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要，如光纤通道或infiniband，从而进一步降低成本。

　　异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储，同时还能提供永久的数据可用性。

　　拥有集中元数据意味着，存储节点可以旋转地进行深层次应用程序归档，而且在控制节点上，元数据经常都是可用的。

   ●云存储选择

　　虽然在可扩展的NAS平台上有很多选择，但是通常来说，他们表现为一种服务、一种硬件设备或一种软件解决方案，每一种选择都有它们自身的优势和劣势（PCPOP企业频道推荐《七点建议帮助企业一起成功部署云存储》）：

云存储系统的结构模型

　　服务模式

    最普遍的情况下， 当你考虑云存储的时候，你就会想到其所提供的服务产品。这种模式很容易开始，其可扩展性几乎是瞬间的。根据定义，你拥有一份异地数据的备份。然而，带宽是有限的，因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。

　　HW模式

    这种部署位于防火墙背后，并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便，而且，如果厂商在安装/管理上做的好的话，其往往伴随有机架和堆栈模型。但是，这样你就会放弃某些摩尔定律的优势，因为你会受到硬件设备的限制。

　　SW模式

    SW模式具有HW模式所具有的优势。另外，它还具有HW所没有的价格竞争优势。然而，其安装/管理过程序要谨慎关注，因为安装某些SW的确非常困难，或者可能需要其他条件来限制人们选择HW，而选择SW。

　　伴随着大规模的数字化数据时代的到来，在这个时代里，企业使用YouTube来分发培训录像，在这里，没有必要将这些数字“资料”放的到处都是。像以上这些企业正致力于内容的创建和分布，基因组研究、医学影像等的要求会更加严格准确。LCS架构的云存储非常适合这种类型的工作负载，而且还提供了巨大的成本、性能和管理优势。

    ●主流厂商的云存储产品

　　目前，诸多厂商都已推出了云存储产品，比较有名的就是EMC的Atmos的云存储基础架构解决方案，Atmos是一种基于策略的管理系统，让服务提供了可以建立不同类别云存储的能力，比如说，其可以为非付费用户创建文件的两个副本，并存储在全球不同的地点，并为付费用户创建5～10份备份进行存储，并提供了其在全球各地访问文件的更高的可靠性和更快的访问。在软件系统中，Atmos包括数据服务，如复制、数据压缩、重复数据删除，通过廉价的标准x86服务器从而获得数百TB的硬盘存储空间。EMC承诺说其拥有自动配置新的存储空间并自适应硬件故障的能力。也允许用户使用Web服务协议进行管理和读取。目前Atmos有三个版本，系统容量分别为120TB、240TB和360TB，它们全部都基于x86服务器并支持千兆或10GbE以太网连接。

　　IBM方面

    XIV是IBM提供的新一代存储产品。它采用网格技术，极大的提高了数据的可靠性、容量的可扩展性、系统的可管理性。XIV是在传统的存储设备以上的升级。它具有海量存储设备+大容量文件系统+高吞吐量互联网数据访问接口+管理系统的设计特征。XIV由于其独特的设计，使之天生就具备海量的存储能力与强大的可扩展性，能够满足各种Web2.0应用的需求，是一个理想的实现云存储的产品。

　　“XIV产品具备IBM信息管理、保护、归档等重要职能，是IBM信息基础构架和存储关键的组成部分，也是IBM能够重新定义存储的理念的一个产品。”IBM系统与科技事业部大中华区产品部总经理侯淼说。

　　XIV结构把中端和高端存储的特点结合在一起。当用户有了新的业务，或者数据快速增长，并能够预计未来业务有高速度增长，数据类型复杂，这种情况下，XIV都是用户目前合理的选择。

　　XIV存储系统内置的虚拟化技术大幅度简化了管理及配置任务，瘦供给功能改善了IT操作，快照功能几乎可达到无限次，并可瞬间克隆数据卷，显著提升测试及访问数据库操作的速度。它的宗旨是通过消除热点与系统资源的全部占用，提供高度一致的性能。IBM?XIV存储系统能够帮助用户部署可靠、多用途、可用的信息基础结构，同时可提升存储管理、配置，以及改进的资产利用率。

　　惠普方面

    ExDS9100(StorageWorks 9100 ExtremeDataStorage)是针对文件内容的海量可扩展存储系统，该系统结合了惠普PolyServe软件、BladeSystem底盘以及刀片服务器以提高性能，还使用了被称为“块”的存储。这些块在同一个容器中包含了82个1TB的SAS驱动器。

　　ExDS9100专为简化PB级数据管理而设计，为Web2.0及数字媒体公司提供的全新商业服务，包括图片共享、流媒体、视频自选节目及社交网络，所带来大量的以文档为基础数据完全满足即时存储与管理的需要。同时可满足石油及天然气生产、安全监控及基因研究等大型企业的类似需求。

　　ExDS9100是一个统一的系统，配备以下三种主要配件：

　　Performanceblock：高能效的HPBladeSystem机箱配备刀片服务器，可满足海量高性能运行的需求。解决方案的基本配备包括四块刀片，可扩展至16块刀片配置，每个单元拥有高达12.8个核心，性能可以达到每秒3.2GB。

　　Capacityblock：基本配置提供三个高可用性的存储块，及高达246TB的存储容量。最高配置能支持达10个存储块，提供820TB的存储容量。

　　Software：该系统采用HP的文件集群技术，满足Web2.0及数码环境的严格要求。为降低系统的复杂性及成本，应用程式可直接在服务器模组上运行，删除不必要的软件层。透过单一的图像管理界面，用户能够轻松管理更多的存储产品和设备。

    EMC方面

    Atmos是一个软硬件结合套件，代号分别为Maui和Hulk。EMC云基础设施部高级副总裁Mike Feinberg表示，最初设计它的目的是帮助用户管理在几十个或几百个不同地理位置的千兆兆字节级的数据。EMC称Atmos具有自动架构、自主修复和云存储的功能，主要面向媒体和娱乐公司、电信公司和Web 2.0网站与互联网服务提供商，旨在帮助它们建立外部云存储服务或是在内部建立基于云存储概念的内部存储云，存储容量可以扩展到PB级，支持数十亿的文件和对象，并提供在全球各地访问的能力。

　　EMC为Atmos提供了三个不同的配置，全部都基于x86服务器并支持千兆或10Gb以太网，容量分别为120TB、240TB和360TB，Martin表示“我们在一个3U的机架中运行15个1TB的驱动器，你可以拆卸任何部分。”EMC公司云基础设施部门的产品管理总监Jon Martin表示Atmos与现有的存储系统软件“根本上不同的”，其大多数的管理和核心功能都内建在存储系统之中。

　　Atmos主要提供了一种云存储服务，在不同地点分别存储文件副本，比如它可以免费为用户创建文件的两个副本，并存储在全球不同的数据中心，为付费用户提供5至10个备份，以便为全球各地用户提供较快的访问速度和较高的安全性稳定性。在其软件部分，Atoms包括各类数据服务，如复制、数据压缩、重复数据删除，通过廉价的标准x86服务器从而获得数百TB的硬盘存储空间。EMC表示Atoms拥有自动配置新的存储空间和自动调整硬件故障的能力，并允许用户使用Web服务协议对各类数据进行管理和读取。