【51CTO.com原创稿件】海量数据的爆炸式增长，使存储技术近五年的发展速度远超过去n年的发展历程。C端用户一个明显的感觉就是：U盘存储容量从过去物以稀为贵的几十M迅速发展到今天几十G、甚至TB级，家用电脑硬盘容量更是TB级标配。
那么，企业级又迎来了怎样的变化?
IDC数据显示，到2020年，企业数据总体将达到44ZB，其中80%的数据将会是非结构化数据(图片、视频、归档以及企业级备份等各种数据)。显然，海量数据的产生正在促使企业级存储从需求到产品形态都发生了改变。
“相对于NAS、SAN这种传统企业级存储解决方案，对象存储确实处于一个蓝海市场，它的竞争不那么激烈，而需求的潜力却非常巨大。”一位企业级存储市场人士表示。
存储作为企业数据留存的核心介质，数据的爆发式增长首当其冲会给存储带来巨大的挑战。说到对象存储，对大多数传统企业IT管理者而言依旧是个新名词。
它专为解决非结构化数据而来
众所周知，当前传统企业在存储方面惯常采用三类方式：一是DAS直连存储，类似小柜子一样，通过一根不长的线接到客户端，这类存储容量很有限，使用场景也非常少;二是NAS(网络接入存储)，它是以NFS协议，将存储暴露给客户端挂载使用;三是SAN(存储区域网络)，它暴露的是块存储，将所谓的硬盘暴露给客户端。
“所有传统企业存储都有一个共同的特征——就是只能垂直扩展。比如一个EMC的存储柜容量不够，只能另买一个存储柜，它在管理、成本以及容量和性能方面都存在一定的问题。这里的成本分为三部分，一是采购成本，存储柜很贵;二是人力成本，需要专业的存储工程师管理存储柜;三是管理成本，如果企业又买了一个存储柜，这两个柜子之间是孤立的。对企业而言，数据怎么分布在这两个存储柜，如果这两个柜子容量用满之后，再加一个新柜子怎么办?这都会带来管理上的成本。从性能方面看，首先只能垂直扩展，性能只能局限于这个柜子之上。从NAS文件存储的角度来讲，它的性能问题会体现得更为明显。比如企业现在有海量文件要存储，它的劣势就会表现出来，因为存储的文件越多，NAS文件存储的性能会越差。”青云QingStor对象存储研发总监杨锦涛说，“为了解决这个问题，整个企业级存储市场正在从‘垂直扩展’向‘水平扩展’发展。”
如杨锦涛所言，整个企业级存储市场的这种潜在的需求变化自然推动了存储产品出现了新的变化。“业界关于新一代企业级存储出现了很多名词，比如软件定义存储、分布式存储、水平扩展式存储等，它们所表达的意思其实是一样的，就是在相对比较廉价的X86服务器之上通过软件进行管理。”
杨锦涛解释说，虽然新一代存储产品在向水平扩展演进，但它的类别还是跟以前一样，有块存储、文件存储，以及对象存储。而这三类存储适应的场景各有不同，其中分布式块存储适用场景相对比较特定，如Oracle数据库，需要挂高性能硬盘做数据库存储;此外，最适合存储非结构化数据的，即图片、视频等类型数据的是分布式文件存储和对象存储。“对象存储过去在传统企业存储里是没有的，它就是为了解决海量非结构化存储而出现的。”
前文IDC数据显示，三年后全球44ZB的数据总量中80%都将是非结构化数据，可以预见对象存储将迎来新的蓝海。显然，IDC也预计，到2021年，整个文件存储和对象存储的数据容量可达到400EB左右，其中对象存储会到达350EB左右，占据总数的75%。
萌芽自1998年的对象存储，在经历了近二十年的缓慢验证后，终于在未来2～5年内迎来一个崭新的春天——逐渐被企业所广泛采用。
接下来，传统企业要怎么用?
对象存储既符合企业级存储向水平扩展的需求演进，又是来解决企业当前最关心的“海量非结构化数据”存储难题的，对传统企业而言，这种新鲜又陌生的东西到底怎么用?是只能用在公有云企业?对部署私有云、混合云的传统企业是否也适用?在私有云、混合云大行其道的传统企业中类似的疑虑不在少数。杨锦涛以保险行业的一个实例给予了解答。
这是一家已部署私有云的国内数一数二的保险公司。他们想要构建一个统一的非结构化数据的数据池或数据湖。以往，这家公司位于全国的各分公司每天都会产生各种数据，这些分散的数据带来的显著问题是：首先，不利于管理;其次，硬件及存储相关的软件成本也不好控制;更重要的是，公司决策层希望企业的IT部门能够从一个支出部门变成一个盈收部门，因此要把所有数据集中起来进行分配、管理，让控制权回到IT部门。“之所以会这么考虑，要做统一的数据管理，是因为认识到了数据的价值。尤其在传统行业里，过去数据仅仅只是数据，并没有被再利用起来。随着大数据发展，大家都意识到数据的价值，因此需要先把数据集中存储，再进行分析。”杨锦涛说。
具体这家保险公司采用的做法是：一是从公有云到私有云的数据迁移。以前在公有云上存储了很多与业务相关的数据，比如语音录音，从2005年至今的数据将近600TB的规模;二是从传统NAS到存储网关(对接到QingStor对象存储)的数据迁移。主要是将以前使用传统NAS的应用场景转移到对象存储上来。为什么他们不再继续使用NAS?“他们之前的保单数据存储在一台台独立的传统NAS设备上，然而NAS存在数据安全性隐患，于是迁移至对象存储。除了保单数据，还包括邮件归档、OA系统后端的存储、备份和日志等，全部通过存储网关对接到QingStor对象存储。”三是FTP。之前企业是通过FTP分享内部的各种资源。然而FTP管理非常麻烦，其次数据不一定能流转，所以想要做企业网盘;四是邮件归档的搜索。企业产生大量的邮件都需要按照时间去归档，并进行进一步的搜索。搜索需要建立索引，就会用到Elasticsearch，是专门用来搜索的平台。如何对接?通过事件驱动的框架。
最终这家保险公司采用的完整方案是QingStor对象存储、存储网关、企业网盘，Hadoop/Spark用于大数据分析，Elasticsearch用于邮件归档的搜索。还有一个很重要的应用场景是双录视频。基于国家政策，保险业务员在办理保险时，需要录视频，而且这些视频需要长期保留，便于查询和取证。
不同的企业应用场景对IT的需求差异显著。这也是传统企业市场IT普遍比较难做的一个主要因素。新一类存储产品的进入亦如是。好在厂商们根据企业切身需求，能够不断去摸索和优化，进而迅速推动先进的技术和理念及早与市场接轨。
揭开QingStor对象存储产品化内幕
提到传统企业市场是对象存储的蓝海，不能不说青云的QingStor。在国内云计算市场厮杀惨烈的格局中，青云在私有云市场的话语权在业界是有口皆碑的。因此，在摸准传统企业需求方面，青云具有先天优势。这也是QingStor对象存储正式商用两年多时间就能够比较快速切入公有云、私有云企业市场的一个重要因素。而杨锦涛也毫不避讳地自揭了构建QingStor对象存储产品体系的一些内幕：
第一个维度是接口层(协议层)。首先，要兼容AWS S3的API。AWS S3虽然不是最早的，但它在公有云领域是一家被广泛采用的对象存储厂商，它的API已成为事实上的业界标准;
第二个维度是支持多种协议，包括NFS、FTP、HDFS。几乎每家存储厂商最开始都会从心里上抗拒这个做法，对我们自己来说也是如此。为此，我们不得不在对象存储之上做很多事情。为了支持NFS协议，我们需要做存储网关;为了支持FTP，我们需要单独开发一个FTP Server，让它的后端对接对象存储;为了支持HDFS，我们甚至要在大数据上做很多工作。当了解用户的各种场景后，你会发现这些是必须去妥协的事情。比如NFS，客户有很多业务场景无法切换到对象存储的API，出于风险或成本等因素的考虑，他们没办法改应用;
第三个维度是从交付模式来讲。公有云是不是唯一模式?答案不是。对很多企业而言，数据的私密性和安全性非常重要，比如银行、保险，他们的保单、双录视频等数据是不会放到公有云上的，而且他们更倾向于在自己的数据中心里构建一个数据池，进行统一管理，以及后续的分析和利用。因此，对象存储的交付模式有很多种，如公有云、私有云、混合云。对于对象存储厂商来讲，要在管理软件端进行变化，需要同时管理公有云、私有云、混合云的模式，即能够实现多种交付模式的统一管理;
第四个维度是产品体系化。以我们自己为例，最开始只有对象存储，我们认为对象存储API的使用方式非常简单，就提供了各样语言的SDK。结果发现这不够，我们还需要支持存储网关、FTP、大数据，甚至我们要做企业网盘。在做企业网盘这件事情上，我们经过很长时间的思考，最关键的问题是到底要不要做。后来发现企业网盘对企业来说是一个刚需，很多企业没有意识到对象存储的时候，就意识到了企业网盘，它便于企业流程和文档管理。对于存储厂商来说，做产品体系化非常重要，因为你的产品需要和用户的各种应用场景相结合，能够提供各种各样的解决方案;
第五个维度从架构层面来讲。我认为有两个比较重要的趋势：一是事件驱动的框架。它本身和对象存储是没有关系的，那它为什么会是对象存储的重要组件呢?因为用户的数据需要进一步处理，比如一张图片，他想对图片进行裁剪、缩放、加水印，同时希望整个过程是自动的，这就需要事件驱动的框架，它可以接驳各种各样的数据处理服务，甚至用户自己开发的处理应用，也可以接入进来。主流的公有云厂商都提供事件驱动的框架，但是将它包装在对象存储产品里，以私有云的形式交付，青云是第一家。事件驱动的框架不仅仅会让对象存储变成一个存储平台，还会变成一个数据平台，接驳各种各样的数据处理服务、分析服务等;二是从架构层面来讲，和大数据平台的集成或者接驳非常重要。在公有云形态上，大数据和对象存储的关系非常紧密，大数据是对象存储所存储数据的主要来源。但在私有云上还是缺失的状态，对象存储应在私有云上加深与大数据的集成关系;
第六个维度是与数据相关的SaaS服务。比如用户希望分析对象存储本身的使用情况，帮助他做整个IT设施的规划和构建，这就属于与数据相关的SaaS服务;
第七个维度是企业级存储软件生态与合作的建立。企业级存储生态里不只是块存储、文件存储、对象存储，还有很多其它的，比如DR、灾备、传统备份软件等。在整个生态里，有专门做储存备份和灾备的厂商，我们应该和他们进行合作，去做产品集成。
对象存储的诞生其实可以追溯到更早些时候，但时至今日它才迎来了市场的青睐。这场“化蝶”究竟会持续多久，让我们拭目以待!(完)
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
