“大数据”或成重要投资主线

　　由于数据产生成本急速下降，人类产生的数据量正在呈指数级增长，而大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长，数据的结构正在日趋复杂。全球在2010年正式进入ZB时代，根据IDC监测，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。换句话说，我们正处于大数据时代的边缘。

　　大数据时代的超大数据体量和超过80%比例非结构化数据的存在，已经超越了传统数据库的管理能力，大数据技术将是IT领域新一代的技术与架构，它将帮助人们从大体量、高复杂的数据中提取价值。我们有理由相信未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将有可能给IT行业开拓一个新的黄金时代。

　　近年关于大数据主题的并购数量和规模正在逐步上升，IDC预测，2012年可能会是充满由大数据引发的合并及收购活动的一年。我们预计“大数据”将会是2012年A股一条重要的投资主线。

　　什么是大数据

　　“大数据”首先是一个现象而不是一种技术。个人认为想要理解“大数据”这个概念，首先要从“大”入手，“大”首先是指数据体量(volumes)大，指代大型数据集，一般在10TB 规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量;其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。

　　简而言之，“大数据”就是一个体量特别大，数据类别特别大的数据集。也就是说“大数据”本身并不是一种新的技术，也不是一种新的产品，而是我们这个时代出现的一种现象。而这个“大”大到了一种什么样的程度呢?可以说他即将突破现有常规软件所能提供的能力极限。

　　综上所述，我们觉得使用麦肯锡的定义可能会更为简洁明了：“大数据”是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。

　　大数据时代为何会到来

　　为何大数据时代会到来?“大数据摩尔定律”(全球数据量大约每两年翻一番)为什么会成立?首先，数据产生的成本下降推动了数据体量(volumes)的膨胀。对大企业而言，大数据的兴起，部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行更多任务处理;其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据;另外，就是把计算机聚合成服务器集群越来越简单。IDC的数据库管理分析师Carl Olofson认为，这三大因素的结合便催生了大数据。

　　根据IDC估计，由于计算机技术进步的持续推动，2011年企业创造、采集、管理和储存信息的成本已经下降到2005年的1/6，而同期企业关于数据的总投资自2005年以来却反而上升了50%。根据IDC判断，数据产生成本是符合反摩尔定律的，即数据产生成本大概每两年下降一半。而这一趋势，最起码会持续到2015年。数据产生成本的下降和增加的投资规模，最终导致了全球数据增速符合“大数据摩尔定律”，与之相匹配的现象即是全球数据存储能力增长显著。

　　同时，新的数据源增加了数据类型(variety)的种类。如果说数据成本的下降只是助推了数据量的增长，那么新的数据源和数据采集技术的出现则大大增加了未来数据的类型，数据类型的增加直接导致现有数据空间维度增加，极大地增加了未来大数据的复杂度。

　　大数据技术与架构

　　根据IDC预测，到2020年，全球需要管理的数据量将达到35ZB，相比2011年将增长50倍，而同期IT从业人员将仅增加1.5倍，这意味着人均管理数据量将膨胀近33倍。虽然目前看来，人力资源的配给与现有的数据库管理技术基本是足够的。但是，未来如果人类管理数据的效率不能保持同步提升，人类在大数据时代将无法对数据进行有效管理。

　　因为大数据给我们带来了很多现实中的难题，为了解决这些难题我们需要新的技术变革，需要新一代的数据库技术，我们暂且称之为大数据技术。

　　与大数据定义上的模糊暧昧不同，IDC 在定义大数据技术时倒是比较清晰干脆：大数据技术将被设计用于在成本可承受(economically)的条件下，通过非常快速(velocity)的采集、发现和分析，从大量化(volumes)、多类别(variety)的数据中提取价值(value)，将是IT领域新一代的技术与架构。

　　从IDC的定义中我们可以看到，大数据技术应该满足以下4个条件(velocity快速，volumes大体量，variety多类别，economically成本可接受)，且其目的是为了从数据中提取价值(value)。

　　简单一点讲，大数据技术其实是一系列技术的集合，大致可以分为负责数据存储与管理的下一代数据库技术，负责数据搜素、处理的下一代搜索引擎，以及基于该搜索引擎的下一代数据分析产品。在眼下，大数据技术领域讨论最热烈的应该是NoSQL 和Hadoop，很多人往往会把大数据技术和NoSQL、Hadoop之间画上等号，其实大数据技术本身并不全等于NoSQL和Hadoop。

　　NoSQL指的是非关系型数据库，是一个用来处理半结构化和非结构化信息的数据平台，你可以把他简单理解为下一代数据库技术。Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，你可以把他简单理解为下一代搜索引擎。

　　目前各个厂商推出的大数据分析产品，基本都是以Apache Hadoop为内核，负责为客户提炼价值的终端软件产品，你可以把他简单理解为下一代数据分析产品(或者也可以称为下一代BI技术)。

　　就目前来看，大数据技术最起码汇集Hadoop、NoSQL、数据分析与挖掘、数据仓库、商业智能以及开源云计算架构等诸多热点子话题。在可预见的将来，大数据这一领域将会不断有新技术推出，在未来1-2年内，预计会不断涌现能处理大型非结构化数据的技术。

　　综合来看，大数据技术目前还是一个很新的概念，目前所有应用软件企业可以说都处于同一起跑线上，我们认为大数据时代的来临为诸多转型企业提供了一个难得的弯道超车机会，如果能够基于Hadoop成功开发出一款高质量数据分析产品，将在大数据时代迅速抢得先机，强烈建议关注拥有核心软件技术开发能力，具备较强转型意愿企业的投资机会。

　　依靠对客户需求的了解与本地化服务的优势，我们认为大数据时代国内企业的投资机会将主要集中在应用软件层和信息服务层。综合考虑公司未来成长的确定性与目前的估值水平，我们重点推荐从事IT基础设施服务的天玑科技，从事IT咨询与方案实施的汉得信息，从事电力行业信息化解决方案的远光软件。