引言
我们正在见证一场运动,它将完全改变现有的商业模式和社会活动的方方面面,这场运动被称为“大数据运动”,它将改变一切,无论是银行和超市的运作方式,还是治疗癌症的方法,也包括打击恐怖主义进而保护我们的世界的策略。无论您在哪个行业从事何种工作,大数据都将在一定程度上改变您的工作方式。
一些人认为,“大数据”仅是近期被热炒的概念而已,随着时光的流逝,风靡一时的“大数据”一词会逐渐被淡化。但是,事实上,大数据根本不可能消失!虽然“大数据”这个名称有可能会消失,对大数据的宣传也可能会销声匿迹,但是大数据技术本身将会一直存在并发展下去。我们今天所说的大数据,将会在未来数年内成为一种新常态,那时所有的企业和政府机构都会使用大量的数据来提高工作效率,改进工作方法。
笔者一直在从事企业或政府组织的大数据项目。在现今社会中,分享如何使用大数据是一个不错的想法,这样可以为许多不同的行业、企业提供真正的有价值的见解。但是,大数据究竟意味着什么呢?
大数据的定义
从本质上说,大数据是指我们现在可以采取的收集和分析数据的方式。这种方式在数年前是不可能实现的。有两件事情推动着大数据运动的发展,一是我们能收集到更多的数据,二是数据的存储和分析能力都在显著提高。
海量数据的涌现
在日益数字化的世界中,我们所做的一切都留下了一定的数据,这就意味着可用数据的数量呈现爆炸式增长。在过去的两年里,我们创造的数据比之前整个人类历史上存在的数据还要多。据预测,到2020年年底,地球上平均每人将以约1.7 MB/s的速度创造新的数据。这些数据不仅来自我们每时每刻利用电子邮件、网络信使、Facebook和Twitter等交流平台互相发送的成千上万条消息和电子邮件,也来自我们每年拍摄的海量数码照片和越来越多的视频数据(目前每分钟约有300小时的视频向YouTube视频网站上传,同时在Facebook上有近300万个视频在分享)。除此之外,我们身边的各种传感器也在源源不断地产生新的数据。最新的智能手机中的传感器可以判断我们所处的位置(GPS)、运动的速度(加速度计)、周围的天气情况(晴雨表),以及我们触摸手机屏幕的力度(触摸感应器)等。到2020年年底,全球将拥有超过60亿部智能手机,它们的传感器都可以用来收集数据。不仅手机越来越智能化,现在还有许多其他的智能产品正在不断涌现,如智能电视、智能手表、智能电表、智能电水壶、智能电冰箱、智能网球拍,甚至是智能灯泡。事实上,到那时,我们将有超过500亿台互联网设备。这意味着各种类型的数据数量(从传感器数据到文本和视频数据)将增长到不可思议的水平。
分析每件事情的能力
数据本身并没有多大的意义,只有透过数据分析其背后蕴藏的信息才有价值。所以,收集和分析数据就显得非常重要。过去,受技术的限制,数据库中存储的数据容量有限,而且存储的数据越多,系统运行的速度就会变得越慢。目前,现有的新技术已突破数据容量有限这一束缚,将数据存储在分布式数据库中,然后通过网络链接来存储和分析数据库中的数据。分布式数据库的含义就是将数据存储在多个数据库中,每个数据库存储其中一部分数据。这些数据可在不同的服务器之间进行共享和分析,其中每个服务器仅负责一部分数据的分析和处理工作,从而实现分布式计算。
谷歌公司正是在它开发的分布式计算技术的帮助下,才实现了利用互联网对信息和数据进行查询搜索。现在,如果你在网上对某个问题进行查询,约有1000台计算机会同时参与这一问题的搜索,并可在0.2秒内完成解答。本书写作之时,在谷歌网页上,一天的搜索量可以达到35亿次。
对于像Hadoop这类的分布式计算工具,一般通过连接数据库和服务器,对大数据进行管理、存储和分析。从某种程度上讲,任何人都能使用大数据进行数据分析。对于那些规模较小、预算较低和信息技术支持服务有限的企业,也能从大数据技术中获益。
如今,数据分析技术取得了长足的发展,甚至在某些方面令人惊叹。数据分析算法可实现通过“观察”照片,确定照片上某个人的身份,然后在国际互联网上搜索与此人相关的其他照片。此外,这种分析算法也可以理解语音词汇,并将其翻译成书面文本,然后分析文本的内容、意义和蕴藏的情感。例如,通过“聆听”我们交谈的内容,可以判断出聊的内容是开心的事情还是不开心的事情。现在技术飞速发展,每天都会出现越来越多的高级算法,能够帮助我们更好地理解世界和预测未来。将来,如果将大数据技术与基于自主学习算法的机器学习技术和基于判断决策的人工智能技术结合起来,我们将会发现这方面的发展和机遇也绝对令人振奋。
大数据带来的机遇
在这本书中,笔者想向大家展示大数据的发展状况,介绍不同行业的公司或组织是如何在不同领域中利用大数据来获取价值的。在本书中,您会发现介绍的案例涵盖了诸多领域,包括零售商(传统实体企业及电商)如何利用大数据来预测销售趋势和消费者行为,政府如何利用大数据挫败恐怖袭击阴谋,一个小的家庭百货店或者动物园如何利用大数据来提高绩效,以及大数据在城市各个领域中的使用,包括电信业、体育产业、博彩业、时尚产业、制造业、研究领域、赛车运动、视频游戏,以及与上述领域相关的交叉融合领域。
在这令人惊叹的新型大数据世界里,本书中所列举的这些各具特色的公司既没有采取“鸵鸟政策”,也没有迷失方向,而是成功地找到了从大数据中提取具有战略价值的方法。在我以前的书《大数据:使用智能的大数据、分析方法和指标,做出更好的决策并提高产品性能》中(由Wiley出版社出版),详细地介绍了公司是如何使用大数据实现交付价值的。
笔者坚信,大数据将影响到我们每一个人以及我们所做的每一件事。
您可以从头到尾仔细阅读这本书,它汇总了当前的大数据应用案例;也可以将这本书作为一本参考书,专注于您或者您的客户最感兴趣的领域。
希望您能喜欢这本书!