大数据的概念、来源,以及带来的变化和威胁  

  大数据的概念起源于天文学,最初指信息量已经大到超过通常电脑内存所能存储的数据量。现在概念已经发生了变化,大数据指一种现象,数据量多到引起质变,能够做到“小数据”不可能完成的事情。

  例如,谷歌的研究人员完全不了解感冒病人搜索什么,但他们用海量的搜索数据做出的流感爆发预测和官方数据相关性高达97%,并且时效性接近实时。

  这反映出两个信息,第一,大数据可以给公共卫生和商业领域带来革命性的变化。第二,大数据颠覆了人们通常的因果思维方式,不需要知道原因就能做出预测。

  改变世界的前提是了解世界。测量工具的改善,让人积累了更多关于世界的知识,并且知识以数据的形式保存下来。不同于以前的书籍,壁画,现在是数字化的图像、电影,人们对信息和数据的认知范围也在扩大。只有互联网时代才可能大规模产生和利用大数据。飞速增长的数据,对处理数据的技术提出了要求,而处理技术的突破,让人类能更好地利用数据的价值,数据成为了最有价值的矿产。

  大数据的优势在于“量变引起质变”,让人类从上帝视角,以宏观的统计学角度看待问题,就像高空俯视大地一样,平时繁杂的城市,一览无余。大数据的核心作用是预测,它属于人工智能(AI)的一个二级分支,上一级是机器学习(ML)。只要是需要人类做出判断的领域都会被计算机系统所影响甚至取代,未来的趋势一定是人机结合,各取所长。

  大数据给生活带来的三个转变:第一,大数据采用的数据量甚至可以包含全部样本,使人们不再依赖随机采样,不仅提高了精确度,而且提供了随机采样无法提供的细节信息。

  第二,数据本身的精确度不再重要。因为拥有足够多的数据,微观上的偏差不影响整体评估,具有更强的归纳能力。

  第三,不再依赖因果关系。以前人们需要知道原因才能预测,但是现在不了解原因也同样能预测,大数据更多的是关注如何解决,而不是知道为什么能解决。

  但是大数据也给个人带来了不利影响。收集和利用大数据都需要机器,导致决策更多的依赖机器而不是人。同时大数据使以前制定的保护隐私规则失效,社会监控个人的能力极大加强,给个人带来严重威胁。这也是人工智能时代最需要考虑的事情,没有人的尊严和幸福,技术的进步毫无意义。