首页 > 代码库 > 大数据爆炸时代,从细节预见未来

大数据爆炸时代,从细节预见未来

在信息爆炸的大数据时代,随着生活节奏变得越来越快,从全球经济的健康到击溃恐怖主义,都依靠预测的质量。我们所要做出预测的速度和数量都在不断增加。

心理学家、《专家的政治判断》一书的作者菲利普·泰特洛克对社会科学领域专家预测的准确性做了近20年的调查研究。然而他发现,专家的预测都非常不靠谱。“那些专家预测的结果几乎和黑猩猩随机投掷飞镖砸在可能的结果上没两样。” 泰特洛克幽默地形容道。

从 2011年开始,泰特洛克和妻子芭芭拉·梅拉斯及朋友唐·摩尔一起开始了一项名为“良好判断力”的项目研究,该项目得到美国情报高级研究项目的赞助。他们通过比赛的形式招募了数千名来自各行各业的参与者,用一系列问题来测试他们的预测能力,如“罗伯特·穆加贝在2011年9月30日是否任津巴布韦总统?” 或“2012年6月1日,希腊是否将成为欧盟一员?”参与者被要求估计每个事件发生的概率。这项实验的主要目的之一是观察这些预测者的能力,总结其中的规律,旨在发现预测政治或经济走向的新方法。

一年后,泰特洛克选出其中的2%—那些所谓的“超级预测者”,组成队伍完成剩下的实验。在第二年结束的时候,他们的预测精确度是专业分析师的4倍。和“良好判断力”参与者提供的预测结果不同,很多专家的预测实际只给出一个模糊的趋势分析,他们深谙言多必失的道理,也被自己的专业知识所禁锢,反而不能更加客观地看待数据、分析问题。

“我们发现那些业余的‘超级预测家’都具有思想开放、感性、自我批判、随性的特点。而那些预测不够准确的学究型专家的特点则是讲究逻辑,但缺乏变通意识。” 泰特洛克说,“真正成功的预测者不害怕改变自己的想法,他们勇于接受新的证据而抛弃自己旧的观点。”

统计学家、被人称为“大数据时代的巫师”的纳特·西尔弗,因2008年美国大选期间成功预测出49个州、2012年大选成功预测出50个州的选举结果而家喻户晓,让当时所有时政记者、政党顾问以及政治评论员哑口无言。他在《纽约时报》网站开辟的专栏让众多企业看到了大数据应用的真实性,以及大数据可视化、行业化的希望。

西尔弗说“数据本身是不能为自己代言的,我们经常是带着偏差的思想、个人兴趣的情况开展数据分析,我们必须知道在你所接收到的信息和你知道的信息之间是存在巨大鸿沟的。但这正是那些专家不愿意承认的事实。”

相比而言,西尔弗认为从民众调查得来的建模数据更可靠,因为没有经过媒体的渲染,直接到达他手中的民意信息更真实。

在大数据爆炸的时代,如何利用民间集体智慧来预测至关重要。真正优秀的预测者会用概率的方法思考问题,他们谦虚而且勤恳,能清楚地区分什么是不可预测的、什么是可预测的,他们注重能带领他们接近真相的成百上千个小细节,能辨识出什么是噪声、什么是信号。最终,泰特洛克团队希望这些发现可以帮助改变政府的决定。“这不是关于预言的事,而是关于精确度的事。”他说,“我们希望提高预言的情报真实性。”

成为超级预测家

1.对比相当重要,使用相关的对比参数作为起点。

2.回顾过往的历史潮流会有帮助,除非你能强烈地感受到这股潮流将逆袭历史规律。

3.专家们的种种意见往往针锋相对、各执一词,甚至自相矛盾,看看他们是怎么说的,然后选择一个中立的立场。

4.当需要用建模数据来进行预测时,不要排斥用数学模型。

5.不要让自己内心的愿望影响你的预测判断,不要在新证据面前固执己见,摈除预测中的偏见性。

大数据爆炸时代,从细节预见未来