魔鬼统计学
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

寻找神奇数字

几年前,时任纽约市学校建设管理局检察长的彼得·波普(Peter Pope)给我打电话寻求帮助。在一项十年计划中,建设管理局每年花费大约10亿美元,用于改造纽约市的学校。许多学校严重失修,许多资金被用于“外层”工作——即屋顶和外部维修,以维持建筑物外表的完整性。纽约市曾长期被建筑腐败和竞标操纵的丑闻困扰,因此纽约州议会设置了检察长这一新职位,以终结过高的成本和浪费。

彼得刚刚从法律系毕业,希望制定一种完全不同的公共利益法律。确保建筑拍卖和合同变更通知公开透明并不像接手死刑案件或在最高法院进行辩论那样光鲜,但彼得希望确保数千名学生拥有像样的读书环境。他和他的团队几乎是在冒着生命危险工作。有组织的犯罪者并不希望有人插手进来,干涉他们的事情。当彼得到来时,一切都不同了。

彼得之所以给我打电话,是因为他发现,他的一些改造项目竞标存在一种特别的欺诈。他称之为“神奇数字”欺诈。

1992年夏,梅里斯建筑公司主要所有人埃利亚斯·梅里斯(Elias Meris)遭到国税局调查。在国税局从宽处理的承诺下,梅里斯同意戴上窃听器,提供关于竞标操纵欺诈的信息,这些信息涉及学校建设管理局员工和其他承包商。梅里斯暗中为检察官录下了他与高级项目官员约翰·德朗斯菲尔德(John Dransfield)和合同专员马克·帕克(Mark Parker)的对话。

合同专员负责在项目竞标会上依次打开承包商的密封标书,宣读承包商的报价。

在“神奇数字”欺诈中,行贿承包商提交的密封标书中写有他对于这个项目能够接受的最低价格。在标书公开仪式上,帕克会把不法承包商的标书放到最后。他知道当前最低竞标价格,因此会读出只比这个价格低一点的虚假竞标价。这样一来,行贿者就会获胜,但他获得的报酬只比本应获胜的竞标者少一点点。接着,德朗斯菲尔德会用修正液篡改行贿者的标书——写上帕克宣读的数字。(如果最低真实竞标价低于不法行贿者能够接受的最低价格,合同专员就不会使用修正液,他会宣读不法行贿者写下的竞标价格。)在这种“神奇数字”欺诈中,只要不法行贿者能够接受的价格低于最低真实竞标价,他就可以赢得合同,而且会获得尽可能多的报酬。

经过调查,波普最终发现了7家存在欺诈的承包公司,涉及11个人。当你下次考虑改造位于纽约的住所时,你应该不会选择克里斯特加佐尼斯电力承包公司、GTS承包公司、巴泰克斯承包公司、美国建设管理公司、沃尔夫穆尼尔公司、西明斯法洛蒂科集团以及CZK建设公司。这7家公司通过“神奇数字”欺诈方法赢得了至少53次竞标项目,标的总额超过2,300万美元。

波普发现了这些坏蛋,但他还是给我打了电话,以了解能否通过统计分析追查其他“神奇数字”欺诈现象。我们与拍卖大师彼得·克拉姆顿(Peter Cramton)以及年轻的天才研究生艾伦·英格拉姆(Alan Ingraham)合作,进行了回归运算,以考察特定合同专员是否存在欺诈。

这简直是大海捞针。我们不知道某个专员是否会对他的所有拍卖进行操纵。事情的关键是寻找最低和次低竞标价差距很小的拍卖。我们控制了其他一组变量,包括竞标人数、工程师拍卖前的成本估计以及拍卖中第三低的竞标价,然后进行了统计回归。艾伦·英格拉姆发现了另外两个合同专员。在他们主持的所有拍卖中,获胜竞标价和次低竞标价的差距极小。在不知道合同专员姓名的情况下(检察长的数据仅用编号来表示他们),我们就为检察长的工作指明了新的方向。艾伦将这项工作转化成了博士论文的两个章节。检察长的调查结果是保密的,但彼得很欣赏我们的工作。他在今年早些时候向我道谢,说我帮助他们抓到了另外两个骗子。

这个“神奇数字”的故事展示了超级数据分析是如何揭示过去的。超级数据分析还可以预测你未来的需要和行动。eHarmony、哈拉斯、神奇数字和Farecast的故事共同表明,回归已经跨越了学术边界,正在被用于预测各种事情。

回归公式具有“即插即用”的特点——只要插入指定参数,就会得到预测结果。当然,不是所有预测都具有同等价值。河流不会高于源头,回归预测也不可能克服数据不足的问题。如果你的数据集合太小,任何回归都不会给出非常准确的预测。不过,不同于直觉主义者,回归知道自己的局限,可以回答郭德华(Ed Koch)很久以前的竞选问题“我做得怎么样”。