這個著名的統(tǒng)計學(xué)悖論,，第一次聽說的人很可能懷疑人生

靜聽花開花落

作者 七君
我們平時在做重大決策的時候，比如擇校啊,，選專業(yè)啊,，總是會參考這些比較對象的硬指標，比如它們的錄取率啊,，就業(yè)率啊等等,。像是，哪個學(xué)校的就業(yè)率高,，我們就會去報考這個學(xué)校,。

統(tǒng)計數(shù)字可以幫助我們了解這些比較對象的優(yōu)劣,，讓我們做出明智的決策。不光是個人,，公司和國家也是這樣做決策的,。那么這樣做對嗎？

其...實...不...對

今天我們就來介紹一個讓人非常頭疼,，但非常有用的悖論,，它會告訴你，很多時候統(tǒng)計數(shù)字相當不可靠,，特別容易誤導(dǎo)人,。

先來看一個假設(shè)的例子。

小明生了慢粒白血病,，她的失散多年的哥哥找到有2家比較好的醫(yī)院,，醫(yī)院A和醫(yī)院B供小明選擇就醫(yī)。

小明的哥哥多方打聽,，搜集了這兩家醫(yī)院的統(tǒng)計數(shù)據(jù),，它們是這樣的：
醫(yī)院A最近接收的1000個病人里，有900個活著,，100個死了,。
醫(yī)院B最近接收的1000個病人里，有800個活著,，200個死了,。

作為對統(tǒng)計學(xué)懵懵懂懂的普通人來說，看起來最明智的選擇應(yīng)該是醫(yī)院A對吧,，病人存活率很高有90%�,。】偛豢赡苓x醫(yī)院B吧,，存活率只有80%啊,。

呵呵，如果小明的選擇是醫(yī)院A,，那么她就中計了,。
就這么說吧，如果醫(yī)院A最近接收的1000個病人里,，有100個病人病情很嚴重,，900個病人病情并不嚴重。
在這100個病情嚴重的病人里,，有30個活下來了,，其他70人死了。所以病重的病人在醫(yī)院A的存活率是30%。
而在病情不嚴重的900個病人里,，870個活著,，30個人死了。所以病情不嚴重的病人在醫(yī)院A的存活率是96.7%,。

在醫(yī)院B最近接收的1000個病人里，有400個病情很嚴重,，其中210個人存活,，因此病重的病人在醫(yī)院B的存活率是52.5%。
有600個病人病情不嚴重,，590個人存活,，所以病情不嚴重的病人在醫(yī)院B的存活率是98.3%。

畫成表格,，就是這樣的——

醫(yī)院A：

病情	死亡	存活	總數(shù)	存活率
嚴重	70	30	100	30%
不嚴重	30	870	900	96.7%
合計	100	900	1000	90%

醫(yī)院B：

病情	死亡	存活	總數(shù)	存活率
嚴重	190	210	400	52.5%
不嚴重	10	590	600	98.3%
合計	200	800	1000	80%

你可以看到,，在區(qū)分了病情嚴重和不嚴重的病人后，不管怎么看,，最好的選擇都是醫(yī)院B,。但是只看整體的存活率，醫(yī)院A反而是更好的選擇了,。所謂遠看是汪峰,，近看白巖松，就是這個道理,。

這讓人很抓狂,。萬一我們真的患上了什么病，又遇到了這種類似的情況,，豈不是會讓自己掉坑里,？大韓民國這么多小明就是因為這個原因去世的嗎？到底這是怎么回事,？

實際上,，我們剛剛看到的例子，就是統(tǒng)計學(xué)中著名的黑魔法之一——辛普森悖論（Simpson's paradox）,。辛普森悖論最初是英國數(shù)學(xué)家愛德華·H·辛普森（Edward H. Simpson）在1951年發(fā)現(xiàn)的,。

辛普森悖論就是當你把數(shù)據(jù)拆開細看的時候，細節(jié)和整體趨勢完全不同的現(xiàn)象,。

辛普森悖論：同一組數(shù)據(jù),，整體的趨勢和分組后的趨勢完全不同。

從統(tǒng)計學(xué)家的觀點來看,，出現(xiàn)辛普森悖論的原因是因為這些數(shù)據(jù)中潛藏著一個魔鬼——潛在變量（lurking variable）,，比如在上面這個例子里，潛在變量就是病情嚴重程度不同的病人的占比。

靜聽花開花落

辛普森悖論在日常生活中層出不窮,。
最著名的辛普森悖論的實例,，就是1973年加利福尼亞大學(xué)伯克利分校性別歧視案的例子。

加利福尼亞大學(xué)伯克利分校

大家從表格里可以看到,，如果只看整體錄取率,，那么男生的錄取率是44%，女生的是35%,。
不求甚解的話,，一般人肯定會得出這樣的結(jié)論——女生被歧視了。打算申請這所著名大學(xué)的女生要是看到這樣的數(shù)據(jù),，八成肺都氣炸了,。

	男生	女生
	申請人數(shù)	錄取人數(shù)	申請人數(shù)	錄取人數(shù)
合計	8442	44%	4321	35%

別急，現(xiàn)在把上面的數(shù)據(jù)按照院系拆分,，再來看看每個系的錄取率,。

你可以看到，在6個院系的4個里,，女生的錄取率大于男生,，女生只在2個院系里容易折戟。加利福尼亞大學(xué)伯克利分校的統(tǒng)計學(xué)教授 Peter Bickel 后來發(fā)現(xiàn),，如果按照這樣的分類,，女生實際上比男生的錄取率還高一點點。

Bickel 認為,，在這個案例中,，辛普森悖論出現(xiàn)的原因是，女生更愿意申請那些競爭壓力很大的院系（比如英語系）,，但是男生卻更愿意申請那些相對容易進的院系（比如工程學(xué)系）,。辛普森悖論真是太奇怪了。

再比如這個經(jīng)典的佛羅里達死刑悖論,。
1991年,，科羅拉多大學(xué)的統(tǒng)計學(xué)家 Michael L. Radelet 和東北大學(xué)的社會學(xué)研究院主任 Glenn Pierce 重新查看了1976-1987年間美國佛羅里達州的謀殺案的審判數(shù)據(jù)，發(fā)現(xiàn)了重大的司法不公正事件,。

從歸總的數(shù)據(jù)來看,，佛羅里達的法官在審判的時候并沒有偏向白人，因為白人嫌疑人的死刑率甚至還比黑人高一些,。

嫌疑人種族	死刑人數(shù)	非死刑人數(shù)	死刑百分比%
白人	53	430	11
黑人	15	176	7.9

但是,，如果按照被害人的種族來分割數(shù)據(jù)的話，我們就會看到很不一樣的結(jié)果了——黑人比白人更容易被判死刑,。

被害人種族	嫌疑人種族	死刑人數(shù)	非死刑人數(shù)	死刑百分比%
白人	白人	53	414	11.3
白人	黑人	11	37	22.9
黑人	白人	0	16	0
黑人	黑人	4	139	2.8

現(xiàn)在你可以很明顯地看出,，不管被害人是什么種族,，黑人比白人更有可能被判死刑。

這還不算,。分類后的數(shù)據(jù)顯示,，如果受害人是白人，那么嫌疑人就更容易被判死刑,。如果被害人是黑人,，嫌疑人被判死刑的可能性很低。種族歧視昭然若揭啊,。

所以,，我們要怎樣才能避免辛普森悖論呢？
答案是…很難,。不少統(tǒng)計學(xué)家認為,，辛普森悖論的存在,，讓我們不可能光用統(tǒng)計數(shù)字來推導(dǎo)準確的因果關(guān)系,。
因為數(shù)據(jù)可以用各種各樣的方式分類，然后再進行比較,，所以理論上潛在變量無窮無盡,，你總是可以用某個潛在變量得到某種結(jié)論。



而且對于那些不懷好意的人來說,，他們很容易對數(shù)據(jù)進行拆分或者歸總,，得到一個對自己有利的指標，從而來迷惑甚至操縱他人,。醫(yī)學(xué)和社會學(xué)的研究者也常常會遇到辛普森悖論,，從而得出錯誤的結(jié)論。

辛普森悖論完美地闡釋了這句古老的哲學(xué)寓言：“假如一棵樹在森林里倒下而沒有人在附近聽見,，它有沒有發(fā)出聲音,？”如果有一個邪惡的潛在變量逃脫了你的眼睛，那么統(tǒng)計數(shù)字得出的結(jié)論還可信嗎,？

我們能做的,，就是仔細地研究分析各種影響因素，不要籠統(tǒng)概括地,、淺嘗輒止地看問題,。

什么，你要我舉個利用辛普森悖論操縱別人的例子,？
很簡單啊,。那些常說“我是聰明的小朋友里最漂亮的，漂亮的小朋友里最聰明的”小孩,，一般都是既不_____,，也不_____的。