煙臺論壇-煙臺社區(qū)
標題: 這個著名的統(tǒng)計學(xué)悖論，第一次聽說的人很可能懷疑人生 [打印本頁]
作者: 靜聽花開花落 時間: 2018-12-3 13:45
標題: 這個著名的統(tǒng)計學(xué)悖論，第一次聽說的人很可能懷疑人生
本帖最后由 靜聽花開花落 于 2018-12-3 13:45 編輯
作者 七君
我們平時在做重大決策的時候,，比如擇校啊,，選專業(yè)啊，總是會參考這些比較對象的硬指標,，比如它們的錄取率啊,，就業(yè)率啊等等,。像是,，哪個學(xué)校的就業(yè)率高，我們就會去報考這個學(xué)校,。
統(tǒng)計數(shù)字可以幫助我們了解這些比較對象的優(yōu)劣,，讓我們做出明智的決策。不光是個人,，公司和國家也是這樣做決策的,。那么這樣做對嗎？
其...實...不...對
今天我們就來介紹一個讓人非常頭疼,，但非常有用的悖論,，它會告訴你，很多時候統(tǒng)計數(shù)字相當不可靠,，特別容易誤導(dǎo)人,。
先來看一個假設(shè)的例子,。
小明生了慢粒白血病，她的失散多年的哥哥找到有2家比較好的醫(yī)院,，醫(yī)院A和醫(yī)院B供小明選擇就醫(yī),。
小明的哥哥多方打聽，搜集了這兩家醫(yī)院的統(tǒng)計數(shù)據(jù),，它們是這樣的：
醫(yī)院A最近接收的1000個病人里,，有900個活著，100個死了,。
醫(yī)院B最近接收的1000個病人里,，有800個活著，200個死了,。
作為對統(tǒng)計學(xué)懵懵懂懂的普通人來說,，看起來最明智的選擇應(yīng)該是醫(yī)院A對吧，病人存活率很高有90%�,�,！總不可能選醫(yī)院B吧，存活率只有80%啊,。
呵呵，如果小明的選擇是醫(yī)院A,，那么她就中計了,。
就這么說吧，如果醫(yī)院A最近接收的1000個病人里,，有100個病人病情很嚴重,，900個病人病情并不嚴重。
在這100個病情嚴重的病人里,，有30個活下來了,，其他70人死了。所以病重的病人在醫(yī)院A的存活率是30%,。
而在病情不嚴重的900個病人里,，870個活著，30個人死了,。所以病情不嚴重的病人在醫(yī)院A的存活率是96.7%,。
在醫(yī)院B最近接收的1000個病人里，有400個病情很嚴重,，其中210個人存活,，因此病重的病人在醫(yī)院B的存活率是52.5%。
有600個病人病情不嚴重,，590個人存活,，所以病情不嚴重的病人在醫(yī)院B的存活率是98.3%,。
畫成表格，就是這樣的——
醫(yī)院A：
病情
| 死亡
| 存活
| 總數(shù)
| 存活率
|
嚴重
| 70
| 30
| 100
| 30%
|
不嚴重
| 30
| 870
| 900
| 96.7%
|
合計
| 100
| 900
| 1000
| 90%
|
醫(yī)院B：
病情
| 死亡
| 存活
| 總數(shù)
| 存活率
|
嚴重
| 190
| 210
| 400
| 52.5%
|
不嚴重
| 10
| 590
| 600
| 98.3%
|
合計
| 200
| 800
| 1000
| 80%
|
你可以看到,，在區(qū)分了病情嚴重和不嚴重的病人后,，不管怎么看，最好的選擇都是醫(yī)院B,。但是只看整體的存活率,，醫(yī)院A反而是更好的選擇了。所謂遠看是汪峰,，近看白巖松,，就是這個道理。
這讓人很抓狂,。萬一我們真的患上了什么病,，又遇到了這種類似的情況，豈不是會讓自己掉坑里,？大韓民國這么多小明就是因為這個原因去世的嗎,？到底這是怎么回事？
實際上,，我們剛剛看到的例子,，就是統(tǒng)計學(xué)中著名的黑魔法之一——辛普森悖論（Simpson's paradox）。辛普森悖論最初是英國數(shù)學(xué)家愛德華·H·辛普森（Edward H. Simpson）在1951年發(fā)現(xiàn)的,。
辛普森悖論就是當你把數(shù)據(jù)拆開細看的時候,，細節(jié)和整體趨勢完全不同的現(xiàn)象。
辛普森悖論：同一組數(shù)據(jù),，整體的趨勢和分組后的趨勢完全不同,。
從統(tǒng)計學(xué)家的觀點來看，出現(xiàn)辛普森悖論的原因是因為這些數(shù)據(jù)中潛藏著一個魔鬼——潛在變量（lurking variable）,，比如在上面這個例子里,，潛在變量就是病情嚴重程度不同的病人的占比。
作者: 靜聽花開花落 時間: 2018-12-3 13:45
辛普森悖論在日常生活中層出不窮,。
最著名的辛普森悖論的實例,，就是1973年加利福尼亞大學(xué)伯克利分校性別歧視案的例子。
加利福尼亞大學(xué)伯克利分校
大家從表格里可以看到,，如果只看整體錄取率,，那么男生的錄取率是44%，女生的是35%,。
不求甚解的話,，一般人肯定會得出這樣的結(jié)論——女生被歧視了。打算申請這所著名大學(xué)的女生要是看到這樣的數(shù)據(jù),，八成肺都氣炸了,。
| 男生
| 女生
|
| 申請人數(shù)
| 錄取人數(shù)
| 申請人數(shù)
| 錄取人數(shù)
|
合計
| 8442
| 44%
| 4321
| 35%
|
別急,，現(xiàn)在把上面的數(shù)據(jù)按照院系拆分，再來看看每個系的錄取率,。
你可以看到,，在6個院系的4個里，女生的錄取率大于男生,，女生只在2個院系里容易折戟,。加利福尼亞大學(xué)伯克利分校的統(tǒng)計學(xué)教授 Peter Bickel 后來發(fā)現(xiàn)，如果按照這樣的分類,，女生實際上比男生的錄取率還高一點點,。
Bickel 認為，在這個案例中,，辛普森悖論出現(xiàn)的原因是,，女生更愿意申請那些競爭壓力很大的院系（比如英語系），但是男生卻更愿意申請那些相對容易進的院系（比如工程學(xué)系）,。辛普森悖論真是太奇怪了,。
再比如這個經(jīng)典的佛羅里達死刑悖論。
1991年,，科羅拉多大學(xué)的統(tǒng)計學(xué)家 Michael L. Radelet 和東北大學(xué)的社會學(xué)研究院主任 Glenn Pierce 重新查看了1976-1987年間美國佛羅里達州的謀殺案的審判數(shù)據(jù),，發(fā)現(xiàn)了重大的司法不公正事件。
從歸總的數(shù)據(jù)來看,，佛羅里達的法官在審判的時候并沒有偏向白人,，因為白人嫌疑人的死刑率甚至還比黑人高一些。
嫌疑人種族
| 死刑人數(shù)
| 非死刑人數(shù)
| 死刑百分比%
|
白人
| 53
| 430
| 11
|
黑人
| 15
| 176
| 7.9
|
但是,，如果按照被害人的種族來分割數(shù)據(jù)的話，我們就會看到很不一樣的結(jié)果了——黑人比白人更容易被判死刑,。
被害人種族
| 嫌疑人種族
| 死刑人數(shù)
| 非死刑人數(shù)
| 死刑百分比%
|
白人
| 白人
| 53
| 414
| 11.3
|
白人
| 黑人
| 11
| 37
| 22.9
|
黑人
| 白人
| 0
| 16
| 0
|
黑人
| 黑人
| 4
| 139
| 2.8
|
現(xiàn)在你可以很明顯地看出,，不管被害人是什么種族，黑人比白人更有可能被判死刑,。
這還不算,。分類后的數(shù)據(jù)顯示，如果受害人是白人,，那么嫌疑人就更容易被判死刑,。如果被害人是黑人，嫌疑人被判死刑的可能性很低,。種族歧視昭然若揭啊,。
所以，我們要怎樣才能避免辛普森悖論呢,？
答案是…很難,。不少統(tǒng)計學(xué)家認為,，辛普森悖論的存在，讓我們不可能光用統(tǒng)計數(shù)字來推導(dǎo)準確的因果關(guān)系,。
因為數(shù)據(jù)可以用各種各樣的方式分類,，然后再進行比較，所以理論上潛在變量無窮無盡,，你總是可以用某個潛在變量得到某種結(jié)論,。
而且對于那些不懷好意的人來說，他們很容易對數(shù)據(jù)進行拆分或者歸總,，得到一個對自己有利的指標,，從而來迷惑甚至操縱他人。醫(yī)學(xué)和社會學(xué)的研究者也常常會遇到辛普森悖論,，從而得出錯誤的結(jié)論,。
辛普森悖論完美地闡釋了這句古老的哲學(xué)寓言：“假如一棵樹在森林里倒下而沒有人在附近聽見，它有沒有發(fā)出聲音,？”如果有一個邪惡的潛在變量逃脫了你的眼睛,，那么統(tǒng)計數(shù)字得出的結(jié)論還可信嗎？
我們能做的,，就是仔細地研究分析各種影響因素,，不要籠統(tǒng)概括地、淺嘗輒止地看問題,。
什么,，你要我舉個利用辛普森悖論操縱別人的例子？
很簡單啊,。那些常說“我是聰明的小朋友里最漂亮的,，漂亮的小朋友里最聰明的”小孩，一般都是既不_____,，也不_____的,。
| 歡迎光臨 煙臺論壇-煙臺社區(qū) (http://xckxqm.com/) |
Powered by Discuz! X3.4 |
