2020-08-09

11 概率分布:認識現實世界的數學模型

隨機變量:把隨機事件可能的結果抽象成一個數字,每個數字對應一個概率,這個隨機變化的數字。

概率分布:把隨機變量所有的結果和它對應的概率全部統計出來

概率分布的作用:通過從整體上描述一個隨機事件的所有可能結果和對應概率分布情況,從總體上把握這件事的基本輪廓。

數學家解決問題的方式是抽象

概率分布模型是我們對現實規律的抽象,正態分布、冪律分布都是這樣的模型,分別代表一種概率分布規律。


12 正態分布:最簡單卻最重要的概率分布

高斯使用到正態分布計算出谷神星(人類發現的第一顆矮行星)的運行軌道。

性質一:均值就是期望

在正態分布中,平均值代表隨機事件的價值。

性質二:極端值很少

性質三:標準差決定胖瘦

eg:電腦開機時間打敗了全國97%的用戶,就是通過正態分布得到的,隨機抽取一部分用戶的開機數據,算出均值和標準差,就可以確定出一條正態分布曲線。

一個標準差覆蓋68.26%的數據,兩個覆蓋95.44%的數據,以此類推

不同正態分布的分析比較:

第一,只有均值不同,能比較好壞

第二,只有標準差不同,能比較波動

eg:男女智商均值相同,但男性智商波動更大,在智商超群和智商堪憂的人中,男性數量多于女性

第三,均值和標準差都不同,能比較專業和業余

專業的均值更高,標準差更小,業余則相反。


13 中心極限定理:正態分布是概率分布的神

(1)合法性:中心極限定理提供保證

中心極限定理核心的數學性質——大量獨立的隨機變量相加,無論各個隨機變量的分布是怎樣的,它們相加的結果必定會趨向于正態分布。換句話說,正態分布是必然產生的。

中心極限定理是因,正態分布是果。因為中心極限定理存在,所以正態分布才必然正確。

正態分布公式——高斯

中心極限定理——拉普拉斯

(2)正統性:正態分布建立了一套穩定的秩序,就像參照系一樣,對所有的事物施加影響。

在統計學中,當我們不知道某個隨機事件服從什么分布的時候,最常見的方法就是假設它服從正態分布,然后再用數據驗證。

一方面,是由于正態分布非常常見,所以假設一個隨機事件服從正態分布,比假設其他分布的成功率更高。

另一方面,是因為正態分布能像神一樣,給我們指明分析的方向。

eg:如果驗證后發現,這個隨機事件不服從正態分布,那它就一定不滿足正態分布背后的中心極限定理。而不滿足中心極限定理,要么是它的影響因素不夠多,要么是各種影響因素不相互獨立,要么是某種影響因素的影響力太大等等……這時候,接下來的研究也就有了明確的方向。

(3)主宰性

第一,正態分布普遍存在

第二,所有分布不斷疊加后最后都會變成正態分布

第三,正態分布是世界的宿命

“熵最大原理”:在一個孤立的系統中,熵總是在不斷增大。

正態分布是所有已知均值和方差的分布中,信息熵最大的一種分布。


14 冪律分布:給人帶來希望的魔鬼

無標度:冪律分布唯一的數學特征。

“二八法則”:冪律分布的最直觀表現。

冪律分布

橫坐標,代表隨機變量的取值;縱坐標,代表發生的概率。

在隨機變量中,越小的數值,出現的概率越大;越大的數值,出現的概率則越小。

在任何觀測尺度下,冪律分布都呈現同樣的分布特征。

一般的分布都會有個尺度范圍,在這個范圍內服從這個分布,超過這個尺度可能就不服從這種分布了。而冪律分布沒有尺度的限制,不管截取任何一個部分,都仍然呈現冪律分布的特征。

eg:圖書銷量是服從冪律分布的,最暢銷那本書的銷量在前10名銷量中占的比例,和前10名的銷量在前100名的銷量中占的比例,和前100名在前1000名的總銷量中占的比例,大體都是相同的。

第一,冪律分布讓平均數失去意義

第二,冪律分布讓原本不會發生的極端事件發生

在數學上,這個叫“長尾”,也叫肥尾、厚尾。簡單說就是,雖然極端數據出現的概率很低,但這個概率永遠不會趨近于0,永遠不會小到可以忽略不計。

在正態分布里,數據非常集中,非常極端的數據幾乎不可能出現,可以直接忽略不不計。而在冪律分布里,再極端的數據都有出現的可能。

第三,冪律分布完全不可預測

eg:著名的“沙堆模型”,在平臺上不斷添加沙粒,慢慢形成一個沙堆。隨著沙堆高度的增加,新添加的沙粒會帶動沙堆表面其他沙粒滾落,產生所謂的“沙崩”。統計沙崩的規模和發生的頻率,科學家發現它服從冪律分布。

所有物理知識我們都掌握,而且能用計算機跟蹤每一粒沙子的位置,但仍然找不到沙堆崩塌的原因。既不知道在什么條件下,再放一粒沙子就會導致沙崩,也無法預測這粒沙子導致的沙崩規模會有多大。

冪律分布產生的原因,目前沒有統一答案。

在從有序到無序這個熵減過程中,冪律分布必然發生。

雖然冪律分布像魔鬼一樣狡詐、難以預料,但它可能是我們對抗熵增的必然選擇,是每個系統從無序到有序,從混沌到清晰,從未知世界到規律世界的必經之路。冪律分布存在的地方,看似兇險,卻恰恰是對抗熵增,對抗死寂,對抗死亡的角斗場,是我們的希望之光。

在自然界與日常生活中,包括地震規模大小的分布、月球表面上月坑直徑的分布、行星間碎片大小的分布、太陽耀斑強度的分布、計算機文件大小的分布、戰爭規模的分布、人類語言 中單詞頻率的分布、大多數國家姓氏 的分布、科學家撰寫的論文數的分 布、論文被引用的次數的分布、網頁 被點擊次數的分布、書籍及唱片的銷 售冊數或張數的分布、每類生物中物 種數的分布、甚至電影所獲得的奧斯卡獎項數的分布等,都是典型的冪律分布。


15 泊松分布:打開統計推斷的大門


泊松分布公式
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,702評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,143評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,553評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,620評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,416評論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,940評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,024評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,170評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,709評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,597評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,784評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,291評論 5 357
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,029評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,407評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,663評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,403評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,746評論 2 370