在數學與統計學中,大数定律(英語:)又称、大数律,是描述相当多次数重复实验的结果的定律。根据这个定律知道,樣本數量越多,則其算术平均值就有越高的機率接近期望值。
大数定律很重要,因为它“說明”了一些随机事件的均值的长期稳定性。人们发现,在重複試驗中,随着试验次数的增加,事件发生的频率趋于一个稳定值;人们同时也发现,在对物理量的测量实践中,测定值的算术平均也具有稳定性。比如,我们向上抛一枚硬币,硬币落下后哪一面朝上是偶然的,但当我们上抛硬币的次数足够多后,达到上万次甚至几十万几百万次以后,我们就会发现,硬币每一面向上的次数约占总次数的二分之一,亦即偶然之中包含着必然。
上述现象是切比雪夫不等式的一个特殊应用情况,辛钦定理和伯努利大数定律也都概括了这一现象,它们统称为大数定律。
举例
例如,抛掷一颗均匀的6面的骰子,1,2,3,4,5,6应等概率出现,所以每次扔出骰子後,出現點數的期望值是
根据大数定理,如果多次抛掷骰子,随着抛掷次数的增加,平均值(样本平均值)应该接近3.5,根据大数定理,在多次伯努利实验中,实验频率最后收敛于理论推断的概率值,对于伯努利随机变量,理论推断的成功概率就是期望值,而若对n个相互独立的随机变量的平均值,频率越多则相对越精准。
例如硬币投掷即伯努利实验,当投掷一枚均匀的硬币,理论上得出的正面向上的概率应是1/2。因此,根据大数定理,正面朝上的比例在相对“大”的数字下,“理应”接近为1/2,尤其是正面朝上的频率在n次实验(n接近无限大时)后应几近收敛到1/2。
即使正面朝上(或背面朝上)的比例接近1/2,几乎很自然的正面与负面朝上的绝对差值(absolute difference差值范围)应该相应随着抛掷次数的增加而增加。换句话说,绝对差值的概率应该是会随着抛掷次数而接近于0。直观的来看,绝对差值的期望会增加,只是慢于抛掷次数增加的速度。
大數法則又稱大數率或平均法則(law of averages)。由於有大數法則,使得在不確定性(uncertainty)中,我們仍能掌握一些確定性(certainty);在混亂(chaos)中,仍有其秩序(order)。大數法則是說:若一實驗(或觀測),能持續且重複地進行,則觀測值之平均,將任意接近期望的成果。比較正式一點的說,就是隨機所產生樣本之平均,當樣品數很大,將有很大的機率,接近母體之平均。
機率論早期的發展,常對某件事是否發生有興趣。如:投擲銅板是否出現正面?玩撲克牌得到 3 條等。換句話說,對只有兩個結果的觀測有興趣。以 Xi=1,表第 i 次觀測該事件發生,Xi=0,表第 i 次觀測該事件未發生。如此觀測到一串 0,1 的數列。
這種數列,今日稱作伯努力數列(Bernoulli sequence)。而這類只有兩個結果的實驗,便稱作伯努力試驗(Bernoulli trial)。這是因瑞士數學家伯努力(Jacob Bernoulli,1654-1705),最先探討而得名。在他死後八年,1713年,他姪兒尼古拉斯伯努力(Nicholas Bernoulli, 1687-1759),替他出版那本可說是機率論最早的書籍 Ars Conjectandi(原文為拉丁文,英文書名為The Art of Conjecturing)。在這本書中,伯努力證明了一以他的姓為命名的定理,即伯努力法則(Bernoulli law):
獨立且重複地觀測一發生機率為 p 之事件 A,當觀測次數趨近至 ∞,事件發生之相對頻率接近 p 之機率,將趨近 1。
註一:Bernoulli一家可說是數學史上相當顯赫的一家。在三代裡,至少有八位,對數學、機率或統計有貢獻。其中有五位算是相當傑出。在數學、機率或統計中,常會見到Bernoulli,不見得是同一人。我們列出伯努力四代的部分成員於圖一。西方人的姓(last name)較少相同,名(First name)則很容易相同。
在同一領域出名且姓相同的,往往並不大多。所以我們通常以姓稱呼西方的科學家、文學家及藝術家等名人。如:牛頓、高斯及歐拉等,都是姓。而幾百年來也沒產生第二個科學家是牛頓、高斯及歐拉。若真有同姓的,再附上名,即可區隔。只是這套慣用的稱法,對Bernoulli就不適用了。由於這是一數學大家族,不但你見到的Bernoulli可能不是同一人,有幾位的名也相同。中國人對於取名,常會避長者諱。外國人則有時為小孩取某長者之名,以為紀念。這點在Bernoulli家族很明顯,還有取與自己同名的。圖一中有11人,卻只有4個不同的名。有時以二世(II),三世(III)來區隔,有時也不區隔。
另一個Bernoulli家族的名會令人產生困擾的是,有幾位曾在歐洲幾個國家居住,而在不同的地方會有不同的名。以我們所提到的Bernoulli家族第一位數學家為例,Jacob有時寫成Jakob;他又稱為Jacques (有時寫成Jaques);有時又稱為James。為了提昇機率與統計的發展,1975年還成立了一個伯努力協會(Bernoulli Society)的國際組織,可見伯努力家族在機率與統計界的被重視。