什麼是漸近等分性
隨機變數長序列的一種重要特性,是編碼定理的理論基礎,簡稱AEP。當隨機變數的序列足夠長時,其中一部分序列就顯現出一種典型的性質:這些序列中各個符號的出現頻數非常接近於各自的出現概率,而這些序列的概率則趨近於相等,且它們的和非常接近於1,這些序列就稱為典型序列。其餘的非典型序列的出現概率之和接近於零。序列的長度越長,典型序列的總概率越接近於1,它的各個序列的出現概率越趨於相等。漸近等分性即因此得名。
C.E.仙農最早發現隨機變數長序列的漸近等分性,並在1948年發表的論文《通訊的數學理論》中把它表述為一個定理。後來,B.麥克米倫在1953年發表的《資訊理論的基本定理》一文中嚴格地證明了這一結果,因此,有人也把它稱為麥克米倫定理。
漸近等分性有許多不同的具體形式,但一般地可以表述如下:若X是一個符號表,共有M個不同的符號x1,x2,…,xM ,它們的出現概率分別是p1,p2,…,pM 。對X進行N次獨立的選擇,於是得到一個長度為N的符號序列;總共有MN個長度為N的不同序列。可以證明,對於給定的兩個任意小的數ε>0和δ>0,一定可以找到一個正整數N0(它是X,ε和δ的某種函式),使所有長度為N≥N0的序列可劃分為以下兩組。第一組包含Aε<MN個序列,其中各個序列都具有幾乎相等的出現概率p,且有
1-ε<p·Aε<1
和
式中H是X的符號熵。實際上,當N充分大時,Aε=2NH。第二組包含其餘的MN-Aε個序列,它們的出現概率之和小於ε。顯然第一組包含的是典型序列,第二組包含的是非典型序列。在各個符號的概率不相等的情況下,序列長度N越大,則Aε與MN的差別越大,而p·Aε與1的差別越小,-logp/N與H的差別也越小。
漸近等分性的意義在於:對於任意取有限個值的隨機變數X,當用N次獨立選擇的方法來形成編碼序列時,只要N 取得足夠大,就可以只考慮其中Aε個典型序列,而其餘所有的非典型序列均可以忽略。
-
一反常態是什麼意思?
意思是:一反:完全相反;整個兒相反;常態:平常的情態。完全和平常的態度相反。形容態度發生了極大的變化。成語名字:一反常態成語發音:yīfǎnchángtài成語解釋:一反:完全相反;整個兒相反;常態:平常的情態。完全和平常的態度相反。形容態度發生了極大的變化。成語出處:郭澄...
-
軒然霞舉是什麼意思?
意思是:像雲霞高高飄舉。形容俊美瀟灑。成語名字:軒然霞舉成語發音:xuānránxiájǔ成語解釋:像雲霞高高飄舉。形容俊美瀟灑。成語出處:南朝·宋·劉義慶《世說新語·容止》:“海西時,諸公每朝,朝堂猶暗;唯令稽王來,軒軒如朝霞舉。”成語繁體:軒然霞舉感情色彩:中性成語成...
-
灑心更始是什麼意思?
意思是:猶言改過自新。成語名字:灑心更始成語發音:sǎxīngèngshǐ成語解釋:猶言改過自新。成語出處:漢·王符《潛夫論·述赦》:“謀反大逆不道諸犯,不當得赦皆除之,將與士大夫灑心更始。”成語繁體:灑心更始感情色彩:中性成語成語用法:作謂語、定語;用於書面語成語結構:偏...
-
毋翼而飛是什麼意思?
意思是:比喻傳播之迅速。成語名字:毋翼而飛成語發音:wúyìérfēi成語解釋:比喻傳播之迅速。成語出處:《戰國策·秦策三》:“聞‘三人成虎,十夫揉椎,眾口所移,毋翼而飛。’故曰,不如賜軍吏而禮之。”成語繁體:毋翼而飛感情色彩:中性成語成語用法:作謂語;同“不翼而飛”成語...