[機統] 資訊理論熵編碼證明

手機發文排版請見諒 假設現有n個符號，且n為2的正整數次方，其機率由1至n遞減排列為p1, p2, ..., pm, ..., pn 其中自第m個開始其編碼後長度大於log2(n)，亦即log2(1/pm)>log2(n) 以下是我的猜測，但證明到一半卡住： 現在針對每個輸入額外多1bit作為檢查bit，若其編碼後長度>log2(n)，則不編碼，以log2(n)傳送；反之若編碼後長度<log2(n)則以原本熵編碼的log(1/pi)進行傳送，試證此方法的平均碼長較其entropy還高 我的做法是原本entropy為 p1log2(1/p1) + p2log2(1/p2) + ... + pnlog2(1/pn) < log2(n) =p1log2(n) + ... pnlog2(n) (1) 加上檢查bit後的平均碼長為 p1log2(1/p1) + ... + p(m-1)log2(1/p(m-1)) + pmlog2(n) + pnlog2(n) + 1 (2) 原本是拿(2)去扣(1)的上界 http://i.imgur.com/dnQmMxy.jpg 結果發現這樣證不出來，所以改成用檢查bit的碼長減entropy永遠大於0，即 1 + pm[log2(n)+log2(pm)] + p(m+1)[log2(n)+log2(p(m+1))] + ... + pn[log2(n)+log2(pn)] > 0 ? 到這邊卡住了，看起來也沒辦法用對數求和不等式？麻煩各位解惑，謝謝。 ----- Sent from JPTT on my Samsung SM-G9980. --
※ 批踢踢實業坊(ptt.cc), 來自: 42.76.61.57 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Math/M.1735006807.A.C5F.html