FC2ブログ
 

ロコリンの雑記

アニメ大好き社会人のロコリンのブログ。2015年卒(修士)の社会人。学生時代(2010年)から続けてるブログなのでエントリによっては学生ブログと社会人ブログになっています。時系列から察して。
 
 
このブログについて
ブログ内検索
カテゴリ
プロフィール

ロコリン

Author:ロコリン
2018年6月から会社員。2015年3月まで大学院生でした。
趣味:アニメ/Twitter/ゲーム/ニコ動
今(2015年2月更新):プリキュア/プリパラ/アイカツ/ごちうさ/艦これ

外部リンク
Twitter

スポンサーサイト 

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

情報理論 1 

情報量について少しまとめます。 (検閲を受けていないので参考文献として使わないでください。)


1 情報量の定義

情報量 I は事象の起こりにくさで定義されます。 事象の起こりにくさは事象の発生確率 P (0≤P≤1) の関数で表されます。

I = I(P)
情報量 I(P) は確率 P に対して次のような性質を持ちます。
P1 < P2 ⇒ I(P1) > I(P2)
I(P1P2) = I(P1) + I(P2)
これらを満たす関数の1つとして対数関数があります。 対数関数は、指数関数の逆関数として定義できます。
y = ax ⇒ x = logay
ただし、 a ≤ 1 のとき、情報量の性質を満たしません。 従って、 a > 1 とします。 これより情報量 I を表す関数 I(P) は次のように定義できます。
I(P) = loga(1/P) = -logaP (a > 1)
底 a の大きさによって I(P) は変化するため、次のように単位系を定めます。
底 a 単位
2 bit
e nat
10 dit
以後断りなく対数の底を2として扱います。即ち、情報量の単位を bit とします。

スポンサーサイト
コメント















 管理者にだけ表示を許可する

トラックバック
 
http://rexpit.blog29.fc2.com/tb.php/50-f0ce7198
最新記事
最新コメント
FC2カウンタ
欲しい
最近買ったもの
Amazon 検索
 
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。