We've discussed that chaos refers to phenomena following deterministic rules that nonetheless appear random and unpredictable over time. But what does it actually mean to be random or unpredictable?
カオスとは、決定論的なルールに従いながらも、長期的にはその挙動がランダムに、予測不能に見える現象のことでした。しかし、ランダムである、予測不能であるというのはどういうことでしょう。
Intuitively, randomness means we cannot predict the future even with all available information. For example, when you release a die in mid-air, Newtonian mechanics can predict its direction and speed as it falls. But it still seems impossible to predict which face lands up after it bounces on the floor.
直感的に考えるとランダムであるということは、今現在わかっている情報を元にしても未来の予想ができないことだと考えられます。例えば空中でサイコロから手を離した時にサイコロが落ちていく向きや速さはニュートン力学で十分に予想ができますが、床で跳ねた後どの面を上にして止まるかはランダムで予測不能に思えます。
シャノンの情報理論
Claude Shannon defined the concept of information quantity based on how predictable an event is. If we know exactly what will happen next, the information gained is zero. When we cannot predict what will happen at all, the information obtained when the event happen is maximized.
クロード・シャノンは情報量という概念を、何かが起きた時にその事象がどれだけ予測できたかどうかを元に定義しました。次に何が起こるか完全にわかっている場合は得られる新しい情報はゼロ、何が起こるか全く予測できないとき、その事象が実際に起きたときに得られる情報量は最大になります。
When the probability of an event $x$ occurring is $P(x)$, the self-information $I(x)$ obtained from that event is defined as follows:
ある事象 $x$ が起こる確率を $P(x)$ としたとき、その事象から得られる自己情報量 $I(x)$ は次のように定義されます。
$I(x) = -\log_2 P(x)$
Plugging in actual values, if $P(x) = 1$ (certain), then $I(x) = -\log_2 1 = 0$, the information is zero. As $P(x)$ becomes smaller, the value of $I(x)$ increases—in other words, when something less likely happens, the amount of information gained becomes higher.
実際に値を入れてみると $P(x) = 1$（確実）なら、$I(x) = -\log_2 1 = 0$、情報はゼロです。$P(x)$ が小さくなるほど、$I(x)$ の値は大きくなる、つまり可能性が低いことが起こると得られる情報量が高くなるというわけです。