Информация и энтропия. Их свойства

[ Предыдущий билет | К списку билетов | Следующий билет ]

Информация

• Пусть $A, B$ — события, $\mathbb P(A)>0,\ \mathbb P(B)>0$. Информация, содержащаяся в $B$ относительно $A$,
  

$I(A\mid B)=\log\frac{ \mathbb P(A\mid B)}{\mathbb P(A)}$.

При $A=B \ I(A\mid B)=\log\frac1{ \mathbb P(A)}=-\log \mathbb P(A)$.

• Свойства информации

• Чем больше $\mathbb P(A)$, тем меньше $I(A)$.
• Если $A$ и $B$ независимы, то $I(A\mid B)=0$.
• Если $A$ и $B$ независимы, то $I(AB)=I(A)+I(B)$.

Основание логарифма определяет единицу измерения информации.
Если основание $e$ — nat,
если основание 2 — bit.
В любом случае, основание логарифма всегда больше единицы, это нужно написать.(Шестаков напомнил)

Энтропия эксперимента

• $Q(E)$ — количество информации, полученное в ходе эксперимента $E$ с $n$ исходами.
  

Энтропия эксперимента $H(E)= \mathbb EQ(E)= \sum_{i=1}^nI(A_i) \mathbb P(A_i)=- \sum_{i=1}^np_i\log p_i, \ \mathbb P(A_i)=p_i$
Энтропия — мера неопределённости эксперимента.

• Свойства энтропии

1. $H(E) \geqslant0; \ H(E)=0 \Leftrightarrow\exists p_i=1$.
2. Наивысшей энтропией среди всех экспериментов с $n$ исходами обладает эксперимент, в котором исходы равновероятны.
3. Рассмотрим эксперименты $E_1$ и $E_2$:
   

   в $E_1$ объединены исходы $A_i$ и $A_j$
   

   в $E_2$ исход $A_i$ имеет вероятность $\frac{p_i}{p_i+p_j}$, $A_j\sim\frac{p_j}{p_i+p_j}$ (остальные, соответственно, имеют вероятность 0).
   

   Тогда $H(E)=H(E_1)+(p_i+p_j)H(E_2)$.

4. $H(E)$ зависит только от вероятностей $p_i$, но не от самих событий $A_i$.
5. $H(E)$ зависит от $p_i$ непрерывно.

• Теорема Фадеева
  

Если $H(p_1,\dots,p_n)$ удовлетворяет свойствам энтропии (1-5), то этот функционал имеет вид энтропии: $H=- \sum_{i=1}^np_i\log p_i$.

[ Предыдущий билет | К списку билетов | Следующий билет ]