ФЭНДОМ


[ Предыдущий билет | К списку билетов | Следующий билет ]


Информация Править

  • Пусть $ A,B $ — события, $ \mathbb P(A)>0,\ \mathbb P(B)>0 $. Информация, содержащаяся в $ B $ относительно $ A $,
$ I(A\mid B)=\log\frac{ \mathbb P(A\mid B)}{\mathbb P(A)} $.
При $ A=B \ I(A\mid B)=\log\frac1{ \mathbb P(A)}=-\log \mathbb P(A) $.
  • Свойства информации
  • Чем больше $ \mathbb P(A) $, тем меньше $ I(A) $.
  • Если $ A $ и $ B $ независимы, то $ I(A\mid B)=0 $.
  • Если $ A $ и $ B $ независимы, то $ I(AB)=I(A)+I(B) $.

Основание логарифма определяет единицу измерения информации.
Если основание $ e $nat,
если основание 2 — bit.
В любом случае, основание логарифма всегда больше единицы, это нужно написать.(Шестаков напомнил)

Энтропия эксперимента Править

  • $ Q(E) $ — количество информации, полученное в ходе эксперимента $ E $ с $ n $ исходами.

Энтропия эксперимента $ H(E)= \mathbb EQ(E)= \sum_{i=1}^nI(A_i) \mathbb P(A_i)=- \sum_{i=1}^np_i\log p_i, \ \mathbb P(A_i)=p_i $
Энтропия — мера неопределённости эксперимента.

  • Свойства энтропии
  1. $ H(E) \geqslant0; \ H(E)=0 \Leftrightarrow\exists p_i=1 $.
  2. Наивысшей энтропией среди всех экспериментов с $ n $ исходами обладает эксперимент, в котором исходы равновероятны.
  3. Рассмотрим эксперименты $ E_1 $ и $ E_2 $:
    в $ E_1 $ объединены исходы $ A_i $ и $ A_j $
    в $ E_2 $ исход $ A_i $ имеет вероятность $ \frac{p_i}{p_i+p_j} $, $ A_j\sim\frac{p_j}{p_i+p_j} $ (остальные, соответственно, имеют вероятность 0).
    Тогда $ H(E)=H(E_1)+(p_i+p_j)H(E_2) $.
  4. $ H(E) $ зависит только от вероятностей $ p_i $, но не от самих событий $ A_i $.
  5. $ H(E) $ зависит от $ p_i $ непрерывно.
  • Теорема Фадеева

Если $ H(p_1,\dots,p_n) $ удовлетворяет свойствам энтропии (1-5), то этот функционал имеет вид энтропии: $ H=- \sum_{i=1}^np_i\log p_i $.


[ Предыдущий билет | К списку билетов | Следующий билет ]