ФЭНДОМ


[ Предыдущий билет | К списку билетов | Следующий билет ]


Определение Править

  • Если $ \xi $ — конечнозначная случайная величина, $ \mathbb P(\xi=\xi_i)=p_i $, то энтропия $ H(\xi)=-\sum_{i=1}^np_i\log p_i $.
  • Если $ \xi $ дискретна и принимает счётное число значений, $ H(\xi)=-\sum_{i=1}^\infty p_i\log p_i $.
  • Если $ \xi $ абсолютно непрерывна с плотностью $ p_\xi(x) $, дифференциальная энтропия $ H(\xi)=-\mathbb E\log p_\xi(x)= -\int_{-\infty}^\infty\log p_\xi(x)\,dF_\xi(x) $.

Основание логарифма больше единицы, не забудьте.

Дифференциальной энтропией называется энтропия только абсолютно непрерывной случайной величины. Дифференциальная энтропия не является пределом интегральных сумм обычной энтропии, т.к. в интегральных суммах обычной энтропии есть множитель $ log(p_\xi(\Delta x)\Delta x) $, из-за которого интегральные суммы устремляются в бесконечность.

Комментарий: обратите внимание, что дифференциальная энтропия может быть отрицательной.

Свойства некоторых распределений Править

  1. Равномерно распределённая на $ [-a,a]\subset R $ случайная величина имеет наивысшую энтропию среди всех случайных величин, распределённых на $ [-a,a] $. $ \xi\sim R[-a,a]\Rightarrow\forall\eta\colon \mathbb P(|\eta| \leqslant a)=1 \ H(\xi) \geqslant H(\eta) $.
  2. Показательное распределение с параметром $ \lambda $ имеет наибольшую энтропию среди всех распределений, определённых на полуоси с мат. ожиданием $ \frac1\lambda $. $ \xi\sim P(\lambda)\Rightarrow\forall\eta\colon\mathbb P(\eta \geqslant0)=1, \mathbb E\eta=\frac1\lambda, \lambda>0 \ H(\xi) \geqslant H(\eta) $.
  3. На всей прямой, среди всех распределений с фиксированными мат. ожиданием и дисперсией, наибольшей энтропией обладает нормальное распределение. $ \xi\sim N(a, \sigma^2)\Rightarrow\forall\eta\colon\mathbb E\eta=a,\mathbb D\eta= \sigma^2 \ H(\xi) \geqslant H(\eta) $.


[ Предыдущий билет | К списку билетов | Следующий билет ]