Взаимная информация

Взаимная информация - статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

$I\left({X;Y}\right)=H\left(X\right)-H\left({X;Y}\right)$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

$I\left({X;Y}\right)=I\left({Y;X}\right)$

• Взаиная информация неотрицательная и не превосходит информационную энтропию аргументов:

$0\leq I\left({X;Y}\right)\leq \min \left[H\left(X\right),H\left(Y\right)\right]$

Условная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

$I\left({X;Y|Z=z}\right)=H\left({X|Z=z}\right)-H\left({X|Y,Z=z}\right)$

Безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьй случайной величины:

$I\left({X;Y|Z}\right)=H\left({X|Z}\right)-H\left({X|Y,Z}\right)$

См. также

• Собственная информация
• Энтропия

Литература

• Шаблон:Книга:Габидулин Э.М., Пилипчук Н.И.: Лекции по теории информации