Взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

$I\left({X;Y}\right)=H\left(X\right)-H\left({X|Y}\right)=H\left(X\right)+H\left(Y\right)-H\left({X,Y}\right)$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

$I\left({X;Y}\right)=I\left({Y;X}\right)$

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

$0\leq I\left({X;Y}\right)\leq \min \left[H\left(X\right),H\left(Y\right)\right]$

В частности, для независимых случайных величин взаимная информация равна нулю:

$I\left({X;Y}\right)=H\left(X\right)-H\left(X|Y\right)=H\left(X\right)-H\left(X\right)=0$

В случае, когда одна случайная величина (например, $X$) является детерминированной функцией другой случайной величины ($Y$), взаимная информация равна энтропии:

$I\left({X;Y}\right)=H\left(X\right)-H\left(X|Y\right)=H\left(X\right)-0=H\left(X\right)$

Условная и безусловная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

$I\left({X;Y|Z=z}\right)=H\left({X|Z=z}\right)-H\left({X|Y,Z=z}\right)$

Безусловная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

$I\left({X;Y|Z}\right)=H\left({X|Z}\right)-H\left({X|Y,Z}\right)$

Свойства

• Являются симметричными функциями:

$I\left({X;Y|Z}\right)=I\left({Y;X|Z}\right)$

$I\left({X;Y|Z=z}\right)=I\left({Y;X|Z=z}\right)$

• Удовлетворяют неравенствам:

$0\leq I\left({X;Y|Z}\right)\leq \min \left[H\left({X|Z}\right),H\left({Y|Z}\right)\right]$

$0\leq I\left({X;Y|Z=z}\right)\leq \min \left[H\left({X|Z=z}\right),H\left({Y|Z=z}\right)\right]$

Литература

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3