Взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

$I(X;Y)=H(X)-H(X\mid Y)=H(X)+H(Y)-H(X,Y)$

Свойства взаимной информации

• Взаимная информация является симметричной функцией случайных величин:

$I(X;Y)=I(Y;X)$

• Взаимная информация неотрицательна и не превосходит информационную энтропию аргументов:

$0\leq I(X;Y)\leq \min[H(X),H(Y)]$

В частности, для независимых случайных величин взаимная информация равна нулю:

$I(X;Y)=H(X)-H(X\mid Y)=H(X)-H(X)=0$

В случае, когда одна случайная величина (например, $X$) является детерминированной функцией другой случайной величины ($Y$), взаимная информация равна энтропии:

$I(X;Y)=H(X)-H(X\mid Y)=H(X)-0=H(X)$

Условная и относительная взаимная информация

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

$I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)$

Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

$I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)$

Свойства

• Являются симметричными функциями:

$I(X;Y\mid Z)=I(Y;X\mid Z)$

$I(X;Y\mid Z=z)=I(Y;X\mid Z=z)$

• Удовлетворяют неравенствам:

$0\leq I(X;Y\mid Z)\leq \min[H(X\mid Z),H(Y\mid Z)]$

$0\leq I(X;Y\mid Z=z)\leq \min[H(X\mid Z=z),H(Y\mid Z=z)]$

Взаимная информация трёх случайных величин

Определяют также взаимную информацию трёх случайных величин:

$I(X;Y;Z)=I(X;Y)-I(X;Y\mid Z)$

Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов $(x,y,z)$, таких, что $x\oplus y\oplus z=0$. Определим случайные величины $X,Y,Z$ как значения битов $x,y,z$, соответственно. Тогда

$I(X;Y)=H(X)-H(X\mid Y)=1-1=0,$

но при этом

$I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=1+0=1,$

а, следовательно, $I(X;Y;Z)=-1$.

Литература

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
• Верещагин Н.К., Щепин Е.В. Информация, кодирование и предсказание. — М.: ФМОП, МЦНМО, 2012. — 238 с.