Взаимная информация

Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.

Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как

Свойства взаимной информации

править
  • Взаимная информация является симметричной функцией случайных величин:
 
 

В частности, для независимых случайных величин взаимная информация равна нулю:

 

В случае, когда одна случайная величина (например,  ) является детерминированной функцией другой случайной величины ( ), взаимная информация равна энтропии:

 

Условная и относительная взаимная информация

править

Условная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданного значения третьей:

 

Относительная взаимная информация — статистическая функция трёх случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой, при условии заданной третьей случайной величины:

 

Свойства

править
  • Являются симметричными функциями:
 
 
  • Удовлетворяют неравенствам:
 
 

Взаимная информация трёх случайных величин

править

Определяют также взаимную информацию трёх случайных величин:

 

Взаимная информация трёх случайных величин может быть отрицательной. Рассмотрим равномерное распределение на тройках битов  , таких, что  . Определим случайные величины   как значения битов  , соответственно. Тогда

 

но при этом

 

а, следовательно,  .

Литература

править
  • Габидулин Э. М., Пилипчук Н. И. Лекции по теории информацииМФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
  • Верещагин Н.К., Щепин Е.В. Информация, кодирование и предсказание. — М.: ФМОП, МЦНМО, 2012. — 238 с.