Информационная энтропия: различия между версиями
| [непроверенная версия] | [непроверенная версия] |
Содержимое удалено Содержимое добавлено
→Формальные определения: Опечаточка Метки: с мобильного устройства из мобильной версии |
|||
Строка 6:
== Формальные определения ==
Информационная '''двоичная энтропия''', при отсутствии информационных потерь, рассчитывается по
<math>i = \log_2 N</math>,
где <math>N</math> - мощность алфавита, <math>i</math> - количество информации в каждом символе сообщения. Для независимых случайных событий <math>x</math> с <math>n</math> возможными состояниями, распределённых с вероятностями <math>p_i</math> (<math>i=1,...,n</math>), формула Хартли переходит в формулу Шеннона:
<math>H(x)=-\sum_{i=1}^np_i\log_2 p_i.</math>
| |||