Формула Хартли: различия между версиями
[непроверенная версия] | [непроверенная версия] |
Нет описания правки Метки: с мобильного устройства из мобильной версии |
Нет описания правки Метки: с мобильного устройства из мобильной версии |
||
Строка 10: | Строка 10: | ||
<math>i = \log_2 N</math> |
<math>i = \log_2 N</math> |
||
Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации: |
|||
⚫ | |||
<math>\log_2 1 = 0</math> |
|||
⚫ | |||
: <math>|A| = N.</math> |
: <math>|A| = N.</math> |
||
Версия от 23:01, 2 октября 2019
Для улучшения этой статьи желательно:
|
Формула Хартли или хартлиевское количество информации или мера Хартли - логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.
Где N - количество символов в алфавите (мощность алфавита), K - длина сообщения, I - количество информации в сообщении в битах.
Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:
Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:
Пусть, имеется алфавит А, из N букв которого составляется сообщение:
Количество возможных вариантов разных сообщений:
где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.
Пример: Алфавит состоит из двух символов «0» и «1», длина сообщения 3 буквы — таким образом, N = 2, K = 3. При выбранных нами алфавите и длине сообщения можно составить разных сообщений: «000», «001», «010», «011», «100», «101», «110», «111» — других вариантов нет.
Формула Хартли определяется:
где I — количество информации в битах.
При равновероятности символов формула Хартли переходит в собственную информацию.
Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.
Иллюстрация
Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска, как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задаётся вопрос: «число меньше N?». Любой из ответов «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном счёте загаданное число будет найдено.
Сколько вопросов надо задать, чтобы найти задуманное число от 1 до 100. Допустим, загаданное число 27. Вариант диалога:
Больше 50? Нет. Больше 25? Да. Больше 38? Нет. Меньше 32? Да. Меньше 29? Да. Меньше 27? Нет. Это число 28? Нет.
Если число не 28 и не меньше 27, то это явно 27. Чтобы угадать методом «деления пополам» число от 1 до 100, нам потребовалось 7 вопросов.
Можно просто спрашивать: это число 1? Это число 2? И т. д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» — оптимальный в данном случае способ нахождения числа. Объём информации, заложенный в ответ «да»/«нет», если эти ответы равновероятны, равен одному биту (действительно, ведь бит имеет два состояния: 1 или 0). Итак, для угадывания числа от 1 до 100 нам потребовалось семь битов (семь ответов «да»/«нет»).
Такой формулой можно представить, сколько вопросов (битов информации) потребуется, чтобы определить одно из возможных значений. N — это количество значений, а i — количество битов. Например, в нашем примере 27 меньше, чем 28, однако больше, чем 26. Да, нам могло бы потребоваться и всего 6 вопросов, если бы загаданное число было 28.
Формула Хартли:
Количество информации (i), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).
Формула Шеннона[1]
Когда события не равновероятны, может использоваться формула Шеннона:
где pi вероятность i-го события.
См. также
- ↑ Шеннон, Клод // Википедия. — 2019-08-05.