Избыточность языка
Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.
Математическое определение
[править | править код]Математически данная величина определяется как
где — абсолютная энтропия языка, — фактическая энтропия языка.
Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).
Избыточность естественных языков
[править | править код]Величина избыточности разных языков мира колеблется в пределах 70-80%[1]. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок[2].
Избыточность и сжатие текстов
[править | править код]С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.
Литература
[править | править код]- Шнайер Б. Глава 11. Математические основы. Энтропия языка. // Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4.
Примечания
[править | править код]- ↑ Гуларян А.Б. Принцип избыточности как основа построения семантических систем // Электронный научно-образовательный журнал "Грани познания". - № 1(6). - Май 2010.
- ↑ Ягелло М. Алиса в стране языка: Тем, кто хочет понять лингвистику. Пер. с фр. Изд. 3-е. М.: Едиториал УРСС, 2010. - С. 38-41.