Теория информации — это раздел математики и кибернетики, изучающий количественное измерение, сжатие, передачу и хранение информации. Основоположником является Клод Шеннон, опубликовавший в 1948 году работу «Математическая теория связи».

БАЗОВЫЕ ПОНЯТИЯ:

• Информационная энтропия: Мера неопределенности или количества информации. Чем менее предсказуемо событие, тем больше информации содержит сообщение о его наступлении.

• Бит: Фундаментальная единица измерения информации, представляющая ответ на вопрос с двумя равновероятными исходами (да/нет, 1/0).

• Кодирование источника (сжатие данных): Алгоритмы устранения избыточности в данных для уменьшения их объема (с потерями или без потерь).

• Пропускная способность канала: Максимально возможная скорость передачи данных по каналу связи с заданным уровнем шума без возникновения ошибок (описывается теоремой Шеннона — Хартли).

• Канальное кодирование (помехоустойчивость): Добавление строго рассчитанной избыточности в сообщение, чтобы принимающая сторона могла обнаружить и исправить искажения, возникшие при передаче.

КЛЮЧЕВЫЕ ЗАДАЧИ:

• Определение абсолютного предела сжатия данных.

• Определение предельной скорости передачи информации по зашумленным каналам связи.

ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ:

• Создание алгоритмов архивации (ZIP, RAR).

• Разработка форматов медиа (MP3, JPEG, H.264).

• Построение сетей связи (Wi-Fi, 5G, оптоволоконные линии).

• Криптография и защита цифровых данных.

• Системы хранения данных на физических носителях (SSD, HDD).