Модели измерения информации

Введение
Информация представляет собой фундаментальную характеристику бытия, понятие-аксиому. Этот термин, как материя, энергия, пространство и время, которое не сводится к более интегрированным терминам.
Философский энциклопедический словарь (ФилЭС) утверждает, что термин «информация» берет свое начало от латинского «informatio», что означает ознакомление, разъяснение, представление, понятие. Под информацией можно понимать:
1) сообщение, осведомление о том, как обстоят дела. Это могут быть сведения о чем-либо, которое передается человеком.
2) сокращаемую, снимаемую неопределенность в итоге получения сообщений;
3) сообщение, которое связывается с управлением, сигналы в общности синтаксических, семантических и прагматических характеристик;
4) отображение процессов и объектов в их многообразии.
Целью данной работы является рассмотрение моделей измерения информации и информационных мер (Хартли, Шеннона и др.).
Задачи:
- рассмотреть модели измерения информации;
- охарактеризовать формулу Р. Хартли;
- проанализировать теорию информации К. Шеннона.







1 Модели измерения информации. Формула Р. Хартли
Развитие информационных средств (телефона, радио, телеграфа) в начале прошлого столетия потребовало присутствия количественных методов исследования свойств трактов передачи сообщений. При этом важно было отвлекаться от смысла самих сообщений. Термины неопределенности и вероятности являются взаимно обратимыми. Выбор одного или некоторого числа вариантов из большого количество сокращает эту неопределенность. К примеру, пусть определенное событие обладает m равновероятными исходами. Это событие, к примеру, может быть появление любого символа алфавита, который включает в себя m таких символов. Число информации, переданное при помощи данного алфавита, измеряемо, если определить число N возможных сообщений, которые передаются при помощи данного алфавита. В случае, если сообщение включает в себя n символов (n - длина сообщения), то N=mn.
До 1948 г. ученые различных стран закладывали предпосылки для того, чтобы теория информация конструировалась и формировалась постепенно. Части данной теории можно найти в таких системах связи еще 1948 года, как телеграф, передача сигналов с применений амплитудной модуляции (АМ), частотной модуляции (ЧМ), импульсно-кодовой модуляции (ИКМ) и др.
Одно из направлений информационной теории – сокращение избыточности сообщений, которые передаются. Данный вопрос был поставлен на повестку дня еще до того, как сформировалась сама теория информации. Так, в 1837 году С. Морзе (изобретатель телеграфа) создал код, который принимал во внимание статистику букв алфавита. Это и было первым образцом статистического кодирования на практике, произошедшего с дискретным источником при помощи неравномерного кода.
Код Морзе и сейчас находит себе практическое применение. Это – неоспоримый аргумент его высокого уровня эффективности.
Еще один итог, который получен еще до того, как была сконструирована информационная теория – это концепция Вебера–Фехнера о логарифмической связи стимула и реакции. Это и есть первый информационный научный закон.
В 1916 г. М. В. Шулейкин и в 1922 г. Дж. Карлсон параллельно друг от друга вводят термин «спектр сигналов». Так, Шулейкин это применил к АМ-сигналам, Карлсон – к ЧМ-сигналам.