Построение и исследование алгоритма аппроксимации функций с помощью нейронных сетей

Введение

Аппроксимация функции – это метод оценки неизвестной базовой функции с использованием исторических или доступных наблюдений изучаемой области. Нейронные сети могут аппроксимировать непрерывные функции. Ключ к способности нейронных сетей аппроксимировать любую функцию заключается в том, что они включают нелинейность в свою архитектуру. Каждый уровень связан с функцией активации, которая применяет нелинейное преобразование к выходным данным этого уровня. Это означает, что каждый слой не просто работает с некоторой линейной комбинацией предыдущего слоя.
Для нейронных сетей доказана следующая обобщённая аппроксимационная теорема: посредством линейных операций и каскадного соединения можно из произвольного нелинейного элемента получить устройство, вычисляющее любую непрерывную функцию с некоторой наперёд заданной точностью. Следовательно, нелинейная характеристика нейрона может быть произвольной: от сигмоидальной до произвольного волнового пакета или вейвлета, синуса или многочлена. Выбор нелинейной функции определяет сложность конкретной сети, но при этом с любой нелинейностью нейронная сеть остаётся универсальным аппроксиматором и правильный выбор структуры может обеспечить достаточно точную аппроксимацию функционирования любого непрерывного автомата.
Для целей аппроксимации наиболее эффективны следующие архитектуры нейросетей.
Обучение с учителем:
Перцептрон
Смешанное обучение:
Сеть радиально-базисных функций

Сети с прямой связью являются машинами аппроксимации функций, которые предназначены для достижения статистического обобщения. Истинная функция, которая сопоставляет входы с выходами, неизвестна и часто называется целевой функцией. Это цель процесса обучения, функция, которую сеть пытается аппроксимировать, используя только доступные данные.
Чем больше у нас доступных исторических примеров, тем больше можно узнать о функции сопоставления. Чем меньше шума имеется в наблюдениях, тем более точное приближение можно сделать для функции отображения.
Причина эффективности нейронных сетей как инструмента для аппроксимации функций состоит в том, что они являются универсальным аппроксиматором. Теоретически их можно использовать для аппроксимации любой функции.
Универсальная аппроксимационная теорема утверждает, что сеть прямого распространения с линейным выходным слоем и по крайней мере одним скрытым слоем с любой функцией активации (такой как логистическая функция активации сигмоида) может аппроксимировать любую функцию из одного конечномерного пространства в другой с любым желаемым ненулевым количеством ошибок, при условии, что в сети достаточно скрытых нейронов.



 

1. Нейронные сети и универсальная теорема аппроксимации

1.1. Общие понятия и определения

Аппроксимация функции – это метод оценки неизвестной базовой функции с использованием исторических или доступных наблюдений изучаемой области. Нейронные сети могут аппроксимировать непрерывные функции. Ключ к способности нейронных сетей аппроксимировать любую функцию заключается в том, что они включают нелинейность в свою архитектуру. Каждый уровень связан с функцией активации, которая применяет нелинейное преобразование к выходным данным этого уровня. Это означает, что каждый слой не просто работает с некоторой линейной комбинацией предыдущего слоя.
Некоторые общие нелинейные функции активации - это ReLU, Tanh и Sigmoid, сравнение которых показано на рис.1.

Рисунок 1. Нелинейные функции активации

Искусственные нейронные сети обучаются приближать функцию. При обучении с учителем набор данных состоит из входов и выходов, а алгоритм контролируемого обучения изучает, как лучше всего сопоставить примеры входных данных с примерами выходных данных.
Можно рассматривать это отображение как управляемое математической функцией, называемой функцией отображения, и именно эту функцию алгоритм контролируемого обучения стремится наилучшим образом аппроксимировать.
Нейронные сети являются примером алгоритма обучения с учителем и стремятся приблизить функцию, представленную исследуемыми данными. Это достигается путем вычисления ошибки между предсказанными выходными данными и ожидаемыми выходными данными и минимизации этой ошибки во время процесса обучения.
Сети с прямой связью являются машинами аппроксимации функций, которые предназначены для достижения статистического обобщения. Истинная функция, которая сопоставляет входы с выходами, неизвестна и часто называется целевой функцией. Это цель процесса обучения, функция, которую сеть пытается аппроксимировать, используя только доступные данные.
Чем больше у нас доступных исторических примеров, тем больше можно узнать о функции сопоставления. Чем меньше шума имеется в наблюдениях, тем более точное приближение можно сделать для функции отображения.
Причина эффективности нейронных сетей как инструмента для аппроксимации функций состоит в том, что они являются универсальным аппроксиматором. Теоретически их можно использовать для аппроксимации любой функции.
Универсальная аппроксимационная теорема утверждает, что сеть прямого распространения с линейным выходным слоем и по крайней мере одним скрытым слоем с любой функцией активации (такой как логистическая функция активации сигмоида) может аппроксимировать любую функцию из одного конечномерного пространства в другой с любым желаемым ненулевым количеством ошибок, при условии, что в сети достаточно скрытых нейронов.

1.2 Нейронные сети и универсальная теорема аппроксимации

Универсальная аппроксимационная теорема утверждает, что нейронные сети с одним скрытым слоем могут аппроксимировать любую непрерывную функцию.
Большинство вариантов универсальных аппроксимационных теорем можно разделить на два класса. Первый количественно оценивает возможности аппроксимации нейронных сетей с произвольным количеством искусственных нейронов (случай «произвольной ширины»), а второй фокусируется на случае с произвольным количеством скрытых слоев, каждый из которых содержит ограниченное количество искусственных нейронов (случай «произвольной глубины» ").
Универсальные аппроксимационные теоремы подразумевают, что нейронные сети могут представлять широкий спектр подходящих функций, если заданы соответствующие веса. С другой стороны, они обычно не обеспечивают построение весов, а просто заявляют, что такая конструкция возможна.
Одна из первых версий случая произвольной ширины была доказана George Cybenko (Джорджем Цыбенко) в 1989 году для сигмоидных активационных функций. Она утверждает, что искусственная нейронная сеть прямой связи (feed-forward), в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью.
Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор w1, w2, . . .wN, α и θ, где