на случай многослойных сетей алгоритма Видроу-Хоффа (дельта-правила) обучения однослойных сетей.
К достоинствам методов двух следующих групп можно отнести их более высокое качество обучения, а к их недостаткам – очень большое число шагов обучения, что затрудняет их применение для обучения НС больших размерностей.
Эффективное обучение рекуррентных нейронных сетей остается темой требующей внимания и активного исследования. Несмотря на огромный потенциал и возможности рекуррентных нейронных сетей, главной проблемой является трудность обучения их, сложность и низкая сходимость существующих алгоритмов обучения.
Нейронные сети радиально-базисных функций
При изложении теоретических сведений использовались работы [1, 12—13].
Сети радиально-базисных функций (РБФ) имеют ряд преимуществ перед рассмотренными многослойными сетями прямого распространения. Во-первых, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, тем самым избавляя разработчика от необходимости решать вопрос о числе слоев. Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейной оптимизации, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении с использованием алгоритма обратного распространения ошибки. Поэтому сеть РБФ обучается очень быстро – на порядок быстрее, чем с использованием алгоритма обратного распространения ошибки.
На рис. 1.3 представлена структурная схема нейронной сети радильно-базисных функций с n входами и m выходами, осуществляющая нелинейное преобразование.
Рис. 1.3. Нейронная сеть радиально-базисных функций
Нейронная сеть радиальных базисных функций содержит в наиболее простой форме три слоя: обычный входной слой, выполняющий распределение данных образца для первого слоя весов; слой скрытых нейронов с радиально симметричной активационной функцией, каждый i-й из которых предназначен для хранения отдельного эталонного вектора в виде вектора весов; выходной слой. Для построения сети РБФ необходимо выполнение следующих условий.
Во-первых, наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя. Во-вторых, наличие способа измерения расстояния входного вектора от эталона. Обычно это стандартное евклидово расстояние. В-третьих, специальная функция активации нейронов скрытого слоя, задающая выбранный способ измерения расстояния. Обычно используется функция Гаусса, существенно усиливающая малую разницу между входным и эталонным векторами. Выходной сигнал эталонного нейрона скрытого слоя – это функция (гауссиан) от расстояния между входным вектором x и сохраненным центром wi.
Обучение слоя образцов-нейронов сети подразумевает предварительное проведение кластеризации