строго. То есть, для заданного множества изображений можно построить набор наилучших картинок, из которых может быть составлено каждое изображение из этого множества. «Наилучших» в том смысле, что составленное из этих картинок изображение будет отличаться от исходного минимальным образом. И при важном условии, что каждое изображение составляется из небольшого количества картинок.
Основная цель решения этой задачи не в том, чтобы получить составные изображения, близкие к исходным, а в том, чтобы найти элементарные компоненты изображений данного класса, позволяющие экономным образом закодировать их структуру.
Когда такой алгоритм (sparse coding, разреженное кодирование) обработал около полумиллиона кусочков изображений пейзажей и других сцен окружающего нас мира, то полученные элементарные картинки оказались невероятно похожи на картинки, на которые настроены рецептивные поля некоторых из нейронов первичных зрительных зон головного мозга!
Если составление изображений из кусочков сравнить с составлением слов из букв, то получается, что полученный алфавит (набор элементарных картинок) содержит много букв, но каждое изображение представляет собой короткое слово. В этом и состоит «разреженность». Получается что-то вроде китайской азбуки, но вид иероглифов не придуман людьми, а вычислен оптимальным образом для заданного набора понятий, которые должны быть описаны этим языком.
Если это все действительно так, то вырисовывается следующая схема.
1. Каждый «пиксель» изображения на сетчатке представлен в высших разделах зрительной коры головного мозга в виде возбуждения только тех нейронов, для которых картинка в окрестности этого пикселя «совпала» с той, на которую настроены их рецептивные поля. Нейронов, в рецептивных полях которых находится окрестность данного пикселя – много, может быть, сотни тысяч и больше, но для конкретного изображения (одного из тех, которые могут встретиться в природе), всегда сработает только небольшое их количество, возможно, единицы или десятки (в этом и проявляется разреженность!).
2. Картинки в рецептивных полях, на которые реагируют нейроны зрительной коры, формируются в процессе самообучения в раннем возрасте, а может быть, и в течение всей жизни. Когда младенец с удивлением рассматривает яркую игрушку, может быть, в это время это и происходит. Получающиеся картинки различаются рисунком, ориентацией и полосой пространственных частот этого рисунка.
Если верно, что наружное коленчатое тело преобразует изображение на сетчатке в последовательность изображений с разными интервалами пространственных частот, то тем самым дается шанс нейронам, настроенным на разные частоты, «опознать» свой рисунок.
Полагают, что разреженное кодирование является общим принципом кодирования сенсорной информации в нервной системе и используется, в частности, для кодирования природных звуков или запахов.
Благодаря представлению информации, полученной от сенсоров, в виде разреженного кода:
• выявляется