(или проверочную) выборку и тестовую выборку.
Модель обучается на обучающей выборке, настраивается с помощью валидационной выборки и проверяется на тестовой выборке. Это позволяет убедиться, что модель обобщает извлеченные из данных закономерности, признаки, а не просто запоминает ответы на конкретные примеры.
Вы скажите что определить кошка или собака просто, тогда давайте рассмотрим пример определения марки авто нейронкой и что для неё значит иметь правильную DataSet базу.
Представим, что у нас есть задача – обучить нейронную сеть отличать на фотографиях автомобили Mercedes от автомобилей BMW. Да, нейронные сети способны на это, и весьма успешно!
Мы начинаем с создания датасета. Это кажется простым, но уже на этом этапе наши решения могут существенно повлиять на результаты.
Сколько фотографий нам нужно? Чем больше, тем лучше – больше данных позволит модели обнаружить больше нюансов и деталей. Какое качество этих фотографий?
Важно, чтобы они были достаточно четкими и детализированными, чтобы модель могла увидеть все отличительные особенности автомобилей. Что насчет цвета?
Если наши фотографии включают в себя автомобили разных цветов, модель сможет лучше понять, что цвет кузова не влияет на марку автомобиля.
Теперь у нас есть датасет, и мы готовы начать обучение. Наша нейронная сеть, можно сказать, работает как серия фильтров, каждый из которых «вылавливает» определенные характеристики изображений. Первый слой может улавливать простые вещи, например, границы и контуры объектов.
Второй слой, работая с информацией от первого, может начать распознавать более сложные вещи, такие как формы и узоры. Это может быть капот автомобиля или его фары.
Третий слой может увидеть еще более сложные детали – например, форму логотипа на решетке радиатора.
В конце концов, последний слой нашей нейронной сети получает информацию от всех предыдущих слоев и делает окончательное предсказание: это Mercedes или BMW.
Если он правильно угадывает на большинстве примеров в нашем датасете, мы можем сказать, что наша модель обучилась успешно.
Я помню, как в детстве сам учился распознавать модели авто. База данных, которая сейчас доступна нейронным сетям, была мне недоступна.
Я должен был довольствоваться более скромной коллекцией изображений, которую я черпал из старых автомобильных журналов и альбомов почтовых марок.
Эти изображения и были моими драгоценными датасетами, моими первыми шагами в большой мир автомобильных брендов.
Не забыл я и мальчика по имени Саша, соседского ребенка, который всегда был увлечен машинами. Он был младше меня, и я решил научить его тому, что знал сам.
Но как объяснить ему разницу между Mercedes и BMW? Как сформировать в его мозгу ассоциации, которые помогут ему отличать эти марки автомобилей?
Со временем я придумал игру.