это открывает возможности запускать новые продукты без больших штатов специалистов.
(2) ИСТОРИЧЕСКИЙ И ТЕХНОЛОГИЧЕСКИЙ КОНТЕКСТ: КАК МЫ ПРИШЛИ К GPT, DALL·E, MIDJOURNEY
2.1. Краткая ретроспектива развития ИИ
Термин «искусственный интеллект» существует с 1950-х годов. Тогда группа учёных (Джон Маккарти, Марвин Минский и др.) мечтала о «машине, способной мыслить как человек». Сменялись волны оптимизма и «зимы ИИ» (когда финансирование резко падало). Однако в 2010-х произошёл прорыв: благодаря массивным датасетам (цифровая эпоха дала огромное количество текстов, картинок, аудио) и росту вычислительных мощностей (GPU, облака), глубокое обучение (deep learning) продемонстрировало феноменальные успехи. В частности, такие направления, как компьютерное зрение (распознавание изображений) и обработка естественного языка (NLP) шагнули далеко вперёд.
Ключевой момент: появление архитектуры Transformer (статья «Attention Is All You Need», 2017). Именно на её основе были созданы модели семейства GPT (Generative Pre-trained Transformer), BERT, T5, позже – GPT-2, GPT-3, GPT-4. Новизна этой архитектуры в механизме «attention», позволяющем эффективно учитывать контекст во всём входном предложении/абзаце, избегая длинных цепочек рекуррентных вычислений.
2.2. Причины нынешнего хайпа
Сочетание больших данных (интернет как гигантский корпус текстов, Reddit-комментарии, Wikipedia, новости и т. д.).
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.