Рост открытости

Apr 08, 2023

Сет Гриф-Альберт

Следовать

Обзор технологии QMIND

--

Слушать

Делиться

Технологии – интересное явление. В той или иной форме он может существовать довольно долго, скрыто или недоступно, пока однажды не появится полностью сформированным и не будет жадно поглощен публикой. Наступает новейшая золотая лихорадка XXI века. Эра коммерциализированного искусственного интеллекта (ИИ) ускоряется вперед, и вместе с ним ведется борьба за его потенциальную мощь и прибыль.

«ИИ», достигший необычайной распространенности, правильнее обозначить как его конкретную подгруппу — модели большого языка (LLM), но в массовой культуре есть способ присваивать модные словечки, которые применимы ко всей области. Многие, возможно, впервые услышали об «этой новой технологии искусственного интеллекта» от средств массовой информации или от члена семьи, а не от своей обычной ленты в Твиттере или технического блога – такова скорость ее распространения на рынке. В области искусственного интеллекта на протяжении многих лет наблюдается невероятный прогресс, но точка потребительского взрыва, похоже, пришлась на начало-середину декабря 2022 года, когда OpenAI выпустила ChatGPT для всеобщего доступа на веб-странице. Следующий график говорит сам за себя:

Очевидно, что люди жаждут взаимодействия и использования технологий искусственного интеллекта. Представьте себя разработчиком, который видит этот визуальный элемент, или руководителем гигантской технологической корпорации, или основателем стартапа. Заимствуя исторический опыт, мы можем сравнить нынешнюю эпоху искусственного интеллекта со Средневековьем. Правители обладали властью и богатством и охраняли свои замки, в то время как простолюдины были исключены. Время от времени бродячие варвары пытались узурпировать власть правителей. Крупные корпорации (Google, Meta, Microsoft и т. д.) занимают место в тронном зале, а разработчики и ученые играют роль аутсайдеров. Как разворачивается эта история? Вернемся в начало 2023 года.

ChatGPT отсутствовал уже больше месяца, а шумиха вокруг больших языковых моделей была в самом разгаре. Но что такое LLM? Они возникают как «основные модели» или специализированные алгоритмы, прошедшие длительные периоды обучения на огромных объемах текстовых данных. Результатом этого процесса является модель, которая может отвечать на языковые запросы разумными и звучными ответами. Эти модели имеют большое количество весов и параметров, которые для наших целей можно рассматривать как все изученные в процессе обучения шаблоны. Эти веса и параметры податливы и могут быть точно настроены. Здесь перед LLM стоит более конкретная задача, чем общая реконструкция текста. Самой популярной задачей с точной настройкой, которую мы видели до сих пор, был естественный разговор, но второе место занимает языковая модель, выполняющая текстовые инструкции.

Базовой моделью ChatGPT является GPT-3, которая была усовершенствована для диалогового взаимодействия с использованием обучения с подкреплением и обратной связью с человеком (RLHF), став GPT-3.5. По сути, реальные люди просмотрели кучу ответов, которые дал LLM, и выбрали те, которые были наиболее похожи на реальные разговоры. Эта точная настройка с участием человека превратила модель интеллектуального ввода текста (которая существовала уже больше года) в глобальное чудо, которое мы знаем сегодня. Точная настройка — мощный инструмент, способный превратить хаос данных в подобие порядка.

Но OpenAI был не единственным игроком в игре. Тихо работая, «Мета» готовила выпуск собственной модели фундамента. 24 февраля 2023 года в мире была запущена LLaMA (Large Language Model Meta AI). Вскоре все пошло наперекосяк.

Перенесемся меньше чем на неделю. День 2 марта 2023 года ознаменовал новое начало децентрализации ИИ: файл, содержащий веса LLaMA, был опубликован анонимным пользователем на сайте социальной сети 4chan. Это вызвало взрыв интереса, который покорил мир искусственного интеллекта. Весам не потребовалось много времени, чтобы проникнуть через Интернет на территорию GitHub и HuggingFace — по сути, на первую страницу Интернета, посвященную программному обеспечению и искусственному интеллекту соответственно.