ChatGPT повсюду. Но откуда он взялся?

ChatGPT повсюду. Но откуда он взялся?
ChatGPT повсюду. Но откуда он взялся?
Революционный бум, породившийся из умений OpenAI, разразился силой взрыва во вселенной технологий, внезапно разбудив интерес в технологическом мире и став в одночасье настоящим феноменом. Однако торжественный успех этого события результат долгой упорной работы, тянущейся сквозь десятилетия.

Эхо о ChatGPT не утихает, звуча повсюду

Этот чудо-бот, вышедший из под OpenAI как веб-приложение в далеком декабре, мгновенно стал явлением массовой культуры. По множеству оценок, это несомненно самый стремительно растущий сервис в истории интернета. Всего за два коротких месяца после своего старта, число его поклонников превысило невероятную отметку в сто миллионов. После того как OpenAI вступила в партнерство с Microsoft, вложившись в это сотней миллиардов долларов, они успешно втиснули эту новейшую технологию в рамки программного обеспечения Office и даже в поисковую систему Bing. А в ответ на конкуренцию со стороны Google, которая не засыпает на своем посту в области поисковых систем, разработка их собственного бота LaMDA набирает обороты. ChatGPT находится повсюду, даже в нашем семейном чате в WhatsApp обсуждения о нем чаще, чем воздух. Однако, разумеется, успех OpenAI не возник из вакуума. В конце концов, ChatGPT представляет собой воплощение долгого эволюционного пути, начатого много лет назад, в развитии выдающихся языковых моделей. Давайте вглядимся в это более детально, и погрузимся в историю.

Эпоха 1980-х и 1990-х

Давайте вернемся в эпоху 1980-х и 1990-х, времена расцвета рекуррентных нейронных сетей. Оказавшись в семидесятых руках OpenAI, ChatGPT не родился из пустоты, а является потомком величественного ряда GPT-3. Эта масштабная языковая модель оркестрирована в лабораториях OpenAI, отражая аналогию передачи сигналов между нейронами человеческого мозга. Однако именно здесь языковые модели, сутью которых являются разновидности нейронных сетей, обученных на огромных массивах текстовых данных, раскрывают свою глубину. Ведь тексты разнообразны, они состоят из переменных последовательностей букв и слов. Адаптация к этой гибкости требует специфического типа нейронной сети. Рекуррентные нейронные сети, впервые появившиеся в 1980-х, обладали навыками обработки последовательностей слов. Однако обучение их было трудоемким, а проблема забывания предыдущей информации могла стать узким местом. Переломным стал 1997 год, когда Сепп Хохрайтер и Юрген Шмидхубер внесли долгожданный вклад, представив миру нейронные сети LSTM (Long Short-Term Memory), революционные рекуррентные модели, способные сохранять предыдущую информацию в последовательности. И хотя LSTM расширили спектр работы с текстами, состоящими из сотен слов, их языковые возможности были ограничены.

Прокатимся к 2017 году, времени трансформеров

Совершенно новое направление открылось к языковым моделям огромной мощности, когда команда ученых из Google представила концепцию “трансформеров”. Это форма нейронных сетей, способных отслеживать местоположение каждого слова или фразы в контексте последовательности. Ключевым аспектом является понимание значения слова в зависимости от контекста, от окружающих слов, предшествующих или следующих. Трансформеры интегрировали эту контекстную информацию, что позволяло анализировать длинные текстовые строки и точнее передавать смысл слов. Примером может послужить слово “автобус”, которое приобретает разные значения в предложениях “В автобусе много пассажиров” и “На столе стоит игрушечный автобус”.

2018-2019: Появление GPT и GPT-2

Первые две важные лингвистические инициативы, появившиеся у OpenAI, проявились на горизонте с небольшим временным разрывом. Организация нацеливалась на созидание всеобъемлющего искусственного интеллекта, и в этом стремлении она усматривала решающие этапы через воплощение масштабных лингвистических моделей. Сокращение “GPT” расшифровывается как “Генеративный Предварительно Обученный Трансформер”. Оно стало мерилом новых стандартов, опередив в своей эпохе другие методы обработки естественного языка. GPT объединил в себе “трансформеры” с подходом к машинному обучению на неструктурированных данных (на обширных объемах текстов), лишенных предварительной разметки. Такая сплетенная связь дала программному обеспечению способность самостоятельно обнаруживать закономерности в информации, избегая четкой направленности, предварительно налагаемой на него. В прежних методах машинного обучения требовались постоянный контроль и ручная разметка данных, однако ручное означивание это медлительный процесс, ограничивающий общий объем доступных данных для обучения. Вход GPT-2 на арену вызвал еще более живой интерес. OpenAI выразила свои опасения относительно потенциального злоупотребления GPT-2 в целях “создания обманчивых, предвзятых или оскорбительных высказываний”, и это послужило мотивом для не выпускать полную версию модели.

2020: Появление GPT-3

GPT-2 оставил свой след, но последующий этап эволюции от OpenAI GPT-3 принес с собой потрясающий прогресс. Его способность генерировать текст, неотличимый от человеческого, стала настоящим прорывом. GPT-3 может отвечать на вопросы, извлекать информацию из документов, создавать тексты в различных стилях, выполнять перевод с нескольких языков, таких как английский, французский, испанский и японский, и многое другое. Его способность имитировать людей поражает воображение! Значительное достижение заключается в том, что успех GPT-3 достигнут путем расширения уже существующих методов, а не через полное изобретение новых. Он содержит 175 миллиардов параметров (значений в сети, подвергающихся коррекции в процессе обучения), в то время как у GPT-2 их было всего 1,5 миллиарда. Кроме того, GPT-3 обучался на намного более объемных данных. Но обучение на текстах из Интернета также внесло свои сложности. Он поглотил большое количество дезинформации и предвзятости, характерных для сетевого контента, и может воспроизводить их. Согласно OpenAI, “модели, обученные на основе Интернет-контента, несут в себе предвзятость масштабов Интернета”.

Декабрь 2020 года: Проблемы с токсичным контентом и другими вызовами

Пока OpenAI боролась с предвзятостью GPT-3, в мире технологий разгорелось обсуждение недостаточных усилий разработчиков по контролю за токсичными наклонностями искусственного интеллекта. Очевидно, что крупные языковые модели могут порождать ложный или агрессивный контент. Исследователи и журналисты выявили, что решение этой проблемы, возможно, находится не в приоритете у многих технологических компаний. В декабре 2020 года Тимнит Гебру, соавтор статьи, поднимающей вопрос о потенциальных рисках крупных языковых моделей (включая высокие вычислительные затраты), вызвала бурю недовольства в руководстве Google. Её последующее увольнение с должности в декабре 2020 года стало результатом этого конфликта.

Январь 2022: InstructGPT Evolved

В начале 2022 года, OpenAI предприняла значительные усилия для снижения распространения дезинформации и оскорбительных высказываний, которые в некоторых случаях могла генерировать GPT-3. С этой целью был разработан и представлен InstructGPT эволюция предыдущей модели. В основе этой новой версии лежал подход обучения с подкреплением, основанный на предпочтениях и инструкциях, предоставленных людьми-тестерами. В результате InstructGPT продемонстрировал более высокое соответствие указаниям пользователей и выявил улучшенную способность к предотвращению выдачи оскорбительных и дезинформационных материалов. Ошибки были сведены к минимуму. Словом, InstructGPT стал более ответственным инструментом, способным оперировать в соответствии с пожеланиями своих пользователей.

Май-июль 2022: OPT и BLOOM Объединение Сил

Комментарии, что большие языковые модели создаются исключительно для крупных научных лабораторий из-за своей дороговизны, наконец, получили свой ответ. Несколько организаций решили выйти за рамки этой проблемы, объединив свои усилия. Ключевым шагом стало совместное разработка и предоставление двух новых моделей OPT и BLOOM. Эти масштабные языковые модели стали реализацией заявленных целей: они были доступны для всех исследователей, не зависимо от финансового положения их лаборатории. Meta, в частности, разработала и внедрила OPT, версию GPT-3, доступную для общественности. В свою очередь, Hugging Face возглавила коллаборацию более тысячи добровольцев-исследователей, породнившую BLOOM.

Декабрь 2022: Новый Этап ChatGPT

Даже для OpenAI было поразительно, насколько успешно принято было появление ChatGPT. В уникальной демонстрации, проведенной за день до официального запуска, ChatGPT был представлен как следующий этап развития после InstructGPT. Это было нечто большее, нежели просто обновление. ChatGPT обладал умением вести более органичные беседы, исключительно благодаря обучению с подкреплением на основе обратной связи от людей-тестеров. Отзывы о новой модели свидетельствовали о ее натуральности, честности и вежливости в диалогах. Это был шаг вперед в понимании и реализации искусства разговора для искусственного интеллекта. OpenAI пригласила всех желающих присоединиться к игре и сотни тысяч пользователей уже воспользовались этой возможностью.

Chatgpt-Robot.ru ©
Чат GPT 4 на Русском Онлайн + Midjourney -