Курс по работе с API ChatGPT: как пользоваться нейросетью Chat GPT-4

Курс по работе с API ChatGPT: как пользоваться нейросетью Chat GPT-4

Недавно я закончил запись курса "API ChatGPT для автоматизации бизнеса". После записи всех уроков захотелось поделиться с вами мыслями про ChatGPT и его API и показать чем этот курс может быть вам полезен. В этой статье кратко разберу содержание 10-ти уроков и распишу свои мысли по языковым моделям GPT. Это не рекламная статья, скорее концентрация мыслей по теме.

Ну а курс доступен на странице https://directprorf.ru/chatgpt. Заходите 😊  

Нужен ли вообще API ChatGPT?

Я выделяю 4 основных причины использовать API ChatGPT:

  1. Массовая работа (работа в цикле)
  2. Возможность дообучения
  3. Интеграции с другими сервисами
  4. Реализация взаимодействия на своей стороне

Если ваша задача не циклична, если она не требует управляемого дообучения, если вам не нужны интеграции с другими сервисами и не требуется реализация взаимодействия с GPT на своей стороне, API вам не нужно. Гораздо эффективнее будет сидеть в интерфейсе ChatGPT и пользоваться последней доступной моделью (например GPT-4) на тарифе ChatGPT Plus. 

Для обычного человека работа без API - сплошные преимущества;) Это и быстрый доступ к последней модели нейросети, и любые форматы сообщений (хоть таблица, хоть список, хоть код), и конечно автоматическое запоминание контекста беседы. Хотя вы никак не управляете запоминанием контекста диалога внутри ChatGPT. Нет, я верю в запоминание контекста на стороне OpenAI, но неуправляемость процесса вызывает вопросы. 

При работе с API всё по-другому. Контекст беседы тут вообще не запоминается сам, с форматами еще надо поработать, а доступ к GPT-4 даётся не всем и не сразу. Да, еще API стоит денег 😫 Но API даёт вам и возможности автоматизации, и гибкое управление дообучением, и конечно возможности интеграций и вообще полную свободу действий в рамках своих продуктов. 

Как работать - через API или в интерфейсе - каждый выберет сам. Если вы не планируете внедрять API и автоматизацию, наш курс будет для вас познавательным, но мало применимым. 

Языковые модели: GPT-3.5-Turbo, Text-Davinchi-003 и т.д.

В основе любого GPT лежит обученная языковая модель. У OpenAI их несколько: от самых старых до последней - GPT-4. В интерфейсе выбор моделей небольшой и доступен пользователям ChatGPT Plus - они могут выбирать GPT-3.5 или GPT-4. По API выбор моделей больше, но они старые, а доступ к GPT-4 даётся только с одобрения OpenAI. Оптимальная модель для API - gpt-3.5-turbo (аналог GPT-3.5 в интерфейсе). Она самая дешевая и доступна всем, ничего не нужно ждать - бери и используй!

Анонсы всех видео, статей и полезностей - в нашем Telegram🔥
Присоединяйтесь, обсуждайте и автоматизируйте!

При использования любой модели вы будете тратить какое-то количество токенов на запрос и ответ. У каждой модели есть свой лимит по токенам за один запрос+ответ. За токенами в языковых моделях надо следить, поскольку от этого зависит сколько денег вы потратите. И особенно это важно когда вы планируете процессы с большим количеством запросов - тут можно сжечь весь бюджет, особенно на GPT-4.

Сферы использования ChatGPT 

Какие основные сферы применения ChatGPT выделил я:

  • Развлечения
  • Личная эффективность (включая обучение)
  • Создание промптов
  • Работа с языками (переводы итд)
  • Помощник по бизнесу
  • Маркетинг и продажи
  • Создание контента
  • Программирование
  • Работа внутри команды
  • Саммаризация контента
  • Коммуникации и чатботы
  • Работа с продуктами/товарами
  • Текстовые и мультимодальные сервисы на базе ChatGPT

Может вы придумаете еще, давайте пополним список;)

Тут важно понять где нужно API, а где - вообще не нужно. У каждой сферы свои особенности применения Chat GPT.

Правила и фишки промпт-инжиниринга

Если вы хотите получить крутой результат - над промптом надо поработать. Любые детали будут полезны - о чём вы пишете, от чьего имени, какой эмоциональный накал и так далее. Чем больше инфы дадите модели, тем точнее будет ответ. Языковая модель - всего лишь инструмент, а результат её работы - ответственность человека.

Подобрав один раз хороший промпт под свою задачу, можно использовать его многократно. Не бойтесь экспериментировать - в конечном итоге это экономит вам время.

Циклическое создание и сокращение текстов на GPT

Мне нравится экспериментировать с этим в Excel - используя Power Query или в Telegram-боте, используя Python. Писать тексты можно как в интерфейсе ChatGPT, так и по API. В интерфейсе удобно использовать GPT-4 и разные форматы - таблицы и списки, по API - удобно работать массово. 

Но моё любимое направление - саммаризация. Это экономит время и больше относится к работе по API. Ведь чтобы саммаризировать чат в Telegram и получить выжимку, вы не будете вручную грузить в ChatGPT все сообщения 😝

Один из кейсов по саммаризации я рассказал на конференции по Excel. Всего за 40 минут мы получили JSON из чата Telegram и написали на Power Query алгоритм, который получает выжимку сообщений за каждый день. Получилась отличная демонстрация возможностей API ChatGPT, до сих пор иногда пользуюсь этим саммаризатором когда лень читать всё;)

Дообучение GPT-моделей

Без дообучения все ответы языковых моделей будут однотипными, скучными и потеряются на фоне остальных подобных. Чтобы выделиться и получить оригинальный ответ есть 2 варианта - либо добавлять в промпты множество доп. информации вручную, либо тоже самое, но по API. 

Это касается также индивидуальной работы с пользователями. Хотите индивидуальный самобытный ответ от GPT - дайте модели нужную инфу. 

Подобрать информацию для промпта можно тремя способами:

  1. подкинуть в промпт данные пользователя/товара (если знаем пользователя/товар)
  2. по условию (если в промпте содержится "собака", добавляем инфу о собаке)
  3. с помощью векторного поиска (об этом подробнее далее)

Без дообучения польза от ChatGPT крайне мала. Общедоступную информацию с таким же успехом можно найти в Google, а вот написать индивидуальный текст - нет.

Интеграции разных сервисов на базе нейросетей

Настоящий рост нейросетей начался с приходом качественных текстовых моделей. Через текст связано всё - на текстах строятся видео и аудио, из текста состоят статьи и книги, да и общение людей базируется на тексте (за исключением невербальной коммуникации). Естественно качественные GPT-модели дали мощный рост всей отрасли ИИ.

Люди начали с бешеной скоростью создавать продукты и использовать ИИ во всех сферах. Саммаризаторы видео, генераторы аудио, автоматические комиксы и многое другое. Фильмы и книги теперь создаются без участия человека. 

У нас есть 4 основных типа контента: текст, картинка, аудио и видео. ChatGPT может применяться для создания всех этих типов. А еще они могут сочетаться и давать удивительные продукты на выходе🙀

Автоматизация и внедрение API

Рынок меняется с огромной скоростью, новые сервисы на базе ИИ появляются почти каждый день. Если вы не имеете готовой команды, инфраструктуры и знаний для создания своего продукта - простой совет: примените ChatGPT в своей предметной области. 

Многие эксперты по рекламе, маркетингу, СЕО и другим сферам продолжили обучать других, но уже используя в работе ChatGPT. И если сервисов на ИИ полно, то сервисов, эффективно решающих узкие отраслевые задачи - мало. Если вы хорошо знаете свою область, ChatGPT может стать для вас огромным драйвером роста в ней.

Если кто-то захочет внедрить API ChatGPT, заранее нарисуйте схему взаимодействия сервисов и подумайте к какой модели вы будете обращаться в случае ошибок от чата и его перегрузки (а это бывает). Начинать можно с простого и переходить уже к более прокаченным вариантам. Самые интересные варианты требуют дообучения и интеграции с векторными базами данных.

Векторизация и векторные базы данных

Эта тема относится ко всем LLM (Large Language Models). У любой LLM как правило есть 2 проблемы: нет свежих/точных данных, объем запросов и ответов ограничен. Тот же ChatGPT не знает вчерашние новости + он ничего не знает о вас. Но это легко обойти;)

Вся схема работает в 2 этапа - подготовка и использование. На первом этапе вы разбиваете ваши данные на фрагменты, затем векторизуете каждый фрагмент с помощью специально обученной модели и сохраняете в векторную базу данных (или просто в переменную). 

Затем, при выполнении запроса к модели, вы также векторизуете каждый запрос и ищете близкие к нему по смыслу данные в БД. Векторизация пригодится для поиска близких смыслов. Когда вы нашли релевантные запросу фрагменты, остаётся добавить их в промпт и попросить модель мягко учесть их при ответе.

Что лучше использовать для дообучения на базе векторов? Один из самых популярных фреймворков для разработки подобных инструментов - LangChain. В нём есть множество функций и всё уже подготовлено для создания решений на базе векторных БД. 

Отдельного внимания заслуживает векторная база данных Chroma, хорошо работающая с LangChain. Инструментами для самой векторизации могут служить библиотека "sentence_transformers" или модель OpenAI "text-embedding-ada-2".

Плагины и AutoGPT

При появлении ChatGPT многие поняли, что ему не хватает свежих данных и некоторой самостоятельности. Представьте, что модель сможет искать в вашей округе кофейни с самой высокой оценкой и заказывать там кофе - вот это была бы настоящая самостоятельность и свежесть. Чтож, теперь этот вопрос решился;)

Тут OpenAI поступили гениально. Как удержать пользователей в чате, чтобы все не ушли общаться с ним по API? Правильно, сделать API дороже, последнюю модель недоступнее, а в сам чат встроить плагины. Плагины позволяют не подключаться к API ChatGPT, а включить в ChatGPT своё API. 

Как это работает: вы пишете несложный код, регистрируете плагин и ваше API доступно из ChatGPT (если конечно плагин одобрят). Это целый новый store ничем не хуже App Store или Google Play. Добавьте в своё API функцию поиска и покупки кофе, загрузите свой плагин в чат и он сможет подбирать и покупать вам кофе. 

Но энтузиасты пошли дальше. На гитхаб выложили AutoGPT - опенсорсный ИИ, который имеет доступ в интернет и сам выбирает решение задачи. Это по сути активный ИИ, который размышляет, подбирает решения и осуществляет их. Он может взаимодействовать с API ChatGPT если дать ему токен вашего аккаунта.

Страшно представить на что способен инструмент, у которого есть доступ в интернет и который может сам ставить себе задачи. Он составляет план задачи, детализирует всё и пытается осуществить по шагам. Говорят, он часто тупит и циклится, но сам факт его наличия поражает. Да, кто-то уже поставил ему задачу захватить мир, осталось подождать 🤖

Итоги

Если в этой статье вы нашли много нового и познавательного, сам курс будет как минимум интересен. Но он будет применим только если вы планируете пользоваться API а не просто сидеть в интерфейсе. https://directprorf.ru/chatgpt - еще раз ссылочка на курс, для всех любителей автоматизации😊

Гораздо интереснее работать с теми, кто хочет внедрять, задаёт вопросы и заставляет изучать новое. Но будем рады и тем, кто просто придёт послушать. В современном мире важно знать все возможности нейросетей, особенно текстовых. Возможно в будущем у вас дойдут руки до внедрения, а пока - это как минимум увлекательно🔥

 

Комментарии