Недавно я закончил запись курса "API ChatGPT для автоматизации бизнеса". После записи всех уроков захотелось поделиться с вами мыслями про ChatGPT и его API и показать чем этот курс может быть вам полезен. В этой статье кратко разберу содержание 10-ти уроков и распишу свои мысли по языковым моделям GPT. Это не рекламная статья, скорее концентрация мыслей по теме.
Ну а курс доступен на странице https://directprorf.ru/chatgpt. Заходите 😊
Нужен ли вообще API ChatGPT?
Я выделяю 4 основных причины использовать API ChatGPT:
- Массовая работа (работа в цикле)
- Возможность дообучения
- Интеграции с другими сервисами
- Реализация взаимодействия на своей стороне
Если ваша задача не циклична, если она не требует управляемого дообучения, если вам не нужны интеграции с другими сервисами и не требуется реализация взаимодействия с GPT на своей стороне, API вам не нужно. Гораздо эффективнее будет сидеть в интерфейсе ChatGPT и пользоваться последней доступной моделью (например GPT-4) на тарифе ChatGPT Plus.
Для обычного человека работа без API - сплошные преимущества;) Это и быстрый доступ к последней модели нейросети, и любые форматы сообщений (хоть таблица, хоть список, хоть код), и конечно автоматическое запоминание контекста беседы. Хотя вы никак не управляете запоминанием контекста диалога внутри ChatGPT. Нет, я верю в запоминание контекста на стороне OpenAI, но неуправляемость процесса вызывает вопросы.
При работе с API всё по-другому. Контекст беседы тут вообще не запоминается сам, с форматами еще надо поработать, а доступ к GPT-4 даётся не всем и не сразу. Да, еще API стоит денег 😫 Но API даёт вам и возможности автоматизации, и гибкое управление дообучением, и конечно возможности интеграций и вообще полную свободу действий в рамках своих продуктов.
Как работать - через API или в интерфейсе - каждый выберет сам. Если вы не планируете внедрять API и автоматизацию, наш курс будет для вас познавательным, но мало применимым.
Языковые модели: GPT-3.5-Turbo, Text-Davinchi-003 и т.д.
В основе любого GPT лежит обученная языковая модель. У OpenAI их несколько: от самых старых до последней - GPT-4. В интерфейсе выбор моделей небольшой и доступен пользователям ChatGPT Plus - они могут выбирать GPT-3.5 или GPT-4. По API выбор моделей больше, но они старые, а доступ к GPT-4 даётся только с одобрения OpenAI. Оптимальная модель для API - gpt-3.5-turbo (аналог GPT-3.5 в интерфейсе). Она самая дешевая и доступна всем, ничего не нужно ждать - бери и используй!
Анонсы всех видео, статей и полезностей - в нашем Telegram🔥
Присоединяйтесь, обсуждайте и автоматизируйте!
При использования любой модели вы будете тратить какое-то количество токенов на запрос и ответ. У каждой модели есть свой лимит по токенам за один запрос+ответ. За токенами в языковых моделях надо следить, поскольку от этого зависит сколько денег вы потратите. И особенно это важно когда вы планируете процессы с большим количеством запросов - тут можно сжечь весь бюджет, особенно на GPT-4.
Сферы использования ChatGPT
Какие основные сферы применения ChatGPT выделил я:
- Развлечения
- Личная эффективность (включая обучение)
- Создание промптов
- Работа с языками (переводы итд)
- Помощник по бизнесу
- Маркетинг и продажи
- Создание контента
- Программирование
- Работа внутри команды
- Саммаризация контента
- Коммуникации и чатботы
- Работа с продуктами/товарами
- Текстовые и мультимодальные сервисы на базе ChatGPT
Может вы придумаете еще, давайте пополним список;)
Тут важно понять где нужно API, а где - вообще не нужно. У каждой сферы свои особенности применения Chat GPT.
Правила и фишки промпт-инжиниринга
Если вы хотите получить крутой результат - над промптом надо поработать. Любые детали будут полезны - о чём вы пишете, от чьего имени, какой эмоциональный накал и так далее. Чем больше инфы дадите модели, тем точнее будет ответ. Языковая модель - всего лишь инструмент, а результат её работы - ответственность человека.
Подобрав один раз хороший промпт под свою задачу, можно использовать его многократно. Не бойтесь экспериментировать - в конечном итоге это экономит вам время.
Циклическое создание и сокращение текстов на GPT
Мне нравится экспериментировать с этим в Excel - используя Power Query или в Telegram-боте, используя Python. Писать тексты можно как в интерфейсе ChatGPT, так и по API. В интерфейсе удобно использовать GPT-4 и разные форматы - таблицы и списки, по API - удобно работать массово.
Но моё любимое направление - саммаризация. Это экономит время и больше относится к работе по API. Ведь чтобы саммаризировать чат в Telegram и получить выжимку, вы не будете вручную грузить в ChatGPT все сообщения 😝
Один из кейсов по саммаризации я рассказал на конференции по Excel. Всего за 40 минут мы получили JSON из чата Telegram и написали на Power Query алгоритм, который получает выжимку сообщений за каждый день. Получилась отличная демонстрация возможностей API ChatGPT, до сих пор иногда пользуюсь этим саммаризатором когда лень читать всё;)
Дообучение GPT-моделей
Без дообучения все ответы языковых моделей будут однотипными, скучными и потеряются на фоне остальных подобных. Чтобы выделиться и получить оригинальный ответ есть 2 варианта - либо добавлять в промпты множество доп. информации вручную, либо тоже самое, но по API.
Это касается также индивидуальной работы с пользователями. Хотите индивидуальный самобытный ответ от GPT - дайте модели нужную инфу.
Подобрать информацию для промпта можно тремя способами:
- подкинуть в промпт данные пользователя/товара (если знаем пользователя/товар)
- по условию (если в промпте содержится "собака", добавляем инфу о собаке)
- с помощью векторного поиска (об этом подробнее далее)
Без дообучения польза от ChatGPT крайне мала. Общедоступную информацию с таким же успехом можно найти в Google, а вот написать индивидуальный текст - нет.
Интеграции разных сервисов на базе нейросетей
Настоящий рост нейросетей начался с приходом качественных текстовых моделей. Через текст связано всё - на текстах строятся видео и аудио, из текста состоят статьи и книги, да и общение людей базируется на тексте (за исключением невербальной коммуникации). Естественно качественные GPT-модели дали мощный рост всей отрасли ИИ.
Люди начали с бешеной скоростью создавать продукты и использовать ИИ во всех сферах. Саммаризаторы видео, генераторы аудио, автоматические комиксы и многое другое. Фильмы и книги теперь создаются без участия человека.
У нас есть 4 основных типа контента: текст, картинка, аудио и видео. ChatGPT может применяться для создания всех этих типов. А еще они могут сочетаться и давать удивительные продукты на выходе🙀
Автоматизация и внедрение API
Рынок меняется с огромной скоростью, новые сервисы на базе ИИ появляются почти каждый день. Если вы не имеете готовой команды, инфраструктуры и знаний для создания своего продукта - простой совет: примените ChatGPT в своей предметной области.
Многие эксперты по рекламе, маркетингу, СЕО и другим сферам продолжили обучать других, но уже используя в работе ChatGPT. И если сервисов на ИИ полно, то сервисов, эффективно решающих узкие отраслевые задачи - мало. Если вы хорошо знаете свою область, ChatGPT может стать для вас огромным драйвером роста в ней.
Если кто-то захочет внедрить API ChatGPT, заранее нарисуйте схему взаимодействия сервисов и подумайте к какой модели вы будете обращаться в случае ошибок от чата и его перегрузки (а это бывает). Начинать можно с простого и переходить уже к более прокаченным вариантам. Самые интересные варианты требуют дообучения и интеграции с векторными базами данных.
Векторизация и векторные базы данных
Эта тема относится ко всем LLM (Large Language Models). У любой LLM как правило есть 2 проблемы: нет свежих/точных данных, объем запросов и ответов ограничен. Тот же ChatGPT не знает вчерашние новости + он ничего не знает о вас. Но это легко обойти;)
Вся схема работает в 2 этапа - подготовка и использование. На первом этапе вы разбиваете ваши данные на фрагменты, затем векторизуете каждый фрагмент с помощью специально обученной модели и сохраняете в векторную базу данных (или просто в переменную).
Затем, при выполнении запроса к модели, вы также векторизуете каждый запрос и ищете близкие к нему по смыслу данные в БД. Векторизация пригодится для поиска близких смыслов. Когда вы нашли релевантные запросу фрагменты, остаётся добавить их в промпт и попросить модель мягко учесть их при ответе.
Что лучше использовать для дообучения на базе векторов? Один из самых популярных фреймворков для разработки подобных инструментов - LangChain. В нём есть множество функций и всё уже подготовлено для создания решений на базе векторных БД.
Отдельного внимания заслуживает векторная база данных Chroma, хорошо работающая с LangChain. Инструментами для самой векторизации могут служить библиотека "sentence_transformers" или модель OpenAI "text-embedding-ada-2".
Плагины и AutoGPT
При появлении ChatGPT многие поняли, что ему не хватает свежих данных и некоторой самостоятельности. Представьте, что модель сможет искать в вашей округе кофейни с самой высокой оценкой и заказывать там кофе - вот это была бы настоящая самостоятельность и свежесть. Чтож, теперь этот вопрос решился;)
Тут OpenAI поступили гениально. Как удержать пользователей в чате, чтобы все не ушли общаться с ним по API? Правильно, сделать API дороже, последнюю модель недоступнее, а в сам чат встроить плагины. Плагины позволяют не подключаться к API ChatGPT, а включить в ChatGPT своё API.
Как это работает: вы пишете несложный код, регистрируете плагин и ваше API доступно из ChatGPT (если конечно плагин одобрят). Это целый новый store ничем не хуже App Store или Google Play. Добавьте в своё API функцию поиска и покупки кофе, загрузите свой плагин в чат и он сможет подбирать и покупать вам кофе.
Но энтузиасты пошли дальше. На гитхаб выложили AutoGPT - опенсорсный ИИ, который имеет доступ в интернет и сам выбирает решение задачи. Это по сути активный ИИ, который размышляет, подбирает решения и осуществляет их. Он может взаимодействовать с API ChatGPT если дать ему токен вашего аккаунта.
Страшно представить на что способен инструмент, у которого есть доступ в интернет и который может сам ставить себе задачи. Он составляет план задачи, детализирует всё и пытается осуществить по шагам. Говорят, он часто тупит и циклится, но сам факт его наличия поражает. Да, кто-то уже поставил ему задачу захватить мир, осталось подождать 🤖
Итоги
Если в этой статье вы нашли много нового и познавательного, сам курс будет как минимум интересен. Но он будет применим только если вы планируете пользоваться API а не просто сидеть в интерфейсе. https://directprorf.ru/chatgpt - еще раз ссылочка на курс, для всех любителей автоматизации😊
Гораздо интереснее работать с теми, кто хочет внедрять, задаёт вопросы и заставляет изучать новое. Но будем рады и тем, кто просто придёт послушать. В современном мире важно знать все возможности нейросетей, особенно текстовых. Возможно в будущем у вас дойдут руки до внедрения, а пока - это как минимум увлекательно🔥
