Агенты захватывают мир

Выкладываю запись последнего, и одного из самых классных, уроков codex.town, где мы поговорили о том как работают автономные агенты, для чего они нужны, что они умеют и куда будут развиваться дальше. А на воркшопе мы делаем нашего первого автономного агента, который мы дообучаем на наших данных, учим его искать информацию в интернете и делать сложные логические выводы.

Пока мы разговаривали, легендарный особняк то ли в Милбрей, то ли в Бернингейме, полчаса на Сан-Франа, собрал в себе умнейших и талантливейших на хакатоне про автономных агентов от AGIHouse. Вот что это из этого вышло:

— RealChar, агент, который находит в реальном времени информацию о человеке и его голосом озвучивает ответы на вопросы (победитель)
— High Flyers, агент, который автоматически регистрируется в 90+ программах frequent fliers за пользователя
— KubeGPT, агент-девопс, который разворачивает и управляет инфраструктурой контейнеров в вашем бизнесе
— BookGraph, агент, который делает визуальное представление всех тем и их связей из любой книги
— Lumos, агент, который занимается закупками, сравнением цены и планированием продаж для малого бизнеса (второе место)
— Better Domain, агент, который придумывает за вас домены (третье место)
— Create your own food, агент, который говорит вопросы (а не ответы) про ваши данные
— SyncMate, агент, который находит наиболее интересных/релеватных людей из больших публичных чатов под ваш запрос (на основе умений, личности, веры
— FormBlaster, агент, который автоматически подается в сотни акселераторов и фондов с вашим стартапом
— M&A Auto redline, агент-редлайнер, который находит странности и узкие места в больших юридических документах
— Skateboard, агент, который умеет добавить новый функционал в существующий большой репозиторий (например, заменить весь OpenAI на Langchain)
— Medscribe, агент, который записывает текстом то, что говорит врач и дает рекомендации что делать дальше (например, выписывает рецепт на препарат)
— Moonshot, агент, который анализирует рынок акций и генерирует правильные стратегии для трейдинга
— CampAIgn, агент, который находит целевых участников для доната политическим компаниям и общается с ними

Пока участники хакатона заняты тем что отбиваются от назойливых a16z, которые пытаются все-таки уговорить их взять денег, мы продолжаем строить агентов.

На следующей неделе на вебинаре будем делать более сложные агентов, которые умеют использовать несколько инструментов, создавать своим собственные функции и другое. Записывайтесь тут (VPN). Оставляя донейшен, вы помогаете и дальше делать эти вебинары регулярными, публичными и бесплатными. Если вы видите ценность — consider donating.

Напоминаю, что сегодня пройдёт очередной воркшоп по автономным ИИ-агентам, где мы сделаем своего собственного умного помощника по дому, научимся структурировать данные и построим ботов, которые сами умеют декомпозировать и приоритизировать сложные задачи.

Запись: Lu.ma/codextown

Запись вебинара: https://youtu.be/WJs5RuMbgb0

На следующей неделе будем учиться запускать бесплатные модели, типа LLaMa через пользовательский интерфейс и дообучать модель, чтобы сделать её более токсичной. Навыков программирования не нужно.

Регистрация и детали тут: https://lu.ma/codextown (может требоваться VPN)

Уже сегодня!

Sneak peek открытых и бесплатных моделей, который мы разберем завтра на вебинаре. Каждую из них при желании можно докрутить уровня примерно gpt-3.5 или даже круче, но при этом они абсолютно бесплатны, могут запускаться локально (данные остаются у вас) и могут быть натренерованы на ваши нужды. Завтра рассмотрим способы запуска всех этих моделей через UI (без программирования, версионности питона и даже терминала).

Регистрация: https://lu.ma/codextown

начинаем через ~20 минут!

Новое видео: Открытые LLM сетки и их обучение

Рассматриваем инструменты для работы с открытыми и бесплатными LLM и сами модели. Разбираемся в способах дообучения и затачивания моделей под ваши нужды. Обсудили как работает и зачем нужен портал Huggingface, посмотрели с практической стороны на модели Llama, BLOOM, Vicuna, Falcon, Open-Assistant. Поговорили о методах обучения моделей, таких как LoRA, RLHF, Soft prompting, fine-tuning.

Записаться на мероприятия и вступить в сообщество: http://codex.town

Ссылка на презентацию: https://docs.google.com/presentation/d/1JO1uLqMnYUS7orTLQQh8LH2_aKnnmeG_/edit?usp=sharing&ouid=111260393669728804774&rtpof=true&sd=true

В эту пятницу — вторая часть про открытые модели и дообучение!

​Присоединяйтесь к нам на увлекательный вебинар в рамках проекта Codex.town, где мы подробно рассмотрим передовые техники и методы обучения и файнтьюнинга открытых языковых моделей (LLM). Этот вебинар идеален для исследователей, разработчиков и всех, кто интересуется искусственным интеллектом и машинным обучением.

​В программе:

​Техника LoRA (Low Rank Adaptation):

​Подробный анализ метода

​Применение в различных сценариях

​RLHF (Reinforcement Learning with Human Feedback):

​Основы и принципы работы

​Стратегии взаимодействия с человеческой обратной связью

​Практические Примеры и Случаи Использования:

​Демонстрация на живых примерах

​Советы по внедрению в реальные проекты

​Работа над Собственным Проектом:

​Создание fine-tuned нейронной сети на ваших собственных данных

​Возможность задать вопросы и получить консультацию от экспертов

​Спикер: https://twitter.com/mikefluff

Регистрация: https://lu.ma/codextown

P.S. К сожалению, функция автоматических приглашений через почту теперь не работает, потому что кто-то сначала зарегистрировался, а потом отметил все письма о регистрации как спам, что съело все наши кредиты.

Друзья, не забывайте регистрировать на завтрашний вебинар про обучение и дообучение LLM-моделей. Консультанты вам ту же информацию будут продавать по $5к ;)

https://lu.ma/codextown

Mike Fluff о дообучении open-source LLM — уже через 30 минут!

Llama 2 при грамотном файнтьюнинге обгоняет GPT-4 почти по всем задачам, а специализированные бесплатные и открытые дообученные модели имеют более высокую производительность в узких задачах, таких как медицина, поддержка, продажи, финансы, юриспруденция. Ничего из этого не отменяет важность базовой модели и промтинга, но именно fine tuning является основным конкретным преимуществом для создания промышленных решений.

О том как это делать, бесплатно и даже без необходимости программировать, мы поговорили на последнем воркшопе Codex Town. Смотрите запись по ссылке ниже. Ни один платный курс по GPT и генеративному ИИ про такое не рассказывает.

Регистрируйтесь на следующий вебинар и оставляйте донат (криптой — тут), если вы получили ценность от вебинара. Это даст возможность продолжать делать открытые лекции и развивать проект.

В эту пятницу мы проведем вебинар по использованию Langchain и созданию автономных агентов для решения бизнес-задач подписчиков.

- Как работает использование собственных данных любых объемов для создания автономных агентов?
- Пример использования собственных данных
- Как загружать и получать данные агенту?
- Типы цепочек в langchain
- Типы поиска по векторым данным
- Переформулирование загруженных данных
- Классификация данных
- (если успеем) Evaluation текстовых ответов, формальная проверка ответов против заранее подготовленного тестового сета для минимизации неточностей

Для вебинара полезно знать базовый Python, но не обязательно. Ведущий: @KottAlex

Регистрация: https://lu.ma/codextown (из РФ — VPN)

Сегодня тестировал еще два сценария для своего бота:

1. AI-random coffee. Вы можете рассказать боту о себе и о тех, с кем вам интересно познакомиться. GPT проанализирует ваш профиль и подберет кандидатов с кем познакомиться на основе общих тем и интересов. Полностью автоматизировано и сделано без кода через zapier (пока не выкладываю, потому что жаба душит платную подписку покупать)

2. Бот-радио. Вы выбираете любой пост из канала, выбираете язык и он присылает вам голосовое сообщение с озвученным и переведенным на нужном вам языке постом из канала. Сделал через Make, GPT, 11Labs. Опубликую, как только научу API стабильно работать.

В обоих случаях ни строчки кода.

А пока — записывайтесь на завтрашний вебинар про автономных агентов: https://lu.ma/codextown

Уже сегодня!

Новое видео!

В данном видео мы углубимся в тему работы агентов с локальными базами знаний, такими как внутренние регламенты, инструкции и переписки с клиентами. Обсудим применение данных технологий в бизнесе, в частности, в сфере поддержки и консультаций. Рассмотрим основы, узнаем, как преобразовать документы и находить в них ответы, а также изучим кейс одного из подписчиков. Основное внимание уделяется векторному эмбедингу и ретриверам, позволяя извлекать смысловые фрагменты текста даже при отсутствии лингвистической близости.

Уже на YouTube!

Сегодня (4pm London, 6pm Moscow) проведу вебинар про создание AI агентов и ботов без кода.

- мы посмотрим десятки инструментов для разработки AI ботов

- я расскажу о ~10 кейсах использования, которые имеют смысл и относительно несложно реализовать

- покажу как я сделал своих ботов: один отвечает за меня и хранит мои знания, другой помогает выделить эмоции из текста или голоса, третий делает прогрев и предпродажу товаров

- покажу как можно реализовать ИИ-агента/бота для своего бизнеса

- расскажу как можно зарабатывать, делая ботов для других компаний, помогая им автоматизировать и персонализировать продажи, поддержку, коммуникации, HR и другие процессы

Регистрация тут: https://lu.ma/codextown

Давайте сделаем ботов вместе!

В эту пятницу я проведу второй воркшоп по созданию no-code ИИ агентов и ботов. В прошлый раз мы обсудили все доступные для этого инструменты и посмотрели как сделать простого бота для продаж или ответов на вопросы (запись доступна тут). На этой неделе я покажу как пользоваться более сложными инструментами и как связывать между собой несколько no-code платформ (каждая из которых имеет какой-то ИИ функционал).

Вопрос в зал: какого именно бота вы хотели бы рассмотреть в ходе вебинара? Если продажи, то чего (b2b, b2c, софт, физические товары)? Если обучение сотрудников, то чему? Если управление сообществом, то с какой целью? В зависимости от ответов, сделаю программу вебинара. Вы сможете скопировать или скачать результат воркшопа себе.

Регистрация на вебинар, как всегда: https://lu.ma/codextown

Я сделал ИИ-игру и агента-ведущего телеграм канала. Завтра на вебинаре буду рассказывать как именно это сделано (no-code, GPT, Claude, телеграм боты), но вы можете поиграть уже сегодня!

1 — Игра "RPG Founder", в которой вам предстоит создать стартап, попасть в акслератор, привлечь деньги, создать продукт и построить юникорн. Сюжет полностью генерируется ИИ. Первый уровень тут: @StartupDegenBot

2 — Агент-журналист, который находит интересные темы, материал, делает фактчекинг и пишет посты в канал. Все посты придуманы, написаны и опубликованы ИИ-журналистом. Есть еще отдельный тг-бот, который управляет агентом. Читать канал можно тут: @brainmast

На каждого бота у меня ушло в пределах 2 часов. Конечно, можно много чего улучшать, но задача была сделать максимально быстрый proof of concept, который может повторить любой человек без каких-то специфических знаний. Завтра расскажу как именно.

Регистрация тут: https://lu.ma/codextown

Начинаем меньше чем через 30 минут!

Через несколько часов начнётся вебинар с Майком на тему генерации ИИ-графики с помощью диффузионных моделей типа SD, SDXL, ControlNet, Comfy и других.

А еще сегодня выложу видео про то как делать мощного продажного бота без кода и бесплатно. Видео будет в Boosty.

Регистрация на вебинар: https://lu.ma/codextown

Новое видео! Прикрепляю запись пятничного вебинара, где мы разобрали модели, которые умеют генерировать графический или видеоконтент на основе текстового ввода.

Мы посмотрели популярные диффузионные модели, такие как DALL-E, Stable Diffusion, Imagen. Разобрали принцип работы диффузионных моделей: латентное пространство, ньюансы обучения таких моделей, процесс генерации, производительность.

Так же копнули в инструменты для работы с диффузионными моделями, таких как Automatic1111 и DreamStudio. Так же на практике посмотрели как улучшить качество генерации используя ComfyUI и ControlNet.

Ну и наконец поговорили о перспективах применения диффузионных моделей — для сжатия и передачи медиаконтента, генерации видео по тексту и создания виртуальных персонажей и сред.

Смотреть запись: https://youtu.be/s5ogV5Z2dIU (презентация в описании)

Подписаться на Boosty и получить доступ к закрытым вебинарам: https://boosty.to/codextown