Prompt-grammer = Знаток интернета 🌐

Как известно, LLM на 2/3 обучалась чтением интернета, остальная треть приходится на чтение книг / научных статей / различного кода. Редкий человек, на самом деле, знает, чем наполнен интернет: в каких контекстах используются конкретные слова? какой диапазон значений у специальных символов (#{[/|<&$^*"'~%@)? какие сочетания слов / символов не встречаются в интернетах?

Когда разрабатывался логотип {AI} love you, я изучал семантику фигурных и квадратных скобок 🤔. Это любопытно. В качестве иллюстрации возьму не их, а более популярный в массах символ "#" (решетка).

Семь контекстов для символа #
1. Обозначение номера
2. Хэштеги в социальных сетях
3. Комментарии в коде
4. Цвета в веб-разработке
5. Уровни заголовков в Markdown
6. Каналы в IRC и Slack
7. Якоря в URL
Бонусы: альтернативная нотация в музыке (повышение ноты), читкоды, команды в текстовых играх.

При использовании # в промпте нужно контекстуализировать его, а также отстроиться от смежного, но не нужного контекста. Я взял специальный символ, чтобы идея была максимально понятна, но слова "лист" или "замок" точно так же многозначны, особенно, если вы хотите передать не смысл этих слов, а их визуальный образ.

Семь контекстов для слова "лист"
1. Последовательность элементов в Python
2. Электронная таблица
3. Лист бумаги в офисе
4. Страница макета в дизайне / верстке
5. Часть листвы
6. Ингредиент в кулинарном рецепте
7. Музыкальная партитура
Бонусы: рабочий лист с заданиями, путевой лист, план тренировок.

Контекстуализация — это то, в чем люди гении, "понимают с полуслова", "все всё понимают" и т.д. Людям, особенно близким людям нет равных в этом. К LLM здесь стоит относиться снисходительно, с терпением + держать в уме максимум контекстов, потому что LLM держит в уме их все (sic!) 😃

#llm #text #promptgramming

Анонс

На следующей неделе запускаю новый поток курса "ChatGPT в работе" (8-ой). Про что курс?

Курс базовый, в помощь тем, кто хочет преодолеть барьер и начать регулярно использовать ChatGPT в работе. За 4 недели цель — обучиться промптингу и создать ИИ-ассистента себе (или для стороннего пользования). В пути будут видеоуроки + практикум + разборы кейсов + вебинары.

Обновления:
1️⃣ Некоторые видеоуроки теперь находятся в открытом доступе на YouTube. Будут открываться и впредь, особенно разборы кейсов. ВАУ-эффект можете получить от распаковки ChatGPT Plus — в этом 15-минутном видео я шустро пробегаюсь по всему функционалу платной версии ChatGPT.
2️⃣ Полноценно появились telegram-бот с бесплатным доступом к GPT-4, а также веб-интерфейс с той же целью — прикоснуться к более продвинутой модели, труднодоступной в РФ.
3️⃣ Доступ к учебным материалам можно получить не только на платформе GetCourse, но и через Stepik. Для ценителей 😃
4️⃣ Возник общий чат на участников / выпускников разных потоков, чтобы поддерживать друг друга не только в течение одного месяца, но 365 дней в году.

Linkset
Подробности на сайте
Вводная лекция про LLM
Презентация генератора древних новостей (крутого GPT-ассистента одного из участников)

Курс можно пройти индивидуально в свободном темпе или в группе в синхронном формате. Новый поток не ограничен одной профессией, рассчитан на любых профессионалов.
Для записи пишите в ЛС (@troclap) или заполняйте заявку на сайте.

#edu #chatgpt #course

#ОбзорГены

Что не могло пройти мимо радаров на минувшей неделе, а также неожиданно нашло отклик? Возникла потребность еженедельно бросать якорь в области GenAI — оставлять на память ключевые события: релизы, новости, материалы и темы.

{ Свежак }

🔠 Adobe анонсировал ControlNet для Firefly под названием Structure reference. Можно сгенерировать изображение на основе структуры (depth и др.) input-изображения. Давно есть в Stable Diffusion, однако нет ни у DALL-E, ни у Midjourney.
🔠 Hume.ai выпустили голосового чатбота со способностью распознавать эмоции. Самобытная компания, названная по имени великого шотландского философа-эмпириста, обучает именно эмоциональные модели в разных модальностях (текст / изображение / речь / видео). Давно слежу за ними, использую их технологию в одном проекте.

{ Пульс }

⚡️ Claude 3 Opus опередил GPT-4 (последней версии) на Chatbot Arena Leaderboard, где пользователи вслепую голосуют за лучший ответ одной из двух моделей. А еще бесплатный Claude "на голову" лучше бесплатного ChatGPT, правда с более жесткими ограничениями на пользование.
⚡️ Модель YandexGPT 3 Pro можно дообучить под свои нужды в сервисе DataSphere. Яндекс стабильно отстает примерно на 1 год от OpenAI, зато они остаются лидерами для российских разработчиков, которые по тем или иным причинам не могут использовать зарубежные модели.

{ Текстуры }

✅ Знаменитый Andrew Ng рассказал об AI Agentic workflows — по его мнению, результатов GPT-5 в zero-shot версии можно добиться уже сейчас за счет правильного Agentic workflow (итеративная генерация + добавление внешних инструментов). Авто-планирование шагов и мульти-агентные фреймворки, по его мнению, пока недостаточно надежны.
✅ Ресерч по AI-детекторам — отличный разбор того, можно ли достоверно определить является ли текст ИИ-сгенерированным? Короткий ответ — нет.
✅ ChatGPT справляется с задачами на программирование с leetcode — пользовательский разбор.

{ Перекресток мнений }

❓ GPTs c кастомными функциями. Есть мнение, что GPT-store еще не успев полноценно заработать, уже превратился в помойку с тысячами не отличимых друг от друга GPT-ассистентами. Я соглашусь с этим мнением в том, что пока затраты на поиск и тестирование сторонних GPTs превышает выгоду. Однако всё меняет одна черта — наличие внешних (кастомных) функций, нереализованных внутри ChatGPT. В качестве примера Photo Realistic GPT, который под капотом использует Stable Diffusion вместо DALL-E.

#image #hume #text #claude #llm #finetuning #gpts #aiagent #coding

#ОбзорГены №2

Неделька выдалась мультимодальной, необычно много внимания привлекли аудио-музыкальные модели.

{ Свежак }

🔠 Spotify запустил плейлисты, которые собираются по текстовым запросам (пример LLM рекомендательной системы, которую я несколько раз подсвечивал)
🔠 SberDevices представили Giga Acoustic Model — семейство моделей для обработки звучащей речи, обученных на русском языке. В частности у них появился GigaAM-Emo для определения эмоций по речи как русскоязычный аналог Hume.ai
🔠 Cohere выпустили Command R+ — прекрасную open-sourse LLM, для которой не нужен супер компьютер (но 2x3090). Вообще Cohere — теневые лидеры в поставке LLM-моделей для RAG-чатботов и других корпоративных решений.
🔠 Теперь ChatGPT может редактировать изображения DALL-E (делать inpainting выделенной области).

{ Пульс }

⚡️ AssemblyAI со своей моделью Universal-1 перехватили пальму первенства по качеству расшифровки аудио в текст
⚡️ Anthropic обнаружили новый способ взлома LLM (с длинным контекстом) — many-shot jailbreaking. Этот прием возник именно из-за длинного контекста.
⚡️ DeepMind представили исследование про генерацию токенов в LLM с разным количеством ресурсов / энергии. Это движение в сторону так называемой "Системы 2", когда LLM будет способна "напрягаться", чтобы спланировать свой ответ и лишь потом его генерировать.

{ Текстуры }

✅ Туториал для Suno v3 (лучшей text2musiс модели) от "эйай ньюз".
✅ Нерешаемая задачка для ChatGPT, которую решили за 3 суток — первоначальная неразрешимость задачи предполагалась в сложной алгоритмичности и решении на уровне отдельных символов, но это не преграда для умелых промпт-инженеров.
✅ Общение с реализовавшимся сценарием футуролога — мастерство промптинга в действии.
✅ Краткая шпаргалка по блокам лендинга — заготовка для ChatGPT, чтобы быстро собрать веб-страницу.

{ Перекресток мнений }

❓ Позиционирование естественного интеллекта. Присутствие ИИ в определенных задачах (tasks) фрустрирует людей и проблематизирует их место в работе (job). На мой взгляд, у людей возникла путаница между результатом и процессом. ИИ часто обыгрывает человека в определенной задаче по результату, используя совсем не человеческий процесс. Нейросети вообще натренированы на результат с попыткой хакнуть процесс. При этом для ИИ достижим отличный результат далеко не во всех сферах, а еще далеко не всегда результат — это главное. Иногда главное — это присутствие в процессе, для которого самое важное мгновенно оценивать изменяющийся контекст и адекватно на него реагировать.

#multimodal #llm #audio #music #image #dalle #recommend #tutorial #jailbreaking #promptgramming