Пупырка AI – Telegram
Пупырка AI
119 subscribers
736 photos
376 videos
1 file
712 links
AI, дизайн, продукт и слухи. Канал репостов, цитат и жвачки. Основной канал — @logicIntermission
Download Telegram
Forwarded from Нейродвиж
Внимание, халява: вышел вайбкодерский сервис Hatch, где можно сгенерировать что угодно из кода 😮

— Под капотом самые мощные нейросети, которые воплотят любой замысел в реальность;
— Можно сгенерировать что угодно, что делается из кода: хоть игру, хоть телеграм-бота, хоть симуляцию черной дыры;
— ИИ не только напишет код, но и всю текстовую часть, сгенерирует картинки и сделает анимации;
— Сервис пока в бета-версии, поэтому полностью БЕСПЛАТНЫЙ;
— Все в браузере!

Залетаем, пока бесплатно — сюда.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Продолжаем изучать архитектуру LLM-систем. Сегодня говорим про работу с внешней информацией.

Паттерн 4. Зашивайте все ваши знания в промпт

Базовой LLM нужно много чего знать о вашей задаче, чтобы ее решить. Факты о вашем продукте, какие есть тулы, как зовут пользователя, с которым LLM говорит и тд и тп. Все это надо отправить в промпт. Часто его называют контекстное окно.

Это контекстное окно можно представлять как оперативную память компьютера. В нем могут содержаться не только статичная информация, но и результаты вызовов tool-ов, прошлые действия системы, критика сторонних моделей и тд.

Несмотря на то, что модели умеют все лучше и лучше работать с длинными последовательностями, вам нужно думать о размере контекстного окна. Чем длиннее окно, тем сложнее модели понять, что происходит, поэтому важно контекст эффективно записывать. Даже Google с своим Gemini вынужден делать хаки с контекстом, чтобы их агент смог играть в Покемон-Го. Подробнее про эти хаки читайте тут и берите на вооружение.

Часто мы даже точно не знаем, какую именно информацию нужно засунуть в окно, чтобы задача решилась. Тогда возникает архитектура RAG.

RAG

Название пришло из статьи 2020 года, в которой авторы присоединили retrieval систему к seq2seq-генератору. Дада, я использую слова из 2020 года, без всяких LLM. Фишка статьи, что они обучали обе эти модели вместе. Сейчас под RAG-ом подразумевают все, когда к LLM присобачивают какой-то поиск.

А присобачивать поиск оказалось довольно удобно. Человечество до эры LLM много лет занималось поиском. Вдруг оказалось, что поверх всех этих знаний можно вставить LLM, и оно просто заработает.

Fine-tuning

Одна из частых ошибок — файнтюнить LLM, чтобы научить ее какой-то новой информации. Это очень плохая идея.

1) Вы скорее всего сломаете базовый алайнмент модели. Это как вскрыть айфон — гарантия производителя перестает действовать. Веса модели меняются, уже никто не гарантирует, что модель не сломается на каком-то out of domain запросе. Такое же мнение написано тут.

2) Вы нарветесь на галлюцинации. Пытаясь вшить знания, которых модель не видела в претрейне, вы научите ее придумывать ответы на вопросы. Подробно проблема изложена в статье.

3) Не факт, что побьете RAG по качеству на вашем тесте. Почитайте просто форум. Посмотрите статью, где бенчили RAG против дообучения. Хорошо дообучать это сложно.

Файнтюнить точно можно и нужно, но для других задач. Тогда, когда модель перестает вас слушаться в промпте, вам нужна сильно более тонкая настройка. Более подробно про кейсы дообучения читайте в этом посте.

Я вам строго рекомендую RAG, чтобы дать LLM внешнюю инфу, а файнтюнинг оставить для другого. Об этом, кстати, говорят и OpenAI в своем курсе (ссылка ниже).


Литература для обязательного изучения

- Статья, как важно контролировать контекстное окно

- Доходчиво, почему fine-tuning для внедрения информации, это трата времени

- Видос про это же

- Часовой урок по fine-tuning от OpenAI (очень наглядно, когда надо дообучать)

- Объяснение, почему все состояние надо записывать в контекст

Как всегда, все вопросы пишите в комментарии или в личные сообщения.

#llm_system_design
Forwarded from Сиолошная
Загрузки iPhone App Store по всему миру за последние 28 дней:

ChatGPT: 29,551,174
TikTok + Facebook + Instagram + X: 32,859,208

🔼
Please open Telegram to view this post
VIEW IN TELEGRAM
Мировой книжный рынок вырастет в разы в ближайшие пару лет из-за всплеска самиздата. Самиздата, сгенерированного ИИ естественно, а с ним и фейков, и перепечаток. Приходишь в книжный, а там уже полно книг про то, что только вчера было в новостях.

Авторам уже сегодня буквально приходится доказывать, что пишут сами — стримами, таймлапсами, видео с ворохами рукописей.

WIRED пишет: в соцсетях начинается новая охота на ведьм — теперь уже по признаку «сгенерированности».

Детская писательница Виктория Авеярд, чей текст стал бестселлером «Нью-Йорк Таймс», стримит процессы творчества, чтобы ей потом не напихали в панамку за то, что та юзает искусственный интеллект при работе над книгой. TikTok с тысячестраничной рукописью. В подписи — манифест:
«Использовать ИИ для книги — не творчество, а воровство».

Ей вторит писательница Рэйчел Менар: «Если бы я писала с ИИ — мне бы не понадобилось 78 черновиков».

Куан Миллз, темнокожая автор:
«ИИ не поймёт, как на самом деле говорят Black-комьюнити. Даже после редактуры в ИИ-тексте что-то будет не так. Оно пустое».

Однако ИИ уже умеет склеивать сносные сцены, но пока не создаёт настоящие книги. Впрочем, вопрос — надолго ли.
https://www.theverge.com/openai/691737/openai-jony-ive-chatgpt-io-ai-device-wearable-headphone-lyo-lawsuit

Первое ИИ-устройство OpenAI не будет носимым
• OpenAI и Джонни Айв создали первое устройство с ИИ, которое не будет носимым.


• Устройство не поступит в продажу до 2026 года.



Судебные разбирательства и торговая марка
• В судебных исках руководители io заявили, что устройство не будет "вкладышем" или "носимым устройством".


• Прототип устройства еще не доработан, но его дизайн не включает наушники или носимые устройства.



Удаление бренда io из-за судебного запрета
• OpenAI удалил публичные ссылки на бренд io из-за временного судебного запрета от стартапа Iyo.


• Iyo утверждает, что OpenAI умышленно нарушила права на торговую марку.



Рассмотрение различных форм-факторов
• io изучала различные коммерческие предложения и создавала прототипы.


• Компания приобрела широкий ассортимент наушников и слуховых аппаратов.



Доказательства рассмотрения категории "вкладыш"
• В одном из писем сотрудник io предложил купить 3D-снимки человеческих ушей для эргономики.


• Альтман отказался от предложения Iyo инвестировать в компанию, заявив, что работает над чем-то конкурентоспособным.
Смешно, но буквально, как просят ставить задачу дизайнеру — не фреймь, опиши проблему, дизайнер подумает сам. VS промты для GPT.
Forwarded from Авва
Мы все знаем, как важно уметь составить правильный промпт, чтобы Большая Языковая Модель (БЯМ) сделала то, что вам нужно. Мне кажется, все уже знают главные принципы и трюки в этой области. Но недавно я обнаружил, к своему удивлению, что есть смежная область, в которой людям просто хронически не хватает квалифицированных знаний.

Неловко обсуждать это публично, но не все задания еще можно поручить БЯМ. Время от времени сталкиваешься с делами, с которыми по той или иной причине БЯМ справляется плохо или вообще отказывается, и тогда приходится призывать на помощь более примитивного собрата - ЧЯМ (Человеческую Языковую Модель). Да-да, я знаю, не надо рассказывать мне про недостатки ЧЯМ, я на этом деле собаку съел. Они дороги, хрупки, непредсказуемы, очень медленно печатают текст... Но что поделать, если никак по-другому не справиться! Так вот, не все знают, оказывается, что как и с БЯМ, правильно составленный промпт поможет вам добиться с помощью старых добрых ламповых ЧЯМ довольно-таки потрясающих результатов. Но вот знания о том, как писать промпты для ЧЯМ, найти нелегко.

Вот несколько главных принципов - и я постараюсь сфокусироваться как раз на тех, в которых есть различие с БЯМ:

1. Забудьте про супер-длинные и подробные промпты, которые так хорошо направляют БЯМ в правильное русло. У ЧЯМ очень маленькое окно контекста. Если вы напишите "сделай то-то и то-то и то-то, причем таким-то образом, а кроме того..." к концу предложения ЧЯМ забудет начало. Разбейте ваши задания на небольшие изолированные части. Давайте каждую часть в отдельности. Если у вас есть средства на это, можете нанять ЧЯМ-супервайзора, которая будет разделять задания между ЧЯМ-рабочими. Если нет, или дело тонкое, то сами будьте супервайзором.

2. Не отказывайтесь во имя краткости от вежливости и благодарности. Да, это бездушная машина, но она так натренирована, что ваше корректное общение и ваше "спасибо" поможет ей лучше выполнить следующее задание. "Доброе слово и собаке приятно", а ЧЯМ обычно умнее собаки.

3. Пишите на понятном модели языке. ЧЯМ вообще говоря знают довольно мало языков. Многие вообще только один. Разные модели специализируются на разных языках, найдите ту, что вам подходит. Да, это очень раздражает. Сочувствую. С языками программирования то же самое.

4. Советую не пытаться просить ЧЯМ написать стихи. Разочаруетесь.

5. Не стесняйтесь преувеличить важность вашего задания, можете придумать, что кто-то умрет, если ЧЯМ его не сделает вовремя, итд. итп.

6. ЧЯМ может сама разыскивать данные, читать книги итд., но есть одна загвоздка - она делает это ОЧЕНЬ МЕДЛЕННО. Постарайтесь обойтись без этого. Если нет другого выбора, делайте, но будьте готовы платить намного больше.

7. Можно пообещать ЧЯМ деньги, материальные блага, если модель быстро и качественно выполнит задания. Если вы не собираетесь просить у этой же модели в будущем - нет нужды выполнять эти обещания. Если собираетесь - см. следующий пункт.

8. Самое важное. В отличие от БЯМ, у ЧЯМ пока есть сложности с конпкой "Начать новую беседу". То есть кнопка-то есть, но в новой беседе ЧЯМ сохраняет значительную часть контекстов предыдущих бесед (со временем эта "память" постепенно улетучивается, но это может занять годы). Будьте осторожно и не говорите ничего, что полностью настроит ЧЯМ против вас. В последние годы наблюдается недостаток моделей, особенно качественных, если вы потеряете свою "рабочую лошадку", долго будете горевать и искать новую!

Если вы знаете особо удачные промпты для ЧЯМ, или другие советы, как их заставить делать, что нужно, поделитесь в комментах, пожалуйста. Спасибо!
2🤔1
Пара картинок из треда про браузеры Dia и не вышедший Comet от Perplexity

https://x.com/themattberman/status/1933225058194903102?s=46&t=z7zusmpJ_976TY7_nMtnzw
И вот ещё, CEO Perplexity вспоминает в Comet когда подстригался последний раз
Forwarded from Intermission
Воркфлоу дизайнера завтра

CorelDraw, Illustrator, Photoshop, Sketch, Figma — раз в 5 лет появлялся новый главный инструмент.
Каждый раз это казалось финальной формой. Пока не приходил следующий.

Ощущение, что мы снова на изломе эпох.

Сейчас Figma Make выглядит как баг, а не фича.
Она всё переписывает с нуля, рушит структуру, не знает про переменные.
Но это неважно. Главное — направление.

Если Figma замедлится — её обгонят.
Claude Code, Codex, Play, кто угодно.
Следующее поколение дизайнерских инструментов не будет «редакторами». Это будут живые собеседники.

Мы идём туда, где макет сначала рождается в чате, а потом уточняется руками.
Где кнопка — не прямоугольник в фигме, а абстракция, живущая в коде.
Где дизайнер — не тот, кто «рисует», а тот, кто объясняет, выбирает, уточняет.

Новая роль, новые навыки.
Новая граница между дизайном и разработкой.
Новый шанс переформулировать, кто мы вообще такие.

На картинках Figma Make и Claude Code в терминале. Делитесь в комментариях, если тоже экспериментируете.

Пока всё сыро, но это уже начало. Предвкушаем
зашел тут на реддит и наткнулся на пост который прям в точку попадает в сегодняшние разговоры у кулера между разработчиками. чувак расписывает как он теперь с claude code вообще не кодит сам а просто говорит чего хочет и все готово. и самое жесткое что это реально работает

вот прям цитата из поста: он пишет что теперь не будет нанимать людей под конкретные языки типа питон разработчик или реакт разработчик. теперь важно только умение решать проблемы а на чем писать уже пофиг. и еще говорит что за неделю сделал десктопное приложение которое откладывал 10 лет. за неделю!

в комментах конечно срач знатный. кто то пишет что это все хайп и на реальных проектах ai сливает. другие рассказывают как уволили целые команды и теперь один человек с ai делает работу за десятерых. особенно зацепил коммент от архитекта который написал что 90 процентов его навыков теперь стоят ноль долларов а оставшиеся 10 процентов выросли в цене в 1000 раз

еще один чувак в комментах написал что раньше тратил выходные на написание saas сервисов и зарабатывал по 4к евро в месяц. теперь может сделать такое же приложение за выходные но так могут еще 20 миллионов человек с claude code. так что теперь если повезет заработает тысячу евро в год. жестко

кстати про дизайнеров тоже пишут. figma make уже делает брендинг ui и готовые сайты. автор поста говорит что через год вообще не понимает зачем ему будет нужен дизайнер

самое дикое что многие в комментах до сих пор в отрицании. типа да это только для простых проектов работает а на энтерпрайзе все сложно. но другие отвечают что уже видели как компании увольняют целые отделы и оставляют пару человек с ai

в общем картина вырисовывается печальная. это реально происходит прямо сейчас а не через 5-10 лет как многие думают. да и я сам недавно в кулуарах вастрик кэмпа слышал несколько разговоров разработчиков про это в духе уже думал что будешь делать дальше и пока что самый уверенный ответ звучит как ну наверное вместо погонщика разработчиков стану погонщиком нейронок. люди пока даже не готовятся к тому что их ждет

единственное что радует так это комменты про то что все равно нужны будут люди которые понимают архитектуру систем девопс и могут решать сложные проблемы. но это скорее звучит как утешение для сеньоров
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Gemini CLI — официальный агент для Gemini от Google

Использовать можно бесплатно просто залогинившись с аккаунтом Google — дают до 60 запросов в минуту к Gemini 2.5 Pro и до тысячи в день. Кроме этого есть поддержка MCP, которая позволяет подключать туда сторонние тулы. Гугл даже запилил MCP серверы для взаимодействия с Veo/Imagen/Lyria.

Доступен код по лицензии Apache 2.0, так что с ним можно делать всё что угодно. А вот в апстрим залить что-либо будет сильно сложнее — у гугла очень специфическая политика по поводу сторонних контрибьюторов.

npm install -g @google/gemini-cli


Блогпост
Исходники

@ai_newz