#ОбзорГены №2
Неделька выдалась мультимодальной, необычно много внимания привлекли аудио-музыкальные модели.
{ Свежак }
🔠 Spotify запустил плейлисты, которые собираются по текстовым запросам (пример LLM рекомендательной системы, которую я несколько раз подсвечивал)
🔠 SberDevices представили Giga Acoustic Model — семейство моделей для обработки звучащей речи, обученных на русском языке. В частности у них появился GigaAM-Emo для определения эмоций по речи как русскоязычный аналог Hume.ai
🔠 Cohere выпустили Command R+ — прекрасную open-sourse LLM, для которой не нужен супер компьютер (но 2x3090). Вообще Cohere — теневые лидеры в поставке LLM-моделей для RAG-чатботов и других корпоративных решений.
🔠 Теперь ChatGPT может редактировать изображения DALL-E (делать inpainting выделенной области).
{ Пульс }
⚡️ AssemblyAI со своей моделью Universal-1 перехватили пальму первенства по качеству расшифровки аудио в текст
⚡️ Anthropic обнаружили новый способ взлома LLM (с длинным контекстом) — many-shot jailbreaking. Этот прием возник именно из-за длинного контекста.
⚡️ DeepMind представили исследование про генерацию токенов в LLM с разным количеством ресурсов / энергии. Это движение в сторону так называемой "Системы 2", когда LLM будет способна "напрягаться", чтобы спланировать свой ответ и лишь потом его генерировать.
{ Текстуры }
✅ Туториал для Suno v3 (лучшей text2musiс модели) от "эйай ньюз".
✅ Нерешаемая задачка для ChatGPT, которую решили за 3 суток — первоначальная неразрешимость задачи предполагалась в сложной алгоритмичности и решении на уровне отдельных символов, но это не преграда для умелых промпт-инженеров.
✅ Общение с реализовавшимся сценарием футуролога — мастерство промптинга в действии.
✅ Краткая шпаргалка по блокам лендинга — заготовка для ChatGPT, чтобы быстро собрать веб-страницу.
{ Перекресток мнений }
❓ Позиционирование естественного интеллекта. Присутствие ИИ в определенных задачах (tasks) фрустрирует людей и проблематизирует их место в работе (job). На мой взгляд, у людей возникла путаница между результатом и процессом. ИИ часто обыгрывает человека в определенной задаче по результату, используя совсем не человеческий процесс. Нейросети вообще натренированы на результат с попыткой хакнуть процесс. При этом для ИИ достижим отличный результат далеко не во всех сферах, а еще далеко не всегда результат — это главное. Иногда главное — это присутствие в процессе, для которого самое важное мгновенно оценивать изменяющийся контекст и адекватно на него реагировать.
#multimodal #llm #audio #music #image #dalle #recommend #tutorial #jailbreaking #promptgramming
Неделька выдалась мультимодальной, необычно много внимания привлекли аудио-музыкальные модели.
{ Свежак }
{ Пульс }
{ Текстуры }
✅ Туториал для Suno v3 (лучшей text2musiс модели) от "эйай ньюз".
✅ Нерешаемая задачка для ChatGPT, которую решили за 3 суток — первоначальная неразрешимость задачи предполагалась в сложной алгоритмичности и решении на уровне отдельных символов, но это не преграда для умелых промпт-инженеров.
✅ Общение с реализовавшимся сценарием футуролога — мастерство промптинга в действии.
✅ Краткая шпаргалка по блокам лендинга — заготовка для ChatGPT, чтобы быстро собрать веб-страницу.
{ Перекресток мнений }
#multimodal #llm #audio #music #image #dalle #recommend #tutorial #jailbreaking #promptgramming
Please open Telegram to view this post
VIEW IN TELEGRAM
Spotify
Spotify Premium Users Can Now Turn Any Idea Into a Personalized Playlist With AI Playlist in Beta
We know that discovery happens on Spotify, with nearly two billion discoveries happening on our platform every day. Features like our AI DJ and daylist power those discoveries and bring fans closer to the artists they love. Now we’re providing our Spotify…
👍1
ChatGPT-moment
Звучит мнение, что ИИ-сгенерированная музыка на днях пережила свой "ChatGPT-момент" / "Midjourney-момент". Всё благодаря нейросети Udio. Это андердоги, которые зарелизили только beta-версию, когда у прежнего лидера Suno уже v3. Как это часто бывает, никакие они, конечно, не андердоги. Основатель — выходец из Google Deepmind, среди инвесторов — известные фонды и музыканты.
В любом случае, воспользовался выходным, чтобы их опробовать и сопоставить. Про эволюцию ИИ-генераторов музыки стоит понять, что они возникли давно и долго оставались в "ambient-фазе", например, Mubert делал добротный эмбиент более 5 лет назад. В 2023-м почти любой инструментал заиграл, я например применял MusicGen для озвучки своей короткометражки и создания джингла {AI} love you. Suno / Udio (+ Sonauto и др.) делают нечто иное — они создают полноценные треки по лирике и музыкальному стилю, причем есть немало рычагов, как можно повлиять на финальный результат. Они собраны в Suno.wiki, гайде по музыкальному промптингу. На небольшой telegram-гайд ссылался в первом еженедельном дайджесте.
Общее впечатление — ВАУ 🔥
На создание одной песни может уйти час и два, и три. И это безусловно интересно, а еще познавательно с музыкальной точки зрения.
#music #suno #udio #release #review
Звучит мнение, что ИИ-сгенерированная музыка на днях пережила свой "ChatGPT-момент" / "Midjourney-момент". Всё благодаря нейросети Udio. Это андердоги, которые зарелизили только beta-версию, когда у прежнего лидера Suno уже v3. Как это часто бывает, никакие они, конечно, не андердоги. Основатель — выходец из Google Deepmind, среди инвесторов — известные фонды и музыканты.
В любом случае, воспользовался выходным, чтобы их опробовать и сопоставить. Про эволюцию ИИ-генераторов музыки стоит понять, что они возникли давно и долго оставались в "ambient-фазе", например, Mubert делал добротный эмбиент более 5 лет назад. В 2023-м почти любой инструментал заиграл, я например применял MusicGen для озвучки своей короткометражки и создания джингла {AI} love you. Suno / Udio (+ Sonauto и др.) делают нечто иное — они создают полноценные треки по лирике и музыкальному стилю, причем есть немало рычагов, как можно повлиять на финальный результат. Они собраны в Suno.wiki, гайде по музыкальному промптингу. На небольшой telegram-гайд ссылался в первом еженедельном дайджесте.
Для пробы взял относительно неизвестное стихотворение Чуковского "Радость" и поместил его в джазовую аранжировку, добавив только припев от себя. То, что вы слышите — это лучшая из десяти генераций на каждой платформе. Suno очевидно слабее по звучанию, но как продукт им пользоваться удобнее. Suno-песня сгенерирована как цельное произведение (ограничение в 2 минуты), а Udio-песня собрана из 5 кусков (по 32 секунды каждая) через функцию Extend. В обеих песнях есть огрехи по ударениям, пытался это починить через расстановку ударения вручную (впервые со школы 😃), но не все так просто.
Общее впечатление — ВАУ 🔥
На создание одной песни может уйти час и два, и три. И это безусловно интересно, а еще познавательно с музыкальной точки зрения.
#music #suno #udio #release #review
Udio
Udio | AI Music Generator - Official Website
Discover, create, and share music with the world. Use the latest technology to create AI music in seconds.
Шахматы с ИИ
Искусственный интеллект давно победил человека в шахматы, и эту ситуацию часто используют для анализа того, что нас ждет. Самое интересное следствие, которое обнаружилось, что гроссмейстеры стали учиться у ИИ и, есть мнение, что они играют лучше великих мастеров XX века.
Давно напрашивался сервис, который бы на основе ИИ учил шахматистов массового розлива. На днях я встретил такой сервис — Noctie.
Мы использовали подобную логику в заданиях на креативность, которые прорабатывали на AI-хакатоне. Я убежден, что сейчас тот технологический момент, когда в любое игровое / интерактивное пространство можно привнести щепотку искусственного интеллекта и тем его преобразить в лучшую сторону.
#review #games
Искусственный интеллект давно победил человека в шахматы, и эту ситуацию часто используют для анализа того, что нас ждет. Самое интересное следствие, которое обнаружилось, что гроссмейстеры стали учиться у ИИ и, есть мнение, что они играют лучше великих мастеров XX века.
Давно напрашивался сервис, который бы на основе ИИ учил шахматистов массового розлива. На днях я встретил такой сервис — Noctie.
На входе ты играешь одну партию с компьютером и определяешь свой уровень игры. Далее ИИ-тренер настраивается на твой уровень игры и во время партии оценивает каждый твой ход по цветовой шкале (8-9 градаций). После окончания партии происходит разбор ошибок, ИИ подбирает 2-3 положения на доске, где я сходил плохо, и предлагает мне найти лучший ход. Возможно есть еще функционал, но уже этого достаточно, чтобы расти над собой.
Мы использовали подобную логику в заданиях на креативность, которые прорабатывали на AI-хакатоне. Я убежден, что сейчас тот технологический момент, когда в любое игровое / интерактивное пространство можно привнести щепотку искусственного интеллекта и тем его преобразить в лучшую сторону.
#review #games
app.noctie.ai
Practice chess against a humanlike chess AI & coach
🔥1
#ОбзорГены №3
{ Пульс }
⚡️ GPT-4 вернул лидерство среди LLM и стал заметно лучше в математике / рассуждениях.
⚡️ ChatGPT-момент в генерации песен. Кроме того, новичок Udio обошел Suno.
⚡️ Общение с цифровым аватаром — создали первую open-source сборку, где можно пообщаться с ИИ, как по зуму.
⚡️ ИИ видит сквозь стены благодаря Wi-Fi — анализ Wi-Fi волн позволяет ИИ фиксировать присутствие людей.
{ Свежак }
🔠 Adobe добавит AI в видеоредактор Premiere — причем как свои нейросети, так и сторонние (Sora).
🔠 YandexGPT 3 Pro появилась в голосовом помощнике «Алиса».
🔠 Amazon включил в состав совета директоров Эндрю Ына (Andrew Ng) — одного из наиболее уважаемых экспертов в AI-индустрии.
{ Текстуры }
✅ AI Index Report 2024 — ежегодный отчет от Стенфорда про тренды в AI.
✅ Системный промпт Claude — пример лаконичного промптинга.
✅ Карта ИИ-стартапов 2024 года — самая полная ИИ-карта.
✅ 43% студентов используют в учебе ИИ — исследование от НИУ-ВШЭ с подтверждением мысли о повальном использовании ChatGPT среди студентов.
✅ VoiceCraft: Zero-Shot редактор речи — прототип аудиоредактора, где речь можно изменять правкой текста.
{ Находки }
😯 Noctie — Шахматный ИИ-тренер.
😯 Real-time 3D generation — связка Dreams, Krea and 3daistudio для создания трехмерного персонажа.
😯 gpt-llm-trainer — упрощает процесс до-обучения ИИ-моделей под конкретную задачу.
{ Перекресток мнений }
❓ AI-FOMO. Никто не успевает за событиями в AI-мире. Это нормально. Успевать — кажется, вообще неважно, потому что отношения с ИИ надолго сохранятся, хотя будут и трансформироваться. Сейчас мы используем самые сильные нейросети как исполнителя, а позже (когда они станут умнее нас) будем учиться у самых сильных нейросетей как студент / подмастерье. Опоздать здесь нельзя.
#llm #text #music #speech #video #research #games #fomo #edu #map #promptgramming
{ Пульс }
{ Свежак }
{ Текстуры }
✅ AI Index Report 2024 — ежегодный отчет от Стенфорда про тренды в AI.
✅ Системный промпт Claude — пример лаконичного промптинга.
✅ Карта ИИ-стартапов 2024 года — самая полная ИИ-карта.
✅ 43% студентов используют в учебе ИИ — исследование от НИУ-ВШЭ с подтверждением мысли о повальном использовании ChatGPT среди студентов.
✅ VoiceCraft: Zero-Shot редактор речи — прототип аудиоредактора, где речь можно изменять правкой текста.
{ Находки }
😯 Noctie — Шахматный ИИ-тренер.
😯 Real-time 3D generation — связка Dreams, Krea and 3daistudio для создания трехмерного персонажа.
😯 gpt-llm-trainer — упрощает процесс до-обучения ИИ-моделей под конкретную задачу.
{ Перекресток мнений }
#llm #text #music #speech #video #research #games #fomo #edu #map #promptgramming
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
DL Paper Reviews
Новая версия GPT-4 умеет решать олимпиадные задачки по математике на порядок круче, чем это делала предыдущая версия.
На соревновании, которое кстати еще идет, до апдейта GPT-4 решал только одну задачу и то с длинным промтом (по факту это подсказка).
…
На соревновании, которое кстати еще идет, до апдейта GPT-4 решал только одну задачу и то с длинным промтом (по факту это подсказка).
…
👍2🔥2❤1
Сопоставление нейросетей как спортсменов
На прошлой неделе новая (апрельская) версия GPT-4 вернула лидерство среди LLM, Claude Opus продержался на вершине всего две недели. Всё это максимально напоминает какой-нибудь рейтинг ATP, который тоже обновляется раз в неделю, и в Википедии вы найдете всех, кто хоть неделю занимал первую строчку, в том числе Кафельникова, Сафина и Медведева. Это вершина теннисной карьеры.
Второй тип стал доминировать, все следят за обновлением рейтинга. Недавно возник такой рейтинг среди LVM (Large Vision Models), которые умеют отвечать на вопросы по изображению. Неожиданно для себя на первом месте обнаружил неизвестную модель Reka-Flash (выше GPT-Vision и Claude Opus). Если это не сбой рейтинга, то скоро мы услышим про Reka отовсюду. К слову неделю назад вышла первая российская мультимодальная модель OmniFusion от института AIRI, близкого к Сколтеху.
Продолжая играться с Suno и Udio, мне очевидно, что в визуальных и музыкальных нейросетях должно появиться то же самое, если еще нет. Пользовательские предпочтения оказываются наиболее валидными на этом этапе. Пример топ-10 в text-to-image моделях (Midjourney — Stable Diffusion — DALL-E — Imagen — Kandinsky).
#lvm #llm #rating #image
На прошлой неделе новая (апрельская) версия GPT-4 вернула лидерство среди LLM, Claude Opus продержался на вершине всего две недели. Всё это максимально напоминает какой-нибудь рейтинг ATP, который тоже обновляется раз в неделю, и в Википедии вы найдете всех, кто хоть неделю занимал первую строчку, в том числе Кафельникова, Сафина и Медведева. Это вершина теннисной карьеры.
В мире нейросетей есть два типа соревнований:
1. Нейросеть решает заранее подготовленный бенчмарк (набор вопросов с правильным ответом). ГТО в мире ИИ.
2. Две нейросети анонимно выдают ответ на один и тот же запрос пользователя, а пользователь выбирает лучший ответ.
Второй тип стал доминировать, все следят за обновлением рейтинга. Недавно возник такой рейтинг среди LVM (Large Vision Models), которые умеют отвечать на вопросы по изображению. Неожиданно для себя на первом месте обнаружил неизвестную модель Reka-Flash (выше GPT-Vision и Claude Opus). Если это не сбой рейтинга, то скоро мы услышим про Reka отовсюду. К слову неделю назад вышла первая российская мультимодальная модель OmniFusion от института AIRI, близкого к Сколтеху.
Продолжая играться с Suno и Udio, мне очевидно, что в визуальных и музыкальных нейросетях должно появиться то же самое, если еще нет. Пользовательские предпочтения оказываются наиболее валидными на этом этапе. Пример топ-10 в text-to-image моделях (Midjourney — Stable Diffusion — DALL-E — Imagen — Kandinsky).
#lvm #llm #rating #image
huggingface.co
Vision Arena (Testing VLMs side-by-side) - a Hugging Face Space by WildVision
This application shows image analysis results by embedding a Gradio interface. Users can upload images, and the app will display the analysis directly in the browser.
Forwarded from Machinelearning
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👆 та самая модель, которую мне удалось обнаружить раньше, чем она расползлась по телеграму. Выглядит реально внушительно, и правда показывает лидерство в Vision-задачах.
👍2
В пятницу выступал в бизнес-клубе перед предпринимателями и менеджерами на тему "Prompt-gramming, или Программирование на естественном языке" (презентация). Основной посыл был в том, что программирование как действие выходит за пределы узко-профессионального сообщества и становится доступно любым профессионалам, которые мыслят алгоритмически.
Свежее следствие расцвета "программирования на естественном языке" — бум программируемой электроники. Logitech на днях презентовал компьютерную мышь с AI-кнопкой, но в реальности у них давно были программируемые кнопки, которые можно было запрограммировать через их софт. Уйдя на шаг вперед, легко представить, как кнопки программируются не через софт, а с голоса или умно подстраиваются под среду использования (браузер / видеоигра / музыкальный редактор). То же самое должно произойти с Arduino — возникнут простейшие роботы с голосовым управлением.
#promptgramming #event #code #electronics #robotics
Мысль не новая, она гуляет по Youtube уже изрядное время. Успехи GPT-технологии в генерации кода феноменальны: происходит х50-100 удешевление написания / ревью / тестирования кода. Грубые подсчеты (не учитывающие многое) дают 0,5$ за строчку человеческого кода (150 строчек в день при месячной зарплате в 2000$). Я не эксперт в этом, за точные цифры не ручаюсь, главное, что происходит многократный демпинг, который невозможно игнорировать (даже при снижении качества кода).
Свежее следствие расцвета "программирования на естественном языке" — бум программируемой электроники. Logitech на днях презентовал компьютерную мышь с AI-кнопкой, но в реальности у них давно были программируемые кнопки, которые можно было запрограммировать через их софт. Уйдя на шаг вперед, легко представить, как кнопки программируются не через софт, а с голоса или умно подстраиваются под среду использования (браузер / видеоигра / музыкальный редактор). То же самое должно произойти с Arduino — возникнут простейшие роботы с голосовым управлением.
#promptgramming #event #code #electronics #robotics
Google Docs
Prompt-gramming, или программирование на естественном языке
{ Prompt-gramming } Программирование на естественном языке
👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Автономные автомобили Waymo можно тормозить, встав около дороги в футболке с принтом "STOP" 😆
#hack #meme
#hack #meme
😁1
Великий ограничитель
GenAI-сфера развивается с невероятной энергетикой, инвестициями и вниманием к себе. Секрет кроется в том, что ученые и инженеры нашли простой рецепт, грубо говоря: х3 количество данных в обучающей выборке + х3 вычислительных мощностей в датацентре = GenAI-модель нового поколения. Долгое время было не видно конца и края, как будто можно добраться до сверх-интеллекта через пару тактов (условно GPT-6). Сейчас не всё предопределено, но появились три ограничителя, один из которых великий.
1. Слабая архитектура LLM: авторегрессивный трансформер (GPT), где следующее слово предсказывается на основе предыдущего, не способен совладать с "Системой 2" (планирование, рефлексия, поиск оптимального решения), а также стать полноценно мультимодальным.
2. Нехватка качественных данных для обучения моделей: весь прошлый год активно используют синтетические данные (например, сгенерированные через GPT-4) для тренировки моделей, у этого подхода есть ограничения.
3. Нехватка энергии для датацентров (суперкомпьютеров) нового поколения: об этом на днях говорил Цукерберг, чья компания в топ-3 по уже выкупленным графическим процессорам.
Это означает примерно три вещи: а) GenAI-революция в какой-то момент затормозится, обретет совсем иную скорость развития; б) Самые прорывные идеи находятся в сфере энергоэффективности моделей, например, мощную и маленькую новинку LLaMA 3 8B Instruct (сравнимую с GPT-3.5) можно запускать с локального компьютера (от 6ГБ VRAM); в) Prompting / fine-tuning и прочие методы улучшения ответов никуда не денутся, потому что по сути являются энергоэффективными практиками (получаешь лучший ответ за тот же расход энергии).
#llm #energy #llama #open_source #promptgramming
GenAI-сфера развивается с невероятной энергетикой, инвестициями и вниманием к себе. Секрет кроется в том, что ученые и инженеры нашли простой рецепт, грубо говоря: х3 количество данных в обучающей выборке + х3 вычислительных мощностей в датацентре = GenAI-модель нового поколения. Долгое время было не видно конца и края, как будто можно добраться до сверх-интеллекта через пару тактов (условно GPT-6). Сейчас не всё предопределено, но появились три ограничителя, один из которых великий.
1. Слабая архитектура LLM: авторегрессивный трансформер (GPT), где следующее слово предсказывается на основе предыдущего, не способен совладать с "Системой 2" (планирование, рефлексия, поиск оптимального решения), а также стать полноценно мультимодальным.
2. Нехватка качественных данных для обучения моделей: весь прошлый год активно используют синтетические данные (например, сгенерированные через GPT-4) для тренировки моделей, у этого подхода есть ограничения.
3. Нехватка энергии для датацентров (суперкомпьютеров) нового поколения: об этом на днях говорил Цукерберг, чья компания в топ-3 по уже выкупленным графическим процессорам.
Нехватка энергии — тот самый великий ограничитель, который встает на пути у всех человеческих сверх-идей.
Это означает примерно три вещи: а) GenAI-революция в какой-то момент затормозится, обретет совсем иную скорость развития; б) Самые прорывные идеи находятся в сфере энергоэффективности моделей, например, мощную и маленькую новинку LLaMA 3 8B Instruct (сравнимую с GPT-3.5) можно запускать с локального компьютера (от 6ГБ VRAM); в) Prompting / fine-tuning и прочие методы улучшения ответов никуда не денутся, потому что по сути являются энергоэффективными практиками (получаешь лучший ответ за тот же расход энергии).
#llm #energy #llama #open_source #promptgramming
YouTube
Energy, not compute, will be the #1 bottleneck to AI progress – Mark Zuckerberg
Full Episode: https://youtu.be/bc6uFV9CJGg
Apple Podcasts: https://podcasts.apple.com/us/podcast/mark-zuckerberg-llama-3-open-sourcing-%2410b-models-caeser/id1516093381?i=1000652877239
Spotify: https://open.spotify.com/episode/6Lbsk4HtQZfkJ4dZjh7E7k?si=…
Apple Podcasts: https://podcasts.apple.com/us/podcast/mark-zuckerberg-llama-3-open-sourcing-%2410b-models-caeser/id1516093381?i=1000652877239
Spotify: https://open.spotify.com/episode/6Lbsk4HtQZfkJ4dZjh7E7k?si=…
👍2❤1
#ОбзорГены №4
Минувшая неделя отметилась очередью релизов, а также интересно наблюдать за применением AI в отраслях от маркетинга до спорта.
{ Свежак }
🔠 LLaMa-3 — новый лидер среди open source LLM. Результаты ChatBot Arena. На Hugging Face опубликовали обучающий датасет LLaMA-3.
🔠 Adobe выпустил Acrobat AI Assistant — чат-бот для поиска по PDF, также компания представила VideoGigaGAN — 8х апскейлер для видео.
🔠 Boston Dynamics представила Atlas, нового гуманоида на электродвигателях вместо поршней.
🔠 Вышла Reka Core — мультимодальная языковая модель, которая по Vision не хуже лидеров.
🔠 Яндекс релизнул сервис Нейро (аналог Perplexity).
{ Пульс }
⚡️ Легковесные LLM (LLaMA-3 8B / CodeQwen1.5-7B), размещаемые локально, обошли ChatGPT-3.5.
⚡️ Грядет новое поколение анимированных аватаров — VASA от Microsoft.
⚡️ Исследование: LLM лучше людей в фактчекинге.
{ Текстуры }
✅ Мысли про prompt-gramming (программирование на естественном языке) — ожидаем бум программируемой электроники.
✅ Каким станет веб-сайт в эпоху AI-чатботов / агентов — маркетологи не готовы полностью от него отказаться, но веб-сайт будет совершенно иным.
✅ Как запустить LLaMA-3 8В на локальном компьютере — используйте LM Studio.
✅ Как AI научился рекомендовать тактические приемы при угловых в футболе — разбор проекта DeepMind.
✅ Примеры применения Knowledge Maps в LLM-чатботах — подборка от тг-канала "LLM под капотом".
✅ Подборка ИИ-сервисов для ученых — от исследовательницы.
✅ Учёные, исследовавшие ДНК кишечной микрофлоры, встроили в Borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В игру поиграло более 4 млн человек.
{ Находки }
😯 Lightning AI — альтернатива Google Colab для запуска нейросетей и GenAI-приложений.
😯 Vision Arena — таблица лидеров среди Vision-моделей.
😯 Waicas — всемирный конкурс среди создателей AI-инфлюенсеров.
{ Перекресток мнений }
❓ Великий ограничитель. В добавление к предыдущему посту интересный момент, что речь не о тотальной нехватки энергии, а о сконцентрированной в одном месте. Грубо говоря, датацентры (сверхкомпьютеры) начнут строить сразу вместе с электростанциями. Многие в индустрии ждут и надеются на прорыв в термоядерном синтезе, что символично для моего родного Троицка. Вряд ли советские ученые 1970-х думали, что создают технологию для искусственного интеллекта 😃
#llm #text #rag #robotics #research #promptgramming #industry #energy
Минувшая неделя отметилась очередью релизов, а также интересно наблюдать за применением AI в отраслях от маркетинга до спорта.
{ Свежак }
{ Пульс }
{ Текстуры }
✅ Мысли про prompt-gramming (программирование на естественном языке) — ожидаем бум программируемой электроники.
✅ Каким станет веб-сайт в эпоху AI-чатботов / агентов — маркетологи не готовы полностью от него отказаться, но веб-сайт будет совершенно иным.
✅ Как запустить LLaMA-3 8В на локальном компьютере — используйте LM Studio.
✅ Как AI научился рекомендовать тактические приемы при угловых в футболе — разбор проекта DeepMind.
✅ Примеры применения Knowledge Maps в LLM-чатботах — подборка от тг-канала "LLM под капотом".
✅ Подборка ИИ-сервисов для ученых — от исследовательницы.
✅ Учёные, исследовавшие ДНК кишечной микрофлоры, встроили в Borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В игру поиграло более 4 млн человек.
{ Находки }
😯 Lightning AI — альтернатива Google Colab для запуска нейросетей и GenAI-приложений.
😯 Vision Arena — таблица лидеров среди Vision-моделей.
😯 Waicas — всемирный конкурс среди создателей AI-инфлюенсеров.
{ Перекресток мнений }
#llm #text #rag #robotics #research #promptgramming #industry #energy
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
эйай ньюз
🔥LLaMa 3 - дождались: Новая SOTA в open-source!
Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.
Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B…
Сегодня день больших релизов от Meta, в которых и я и моя команда принимала прямое участие.
Зарелизили в опенсорс LLaMa-3 8B и 70B:
🔳LLaMa-3 8B – лучшая в своем классе модель, и сопоставима с LLaMa-2 70B…
🔥4
Нужен ли вам веб-сайт в эпоху AI?
С таким заголовком вышли к публике Youtube-подкаст "Marketing against the Grain" (авторы CMO Hubspot и CMO Zapier), который попал во вчерашний обзор, и сегодня хочу подбить тезисы оттуда.
Сама постановка вопроса стала возможна, потому что генеративные нейросети подрывают классический поиск, который служит хабом распределения трафика между веб-сайтами (как SEO, так и PPL), но также GenAI подрывает веб-страницы со статичной информацией, потому что AI-чатбот лучше справляется с задачей информирования пользователя. Чатбот на сайте уже сейчас заменяет секцию Q&A и Support. Наконец, третий аспект, что грядет новый вид гаджетов (типа Humane и Rabbit R1) с голосовым управлением, и непонятно, как веб-сайты адаптируются к новым устройствам.
Останется ли веб-сайт после тройного удара? Да.
Сохранит ли веб-сайт прежний вид? Нет.
Веб-сайт как витрина будет дрейфовать в сторону шоурума / стенда на выставке, то есть аудио-визуальный аттракцион с AI-ассистентами. Деконструирую этот образ:
Этот образ является идеальным, понятно, что далее будет действовать баланс издержек и пользы. Далеко не все из своего магазина делают шоурум, веб-сайты-дискаунтеры не исчезнут. Где-то сохранится функция про-активного взаимодействия с сайтом, когда пользователь ресерчит или творит.
Любопытный штрих напоследок:
#multimodal #marketing #website #aiagent
С таким заголовком вышли к публике Youtube-подкаст "Marketing against the Grain" (авторы CMO Hubspot и CMO Zapier), который попал во вчерашний обзор, и сегодня хочу подбить тезисы оттуда.
Сама постановка вопроса стала возможна, потому что генеративные нейросети подрывают классический поиск, который служит хабом распределения трафика между веб-сайтами (как SEO, так и PPL), но также GenAI подрывает веб-страницы со статичной информацией, потому что AI-чатбот лучше справляется с задачей информирования пользователя. Чатбот на сайте уже сейчас заменяет секцию Q&A и Support. Наконец, третий аспект, что грядет новый вид гаджетов (типа Humane и Rabbit R1) с голосовым управлением, и непонятно, как веб-сайты адаптируются к новым устройствам.
Останется ли веб-сайт после тройного удара? Да.
Сохранит ли веб-сайт прежний вид? Нет.
Веб-сайт как витрина будет дрейфовать в сторону шоурума / стенда на выставке, то есть аудио-визуальный аттракцион с AI-ассистентами. Деконструирую этот образ:
1. AI-чатботы как продавцы-консультанты должны будут пройти с пользователем весь путь от входа до решения пользовательского запроса.
2. Совместный путь пользователя и AI будет проходить по персонализированному аудио-визуальному пространству, которое может быть сгенерировано в моменте, а может быть умно подобрано из готовых шаблонов.
3. Как в шоуруме, вы найдете мало текста, так и тут его будет немного (возможно как в TikTok).
4. Язык пользователя не будет иметь значения — веб-сайт будет по умолчанию мультиязычным.
Этот образ является идеальным, понятно, что далее будет действовать баланс издержек и пользы. Далеко не все из своего магазина делают шоурум, веб-сайты-дискаунтеры не исчезнут. Где-то сохранится функция про-активного взаимодействия с сайтом, когда пользователь ресерчит или творит.
Любопытный штрих напоследок:
AI-ассистентов для веб-сайта можно обучать на фаундерах, которые всегда лучше всех разбираются в собственной компании.
#multimodal #marketing #website #aiagent
YouTube
Do You Even NEED A Website?
Stay ahead of the competition by downloading our FREE State of Marketing Report 💥 https://clickhubspot.com/d80
Ep 218
Is your website an outdated relic or your best salesperson?
Kipp and Kieran dive into the future role of websites in an AI-driven marketing…
Ep 218
Is your website an outdated relic or your best salesperson?
Kipp and Kieran dive into the future role of websites in an AI-driven marketing…
👍3🔥1
Claude — самый растущий LLM-чатбот в моменте 🔥
Данные подтверждают интуицию, что Claude заметно прибавил после релиза третьей версии модели. Согласно SimilarWeb, веб-трафик в марте вырос более чем в два раза. Несмотря на относительно низкую базу, это внушительный результат. Отметил бы еще, что в эти месяцы они успели выпустить туториал по промптингу в Google Sheets (!) и отличную библиотеку промптов. А в перформансе Claude превосходит ChatGPT по некоторым типам задачам, один из неожиданных юзкейсов опишу на следующей неделе.
Источник графика
#llm #text #promptgramming #stats
Данные подтверждают интуицию, что Claude заметно прибавил после релиза третьей версии модели. Согласно SimilarWeb, веб-трафик в марте вырос более чем в два раза. Несмотря на относительно низкую базу, это внушительный результат. Отметил бы еще, что в эти месяцы они успели выпустить туториал по промптингу в Google Sheets (!) и отличную библиотеку промптов. А в перформансе Claude превосходит ChatGPT по некоторым типам задачам, один из неожиданных юзкейсов опишу на следующей неделе.
Источник графика
#llm #text #promptgramming #stats
Пора перестать пользоваться бесплатным ChatGPT 3.5 ✖️
Не кликбейт, а назревший момент. Январское обновление gpt-3.5 находится на 33 месте в LLM лидерборде. Это неплохо для модели, обучавшейся в 2021-м. OpenAI постоянно подтягивают ее за счет файнтюна и системного промпта (если пользоваться ChatGPT). Модель выполнила историческую миссию популяризации LLM вообще, для большинства первый контакт с LLM случился именно с ChatGPT 3.5. Но сейчас это уже неактуально.
7 (ограниченно) бесплатных LLM-чатботов на замену ChatGPT-3.5:
1. Claude 3 (бесплатная модель Sonnet)
2. Gemini
3. Google AI Studio (та самая модель с мега-контекстом в 1М токенов)
4. Mistral
5. Reka Core
6. Meta AI*
7. LMSYS (та самая Chatbot Arena, где можно бесплатно воспользоваться любой моделью)
Все — эквивалентные замены или даже лучше. До сих пор не могу включить в этот список российские YandexGPT и GigaChat, хотя они еще в декабре хвалились, что бьют ChatGPT 3.5 в side-by-side на русском языке. Мой опыт раз за разом разочаровывающий.
Я бы не стал писать пост только ради перечисления доступных LLM-чатботов. Мне кажется, пора приобрести новую привычку: запускать языковые модели уровня ChatGPT 3.5 с локального компьютера без доступа к интернету. В преддверие летних походов 😃
По сути среди LLM есть три сегмента: а) для локального применения; б) для бесплатного онлайн-использования; в) платные cutting-edge модели. ChatGPT 3.5 выпал из лидеров второй категории, но спасибо за всё 🧡
P.s. на скриншотах ответ на хитрый вопрос от локальной Starling, YaGPT в Алисе, ChatGPT 3.5 и Mistral.
*признана экстремистской и запрещена в РФ
#llm #open_source #local
Не кликбейт, а назревший момент. Январское обновление gpt-3.5 находится на 33 месте в LLM лидерборде. Это неплохо для модели, обучавшейся в 2021-м. OpenAI постоянно подтягивают ее за счет файнтюна и системного промпта (если пользоваться ChatGPT). Модель выполнила историческую миссию популяризации LLM вообще, для большинства первый контакт с LLM случился именно с ChatGPT 3.5. Но сейчас это уже неактуально.
7 (ограниченно) бесплатных LLM-чатботов на замену ChatGPT-3.5:
1. Claude 3 (бесплатная модель Sonnet)
2. Gemini
3. Google AI Studio (та самая модель с мега-контекстом в 1М токенов)
4. Mistral
5. Reka Core
6. Meta AI*
7. LMSYS (та самая Chatbot Arena, где можно бесплатно воспользоваться любой моделью)
Все — эквивалентные замены или даже лучше. До сих пор не могу включить в этот список российские YandexGPT и GigaChat, хотя они еще в декабре хвалились, что бьют ChatGPT 3.5 в side-by-side на русском языке. Мой опыт раз за разом разочаровывающий.
Я бы не стал писать пост только ради перечисления доступных LLM-чатботов. Мне кажется, пора приобрести новую привычку: запускать языковые модели уровня ChatGPT 3.5 с локального компьютера без доступа к интернету. В преддверие летних походов 😃
У меня в руках слабый ноутбук (4 ГБ VRAM). Есть две модели уровня gpt-3.5, с которыми он справляется: Llama-3-8b-Instruct и Starling-LM-7B-beta. Скачивайте LM Studio (программа займет около 1 ГБ жесткого диска), по поиску найдите модели выше, софт подскажет какая версия модели влезет в ваш компьютер, скачивайте файл модели (2,5-4 ГБ памяти) и начинайте диалог из любой точки Земли.
По сути среди LLM есть три сегмента: а) для локального применения; б) для бесплатного онлайн-использования; в) платные cutting-edge модели. ChatGPT 3.5 выпал из лидеров второй категории, но спасибо за всё 🧡
P.s. на скриншотах ответ на хитрый вопрос от локальной Starling, YaGPT в Алисе, ChatGPT 3.5 и Mistral.
*признана экстремистской и запрещена в РФ
#llm #open_source #local
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
This media is not supported in your browser
VIEW IN TELEGRAM
👆 Яркая визуализация падения ChatGPT-3.5 (началось в декабре и закончилось к марту).
Telegram-источник
#llm #leaderboard
Telegram-источник
#llm #leaderboard
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
HeyGen переоценен 😉
Грядет ChatGPT-момент в AI-аватарах (AI Talking Heads), и хотя HeyGen уже на слуху около года, он переоценен по нескольким причинам:
HeyGen занял свою нишу для бизнеса, для которого видео-контент — способ отстроиться от конкурентов, без особых претензий на качество. Мультиязычность, демпинг классического видео-продакшена, доступность для непрофессионалов — очень понятная ценность. Но это всё далеко от ChatGPT-Midjourney-Suno, подарившие по-настоящему массовый продукт. У Suno в 4 раза больше интернет-трафика, чем у HeyGen, хотя Suno еще "не существовало", когда все тащились от HeyGen-переозвучки мемов.
На этой неделе вышел релиз от Synthesia, показавшей новое поколение (не только lipsync) ИИ-аватаров вслед за Микрософт и Алибаба. ChatGPT-момент в этой сфере мы определим по YouTube: когда faceless-каналы обретут AI-face.
#ai_avatars #lipsync #heygen #video
Грядет ChatGPT-момент в AI-аватарах (AI Talking Heads), и хотя HeyGen уже на слуху около года, он переоценен по нескольким причинам:
Во-первых, реально он лидер в lipsync (перерисовки движения губ под заданный текст) — области, которая не звучит так горячо, как AI-аватары или Talking Heads.
Во-вторых, AI-аватаров слабо используют на публике (хотя порой громко), зато они распространены в B2B- и внутрикорпоративной сфере для клиентов / сотрудников.
В-третьих, после Sora вся прочая видеогенерация (в том числе lipsync) померкла.
В-четвертых, как любая видеогенерация, AI-аватары никогда не стоили дешево (от 1$ за минуту).
HeyGen занял свою нишу для бизнеса, для которого видео-контент — способ отстроиться от конкурентов, без особых претензий на качество. Мультиязычность, демпинг классического видео-продакшена, доступность для непрофессионалов — очень понятная ценность. Но это всё далеко от ChatGPT-Midjourney-Suno, подарившие по-настоящему массовый продукт. У Suno в 4 раза больше интернет-трафика, чем у HeyGen, хотя Suno еще "не существовало", когда все тащились от HeyGen-переозвучки мемов.
На этой неделе вышел релиз от Synthesia, показавшей новое поколение (не только lipsync) ИИ-аватаров вслед за Микрософт и Алибаба. ChatGPT-момент в этой сфере мы определим по YouTube: когда faceless-каналы обретут AI-face.
#ai_avatars #lipsync #heygen #video