{AI} love you | Нейросет – Telegram
{AI} love you | Нейросет
245 subscribers
89 photos
16 videos
88 links
Авторский канал о prompt-gramming.
Гайды, разборы, ревью, рекомендации и личные инсайты о нейросетях.

Автор — @troclap
____________
Курс "ChatGPT в работе"
на Stepik: https://stepik.org/a/200358
на GetCourse: https://ailoveyou.getcourse.ru/gpt-assistant
Download Telegram
Forwarded from Machinelearning
⚡️ Стартап Reka показал новую мультимодальную LLM Reka Core

🟡Стартап Reka, основанный бывшими разработчиками DeepMind, представил свою последнюю разработку в области искусственного интеллекта — мультимодальную языковую модель (LLM) под названием Reka Core. Эта передовая нейросеть способна обрабатывать текст, изображения, аудио и видео, чем выделяется среди других технологий в своем классе.

🟡Reka Core обладает впечатляющим контекстным окном на 128 000 токенов и поддерживает обработку данных на 32 языках, что делает её одной из самых мощных и универсальных систем на рынке. Эта функциональность открывает новые возможности для разработчиков и исследователей в области ИИ, позволяя модели эффективно справляться с задачами обработки больших объемов разнообразных данных.

🟡В ряде мультимодальных оценок Reka Core продемонстрировала результаты, превосходящие показатели таких известных моделей, как Claude 3 Opus и Gemini Ultra. Особенно заметно это стало в области обработки видеоконтента, где Reka Core вышла на первое место, превзойдя Gemini Ultra. Кроме того, модель показала конкурентоспособные результаты с GPT-4 в задачах по пониманию изображений, что свидетельствует о высоком качестве и универсальности разработки.

🟡Компания Reka активно сотрудничает с такими гигантами, как Oracle и Snowflake, что позволяет ей расширять свои возможности и укреплять позиции на рынке.

▶️ Сайт Reka.ai (можно сразу открыть чат)

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👆 та самая модель, которую мне удалось обнаружить раньше, чем она расползлась по телеграму. Выглядит реально внушительно, и правда показывает лидерство в Vision-задачах.
👍2
В пятницу выступал в бизнес-клубе перед предпринимателями и менеджерами на тему "Prompt-gramming, или Программирование на естественном языке" (презентация). Основной посыл был в том, что программирование как действие выходит за пределы узко-профессионального сообщества и становится доступно любым профессионалам, которые мыслят алгоритмически.

Мысль не новая, она гуляет по Youtube уже изрядное время. Успехи GPT-технологии в генерации кода феноменальны: происходит х50-100 удешевление написания / ревью / тестирования кода. Грубые подсчеты (не учитывающие многое) дают 0,5$ за строчку человеческого кода (150 строчек в день при месячной зарплате в 2000$). Я не эксперт в этом, за точные цифры не ручаюсь, главное, что происходит многократный демпинг, который невозможно игнорировать (даже при снижении качества кода).


Свежее следствие расцвета "программирования на естественном языке" — бум программируемой электроники. Logitech на днях презентовал компьютерную мышь с AI-кнопкой, но в реальности у них давно были программируемые кнопки, которые можно было запрограммировать через их софт. Уйдя на шаг вперед, легко представить, как кнопки программируются не через софт, а с голоса или умно подстраиваются под среду использования (браузер / видеоигра / музыкальный редактор). То же самое должно произойти с Arduino — возникнут простейшие роботы с голосовым управлением.

#promptgramming #event #code #electronics #robotics
👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Автономные автомобили Waymo можно тормозить, встав около дороги в футболке с принтом "STOP" 😆

#hack #meme
😁1
Великий ограничитель

GenAI-сфера развивается с невероятной энергетикой, инвестициями и вниманием к себе. Секрет кроется в том, что ученые и инженеры нашли простой рецепт, грубо говоря: х3 количество данных в обучающей выборке + х3 вычислительных мощностей в датацентре = GenAI-модель нового поколения. Долгое время было не видно конца и края, как будто можно добраться до сверх-интеллекта через пару тактов (условно GPT-6). Сейчас не всё предопределено, но появились три ограничителя, один из которых великий.

1. Слабая архитектура LLM: авторегрессивный трансформер (GPT), где следующее слово предсказывается на основе предыдущего, не способен совладать с "Системой 2" (планирование, рефлексия, поиск оптимального решения), а также стать полноценно мультимодальным.
2. Нехватка качественных данных для обучения моделей: весь прошлый год активно используют синтетические данные (например, сгенерированные через GPT-4) для тренировки моделей, у этого подхода есть ограничения.
3. Нехватка энергии для датацентров (суперкомпьютеров) нового поколения: об этом на днях говорил Цукерберг, чья компания в топ-3 по уже выкупленным графическим процессорам.

Нехватка энергии — тот самый великий ограничитель, который встает на пути у всех человеческих сверх-идей.


Это означает примерно три вещи: а) GenAI-революция в какой-то момент затормозится, обретет совсем иную скорость развития; б) Самые прорывные идеи находятся в сфере энергоэффективности моделей, например, мощную и маленькую новинку LLaMA 3 8B Instruct (сравнимую с GPT-3.5) можно запускать с локального компьютера (от 6ГБ VRAM); в) Prompting / fine-tuning и прочие методы улучшения ответов никуда не денутся, потому что по сути являются энергоэффективными практиками (получаешь лучший ответ за тот же расход энергии).

#llm #energy #llama #open_source #promptgramming
👍21
#ОбзорГены №4

Минувшая неделя отметилась очередью релизов, а также интересно наблюдать за применением AI в отраслях от маркетинга до спорта.

{ Свежак }

🔠 LLaMa-3 — новый лидер среди open source LLM. Результаты ChatBot Arena. На Hugging Face опубликовали обучающий датасет LLaMA-3.
🔠 Adobe выпустил Acrobat AI Assistant — чат-бот для поиска по PDF, также компания представила VideoGigaGAN — 8х апскейлер для видео.
🔠 Boston Dynamics представила Atlas, нового гуманоида на электродвигателях вместо поршней.
🔠 Вышла Reka Core — мультимодальная языковая модель, которая по Vision не хуже лидеров.
🔠 Яндекс релизнул сервис Нейро (аналог Perplexity).

{ Пульс }

⚡️ Легковесные LLM (LLaMA-3 8B / CodeQwen1.5-7B), размещаемые локально, обошли ChatGPT-3.5.
⚡️ Грядет новое поколение анимированных аватаров — VASA от Microsoft.
⚡️ Исследование: LLM лучше людей в фактчекинге.

{ Текстуры }

Мысли про prompt-gramming (программирование на естественном языке) — ожидаем бум программируемой электроники.
Каким станет веб-сайт в эпоху AI-чатботов / агентов — маркетологи не готовы полностью от него отказаться, но веб-сайт будет совершенно иным.
Как запустить LLaMA-3 8В на локальном компьютере — используйте LM Studio.
Как AI научился рекомендовать тактические приемы при угловых в футболе — разбор проекта DeepMind.
Примеры применения Knowledge Maps в LLM-чатботах — подборка от тг-канала "LLM под капотом".
Подборка ИИ-сервисов для ученых — от исследовательницы.
Учёные, исследовавшие ДНК кишечной микрофлоры, встроили в Borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В игру поиграло более 4 млн человек.

{ Находки }

😯 Lightning AI — альтернатива Google Colab для запуска нейросетей и GenAI-приложений.
😯 Vision Arena — таблица лидеров среди Vision-моделей.
😯 Waicas — всемирный конкурс среди создателей AI-инфлюенсеров.

{ Перекресток мнений }

Великий ограничитель. В добавление к предыдущему посту интересный момент, что речь не о тотальной нехватки энергии, а о сконцентрированной в одном месте. Грубо говоря, датацентры (сверхкомпьютеры) начнут строить сразу вместе с электростанциями. Многие в индустрии ждут и надеются на прорыв в термоядерном синтезе, что символично для моего родного Троицка. Вряд ли советские ученые 1970-х думали, что создают технологию для искусственного интеллекта 😃

#llm #text #rag #robotics #research #promptgramming #industry #energy
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4
Нужен ли вам веб-сайт в эпоху AI?

С таким заголовком вышли к публике Youtube-подкаст "Marketing against the Grain" (авторы CMO Hubspot и CMO Zapier), который попал во вчерашний обзор, и сегодня хочу подбить тезисы оттуда.

Сама постановка вопроса стала возможна, потому что генеративные нейросети подрывают классический поиск, который служит хабом распределения трафика между веб-сайтами (как SEO, так и PPL), но также GenAI подрывает веб-страницы со статичной информацией, потому что AI-чатбот лучше справляется с задачей информирования пользователя. Чатбот на сайте уже сейчас заменяет секцию Q&A и Support. Наконец, третий аспект, что грядет новый вид гаджетов (типа Humane и Rabbit R1) с голосовым управлением, и непонятно, как веб-сайты адаптируются к новым устройствам.

Останется ли веб-сайт после тройного удара? Да.
Сохранит ли веб-сайт прежний вид? Нет.

Веб-сайт как витрина будет дрейфовать в сторону шоурума / стенда на выставке, то есть аудио-визуальный аттракцион с AI-ассистентами. Деконструирую этот образ:
1. AI-чатботы как продавцы-консультанты должны будут пройти с пользователем весь путь от входа до решения пользовательского запроса.
2. Совместный путь пользователя и AI будет проходить по персонализированному аудио-визуальному пространству, которое может быть сгенерировано в моменте, а может быть умно подобрано из готовых шаблонов.
3. Как в шоуруме, вы найдете мало текста, так и тут его будет немного (возможно как в TikTok).
4. Язык пользователя не будет иметь значения — веб-сайт будет по умолчанию мультиязычным.


Этот образ является идеальным, понятно, что далее будет действовать баланс издержек и пользы. Далеко не все из своего магазина делают шоурум, веб-сайты-дискаунтеры не исчезнут. Где-то сохранится функция про-активного взаимодействия с сайтом, когда пользователь ресерчит или творит.

Любопытный штрих напоследок:
AI-ассистентов для веб-сайта можно обучать на фаундерах, которые всегда лучше всех разбираются в собственной компании.


#multimodal #marketing #website #aiagent
👍3🔥1
Claude — самый растущий LLM-чатбот в моменте 🔥

Данные подтверждают интуицию, что Claude заметно прибавил после релиза третьей версии модели. Согласно SimilarWeb, веб-трафик в марте вырос более чем в два раза. Несмотря на относительно низкую базу, это внушительный результат. Отметил бы еще, что в эти месяцы они успели выпустить туториал по промптингу в Google Sheets (!) и отличную библиотеку промптов. А в перформансе Claude превосходит ChatGPT по некоторым типам задачам, один из неожиданных юзкейсов опишу на следующей неделе.

Источник графика

#llm #text #promptgramming #stats
Пора перестать пользоваться бесплатным ChatGPT 3.5 ✖️

Не кликбейт, а назревший момент. Январское обновление gpt-3.5 находится на 33 месте в LLM лидерборде. Это неплохо для модели, обучавшейся в 2021-м. OpenAI постоянно подтягивают ее за счет файнтюна и системного промпта (если пользоваться ChatGPT). Модель выполнила историческую миссию популяризации LLM вообще, для большинства первый контакт с LLM случился именно с ChatGPT 3.5. Но сейчас это уже неактуально.

7 (ограниченно) бесплатных LLM-чатботов на замену ChatGPT-3.5:
1. Claude 3 (бесплатная модель Sonnet)
2. Gemini
3. Google AI Studio (та самая модель с мега-контекстом в 1М токенов)
4. Mistral
5. Reka Core
6. Meta AI*
7. LMSYS (та самая Chatbot Arena, где можно бесплатно воспользоваться любой моделью)

Все — эквивалентные замены или даже лучше. До сих пор не могу включить в этот список российские YandexGPT и GigaChat, хотя они еще в декабре хвалились, что бьют ChatGPT 3.5 в side-by-side на русском языке. Мой опыт раз за разом разочаровывающий.

Я бы не стал писать пост только ради перечисления доступных LLM-чатботов. Мне кажется, пора приобрести новую привычку: запускать языковые модели уровня ChatGPT 3.5 с локального компьютера без доступа к интернету. В преддверие летних походов 😃
У меня в руках слабый ноутбук (4 ГБ VRAM). Есть две модели уровня gpt-3.5, с которыми он справляется: Llama-3-8b-Instruct и Starling-LM-7B-beta. Скачивайте LM Studio (программа займет около 1 ГБ жесткого диска), по поиску найдите модели выше, софт подскажет какая версия модели влезет в ваш компьютер, скачивайте файл модели (2,5-4 ГБ памяти) и начинайте диалог из любой точки Земли.


По сути среди LLM есть три сегмента: а) для локального применения; б) для бесплатного онлайн-использования; в) платные cutting-edge модели. ChatGPT 3.5 выпал из лидеров второй категории, но спасибо за всё 🧡

P.s. на скриншотах ответ на хитрый вопрос от локальной Starling, YaGPT в Алисе, ChatGPT 3.5 и Mistral.

*признана экстремистской и запрещена в РФ

#llm #open_source #local
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
This media is not supported in your browser
VIEW IN TELEGRAM
👆 Яркая визуализация падения ChatGPT-3.5 (началось в декабре и закончилось к марту).

Telegram-источник

#llm #leaderboard
👍4
This media is not supported in your browser
VIEW IN TELEGRAM
HeyGen переоценен 😉

Грядет ChatGPT-момент в AI-аватарах (AI Talking Heads), и хотя HeyGen уже на слуху около года, он переоценен по нескольким причинам:
Во-первых, реально он лидер в lipsync (перерисовки движения губ под заданный текст) — области, которая не звучит так горячо, как AI-аватары или Talking Heads.
Во-вторых, AI-аватаров слабо используют на публике (хотя порой громко), зато они распространены в B2B- и внутрикорпоративной сфере для клиентов / сотрудников.
В-третьих, после Sora вся прочая видеогенерация (в том числе lipsync) померкла.
В-четвертых, как любая видеогенерация, AI-аватары никогда не стоили дешево (от 1$ за минуту).


HeyGen занял свою нишу для бизнеса, для которого видео-контент — способ отстроиться от конкурентов, без особых претензий на качество. Мультиязычность, демпинг классического видео-продакшена, доступность для непрофессионалов — очень понятная ценность. Но это всё далеко от ChatGPT-Midjourney-Suno, подарившие по-настоящему массовый продукт. У Suno в 4 раза больше интернет-трафика, чем у HeyGen, хотя Suno еще "не существовало", когда все тащились от HeyGen-переозвучки мемов.

На этой неделе вышел релиз от Synthesia, показавшей новое поколение (не только lipsync) ИИ-аватаров вслед за Микрософт и Алибаба. ChatGPT-момент в этой сфере мы определим по YouTube: когда faceless-каналы обретут AI-face.

#ai_avatars #lipsync #heygen #video
#ОбзорГены №5

Относительно скромный период в плане релизов, хотя не без громких утечек. И все равно масса интересного.

{ Свежак }

🔠 GPT-5 (или около того) появилась на чатбот арене под загадочным названием gpt2.
🔠 Релиз нового поколения ИИ-аватаров от Synthesia (конкурента HeyGen).
🔠 Вышла версия LLaMA-3-8B (легковесная) с контекстным окном в 1 миллион токенов (!), как у Gemini 1.5.
🔠 Китайский генератор видео Vidu первым приблизился к качеству, заданному Sora от OpenAI.

{ Пульс }

⚡️ Медицинская модель OpenBioLLM 70B вышла на первое место по тестам на медицинских задачах (даже выше GPT-4).
⚡️ LMSYS разработали новый бенчмарк Arena Hard v0.1 на основе анализа пользовательских запросов на Chatbot Arena.
⚡️ Складывается новый тип устойчивых моделей — генерация изображения человека по одному (!) обучающему фото. Новая модель из этого класса — Consistent ID.
⚡️ Аналогичная ситуация в виртуальных примерочных (одеть человека в заданную одежду), качество моделей растет. Две новые — IDM-VTON и Magic Clothing.
⚡️ По-настоящему важно: прорыв в редактировании человеческого ДНК с помощью ИИ.

{ Текстуры }

ChatGPT-3.5 всё — пора пользоваться другими LLM.
Разбор продакшена нашумевшего ИИ-видео Air Head (при участии Sora). Спойлер: остается много человеческого труда.
Тренды в GenAI от Степана Гершуни.
Marques Brownlee разносит второе AI-based носимое устройство, на этот раз Rabbit R1.
Исследование «Яков и Партнёры» о влиянии GenAI в горно-металлургической отрасли.

{ Находки }

😯 ImgSys — арена для сравнения разных файнтюнов Stable Diffusion моделей.
😯 Speechmatics — лучшая speech-to-text модель, судя по бенчмаркам.
😯 Shadow — сервис по аренде облачного ПК с мощным GPU (до 16 ГБ VRAM).

{ Перекресток мнений }

Цикл обновления GenAI. Несмотря на постоянное FoMO в GenAI, на мой взгляд, сложились четкие циклы. За один год базовая модель устаревает (сменяется поколение моделей), каждые три месяца — происходит значимый шаг вперед. Это всё применимо только для тех классов моделей, которые прошли свой "ChatGPT-момент" (X), то есть массовая аудитория почувствовала и научилась извлекать ценность технологии. По ту сторону X сейчас: LLM, RAG-чатботы, Code Interpretator, VLM (Vision-модели), генерация / restyle / inpainting / upscale изображения, depth-анимация, расшифровка речи, TTS (синтез речи), генерация музыки и их композ. Всё.

#llm #text #ai_avatar #video #med #benchmark #consistent #clothes #video #trend #device #image #speech #gpu
Please open Telegram to view this post
VIEW IN TELEGRAM
1
Маркетинговые LLM-опросы

Банальная идея — использовать LLM как респондентов на всевозможных опросах — почему-то незаслуженно игнорируется. Возможно за банальностью, возможно из-за "отсутствия субъектности" у чатботов их мнение само по себе неинтересно. За этим всем упускают тот факт, что LLM — интересный респондент со своим искаженно объективным мнением после прочтения всего интернета и обучения с учителем 😃

Слегка зашел на территорию ютуберов: сделал яркую обложку и придумал подводку к видеоразбору этого кейса. Сам разбор записан в рамках вебинара из курса "ChatGPT в работе", где мы разбираем такие и многие другие полезные юзкейсы языковых нейросеток. Накопилось много отснятого материала, который хочется вынести наружу. Темп повествования на вебинаре не такой бойкий, как в видеоуроках, зато есть спонтанные моменты, в которые проникают интересные мысли. Напишите в комментах здесь или на ютубе, как вам? выпускать такие ролики дальше? если да, накидайте свои кейсы.

Возвращаясь к теме, на мой взгляд, в 2024-м должно появиться research-агентство, которое станет специализироваться на LLM-опросах, необязательно только маркетинговых, но и социологических в целом тоже.

#llm #usecase #research #marketing #youtube
Дополнение к циклам обновления GenAI

Четкие циклы обновлений и крупных релизов сложились не спонтанно, а являются намеренной политикой провайдеров моделей. В недавнем выступлении Sam Altman несколько раз подчеркивает, что видит ценность в постепенном улучшении моделей, а не скачками (грубо говоря от GPT-4 к GPT-5). Все в индустрии понимают, что находятся на восходящем тренде, и приучают к этому потребителей моделей, чтобы не шокировать общественность.

Новое поколение: раз в 1-1,5 года (очень дорогое удовольствие, от $10M)
Значимый апгрейд: каждые 3 месяца (чаще либо не получается, либо считают ненужным)

#llm #text #cycle
IT-ЖКХ

До сих пор IT-инженеры не воспринимаются "настоящими" инженерами, как те, что строят машины, мосты, электростанции. Близок момент слияния смыслов.

AI одновременно сравнивают с электричеством и атомной бомбой. Дата-центры становятся супер-компьютерами (вычисления важнее хранения данных). Если прицепить к этому преобразование энергии в электричество (что уже в планах), то получается "умная" электростанция, или производство интеллекта из энергоресурсов.

Теперь сожмем эту идею в миниатюру — "AI-печка" в быту 😳. Не видел, чтобы о ней кто-то рассуждал. До распространения быстрого интернета в домах стояли системные блоки с up-to-date компонентами, по специфичности обслуживания они похожи на газовые котлы. Геймеры и 3D-профи никогда не расставались с ними, а большинство ушли пользоваться легкими девайсами и облачными сервисами. Можно взять в аренду облачный кусочек "умной" электростанции.
Но мне кажется, что "AI-печка" (неважно от чего она питается: от дров / газа / солнечных батарей или из розетки) не лишена смысла. Три юзкейса с ходу:
1. Запуск искусственного интеллекта в юрте местах без доступа к интернету
2. Безопасное голосовое управление "умным домом" (без подключения к интернету)
3. Персональный ассистент, знающий конфиденциальную информацию о вас


Если вы уже на середине текста подумали "что за фантастика?" (другой вариант — "что за ерунда?"), то давайте я еще накину 😃
Jeoffrey Hinton (один из славной Deep Learning четверки) предполагает, что возможно отказаться от разделения на аппаратное и программное обеспечение. Можно тренировать AI-модель, которая бы работала на конкретном аппарате без дополнительного программирования. Это энергоэффективно за счет перехода от цифровых вычислений (нули и единицы) к аналоговым (непрерывным). Похоже на смену архитектуры компьютера от транзисторов к нейронам. Их порядки сопоставимы: десятки млрд транзисторов в современном компьютере vs сотни млрд параметров в передовых LLM. Рекомендую видео целиком, гипотеза про слияние аппаратного и программного обеспечения на 28-й минуте.

Подведу итог. У AI (как продукта IT) есть потенциал залезть настолько глубоко в hardware, что его разработка и обслуживание будут неотличимы от машин, мостов, электростанций.

#opinion #energy #hardware #engineering
🔥1
Radiowave girls 🖤

Красоту в студию. AI боженька в смешении стилей. Взято отсюда.

#image #midjourney #restyle