Новый видос вышел: https://vkvideo.ru/video-227821233_456239028

Это видео длиться почти час и посвящено противостоянию двух нейросетей - YandexGPT и GigaChat в компьютерной игре TABS.

Все видео это большой эксперимент, я никогда ничего такого не делал, во всех смыслах. К примеру я впервые эээ, комментирую спортивный матч, если то что происходит на экране конечно можно назвать "комментированием", "матчем" и "спортивным".

Специально для этого видео я написал программу к которой подключил API YandexGPT и API GigaChat, TTS, анимации и даже эмоции.

Общем, жду ваших комментариев, потому что я вот без понятия что в итоге вышло (из-за того что я долго работал над этим видео у меня очень замылен взгляд на него).

👆На счет реалистичных диджитал-аватаров.

Думаю что скоро, через год-два, многие вдруг осознают что с диджитал аватарами можно делать то чего с реальными людьми делать не получиться. Им начнут добавлять нимбы, рога, менять цвет кожи на фиолетовый/красный, добавят всякие спецэффекты.

Так что скоро ангелочки и чертики будут продавать подгузники и делать онбординг в банковских приложениях.

Тут Твич начали штрафовать: https://vc.ru/legal/2182701-shtraf-twitch-v-moskve-za-otsutstvie-filiala-v-rossii, так что я задал вопрос в чатгпт о том когда Твич заблокируют, и что самое страшное, я сделал это не иронично.

Короче, интересные новости на фоне того что я запланировал начать регулярно стримить.

Я стримлю каждое воскресенье в 20:00 (по МСК)!

Основная тема всех стримов - нейросети, обычно я провожу испытания среди различных нейросетей.

Стримы проходят на Твиче: https://www.twitch.tv/tosternoscript

Здесь все записи стримов: https://vkvideo.ru/@tosternoscript

Печальные новости. По некоторым причинам видео "Я заставил нейросети Яндекса и Сбера сражаться в игре TABS" на ютубе больше нет. Его все еще можно посмотреть на вк видео: https://vkvideo.ru/video-227821233_456239028

Не буду говорить о причинах, но вот так получилось, к сожалению. Сам видос я считаю очень крутым, дело не в нем, а в ситуации вокруг.

В целом это видео было пробой пера, такие видео еще будут (скорее всего на основе стримов), просто мне нужно учитывать некоторые факторы.

Запустил стрим, заходите: https://www.twitch.tv/tosternoscript

План на стрим:

1) Познакомимся
2) Проверим работу Нейро Генералов
3) Если все ок то поиграем с ними в TABS

Тот случай когда я вообще не согласен с Борисом: https://news.1rj.ru/str/boris_again/3412

Настоящая экономическая ценность искусственного интеллекта — в автоматизации «тупой интеллектуальной работы».

Вот вообще нет, это размышление куда-то не туда.

Главная проблема в том что то что для людей может быть "тупой" работой, для нейросетей может оказаться сверх сложной задачей.

Классический пример - подсчет букв в слове. Я уже писал про это: https://news.1rj.ru/str/TosterScript/96 - есть люди которые пытаются оценивать интеллект нейросетей прося ее подсчитать кол-во букв в слове. Для людей это элементарная задача, но для нейросетей она очень сложная.

То что для человека может быть "тупой интеллектуальной задачей" для нейросети может оказаться очень сложным. И наоборот, то что для людей может казаться чем-то сверх сложным, для нейросети может быть элементарным.

Нужно искать такую работу где нейросеть справиться лучше и эффективнее людей, и НЕ важно воспринимают ли люди такую работу как "тупая" или "умная".

И наоборот, нужно выявлять такую работу которая для нейросетей оказываться очень сложной, которую они не могут выполнять, или могут, но не эффективно (слишком много ошибок, слишком много сожженых токенов и тд).

Я думаю что нас ждет еще очень много сюрпризов связанных с тем какую работу мы считаем "тупой", но которая при этом окажется не по зубам нейросетям.

Выложил запись стрима на вк видео: https://vkvideo.ru/video-227821233_456239029

Я решил пока выкладывать записи стримов на вк, да можно сделать второй ютуб канал для этого, но у ютуба очень строгие гайдлайны, а стримы я не могу контролировать так же как обычные видосы. Кто-то что-то не то скажет в чат, или нейросеть скажет что-то не то, и привет. Второй ютуб канал я заведу, но это требует времени, а на вк я могу просто скидывать все подряд.

Но я рекомендую заходить именно на живые трансляции, напомню что стримить я буду каждое воскресенье в 20:00.

Страшный ужасный ии сгенерированный контент вот вот уничтожит ютуб и интернет: https://www.youtube.com/watch?v=0Lcg3601Opk

Забавно что практически весь контент Сыендука представляет из себя переваривание чужого контента - его видео это видео про мультфильмы, фильмы, рекламу, игры и тд. Он использует чужой контент что бы создавать свой.

Знаете, ну прям как... нейросеть.

Ничего плохого в этом нет, просто сам видос из-за этого получаеться довольно лицемерным. Видео на 90% состоит из сгенерированного контента, при чем сгенерированного НЕ Сыендуком. Но оригинальный настоящий ютуб контент это конечно Сыендук, а вот сгенерированные с нуля видосы про котят, нееет, это плохо, это не оригинально.

Вообще хайпить на тему того "уу ии испаганил наш ютуб" это не новая тема, англоязычный ютуб весь в этом. Смешно, но ютуб постоянно предлагает мне видосы про то как ужасен ии-сгенерированный контент, но самих сгенерированных ии видосов не предлагает (это прям уже целый жанр на ютубе хейтить ии).

Тут у Яндекса скоро будет конференция про нейросети, и я подумал, а почему бы ее не постримить на твиче? Ага, шас, Яндекс строго-настрого запрещает это делать.

И вот мне интересно, а почему? Какой вообще смысл в этом запрете?

Coinbase уволила всех айтишников, которые отказались юзать нейросети: https://news.1rj.ru/str/ru4chan/64557

Какой ужас, из-за нейросетей увольняют программистов, но потом вспоминаем вот этот мой пост: https://news.1rj.ru/str/TosterScript/42

Знаете сколько людей работает в коинбейс? 4279, они их понанимали во времена криптохайпа. Мне сложно себе представить зачем централизованному крипто кошельку столько народа. Вообще весь бизнес коинбейса построен на некомпетентных людях которые неспособны использовать децентрализованные кошельки.

Ну и тут так удачно появился ИИ на которы можно свалить увольнения. Дело не в ИИ, просто у коинбейса дела плохи, а при помощи ИИ они пытаются это замаскировать.

GitHub Copilot в веб-версии как умный поиск по всему open source

Относительно недавно открыл для себя фичу, которая экономит часы копания в чужом коде. GitHub Copilot Chat прямо на github.com - по сути - натуральный RAG по всему open source. На видео, кстати, пару моих недавних юз кейсов.

Как это работает

Заходишь на любой репозиторий, открываешь Copilot Chat и задаешь вопросы по этому репо. Но самое крутое - он может искать и анализиовать не только в текущем репо, но и по всему GitHub.

Реальные кейсы

Выбор библиотеки. Вместо того чтобы гуглить "best X library for Y", открывать десятки вкладок и сравнивать звездочки - просто спроси Copilot про активность проекта, количество issues, частоту релизов. Он соберет инфу и выдаст summary.

Разбор имплементации. Нужно понять, как в популярной библиотеке реализован retry с backoff? "In repo X, explain how the HTTP client handles retries and backoff, show the relevant functions and files". Copilot покажет конкретные куски кода и объяснит логику.

Поиск известных проблем. Перед интеграцией библиотеки полезно проверить, какие там баги висят. "List recent security-related issues for repo Y and summarize mitigations or patches" - и сразу видишь, стоит ли вообще связываться.

Понимание архитектуры. Залез в новый проект и не понимаешь, как оно вообще устроено? Copilot может объяснить структуру, основные компоненты и как они взаимодействуют еще до того как ты спулишь этого репо. Особенно круто для больших проектов.


И да, прямо в VS Code есть @github agent, а для других агентов есть Github MCP, но на практике это не то, часто удобнее и эффективнее юзать именно веб-версию.

Короче, если раньше разбор новой библиотеки занимал полдня прыжков по документации и исходникам, теперь базовое понимание получаешь за 10 минут диалога с Copilot. А потом уже целенаправленно копаешь глубже там, где нужно.

В разработке большая часть кода - open source проекты, которые живут, развиваются и часто плохо документированы, Copilot тут реально экономит время.

WaveBlender: Practical Sound-Source Animation in Blended Domains

Создает звуковые эффекты на основе входной анимации. И вроде бы даже без нейросетей. Но посмотрите-послушайте что вытворяет.

Использует метод конечных разностей во временной области (FDTD) и ускоряется с помощью GPU.

— синтезирует звуки для различных существующих физических источников звука: воды, модальных источников, тонких оболочек, кинематических деформаторов

— создаёт точечные источники для маленьких твёрдых тел

— работает надёжно при разных разрешениях

— оптимизирована для работы на GPU

— может быть в 1000 раз быстрее, чем предыдущие волновые решатели на CPU

Код

#video2sfx #foley #sfx #animation2sfx

👆это к слову очень интересная штука, я лично все время страдаю когда нужно вставлять какие-то звуки в видео, саунд дизайн для меня тяжко, при чем вот самые простые вещи и самые тяжелые. Если бы такая штука была встроена в видео редактор то это прям Очень сильно упростило бы работу.

Она бы сама просто автоматически добавляла бы нужные звуки исходя из видео ряда.

Тут на ютубе кто-то написал коммент с вопросом о том зачем я стримлю и играю в игры с нейросетями, вместо того что бы делать образовательные видео.

Нейросети это как бокс, глупо быть боксером-теоретиком, с нейросетями нужно "боксировать". Общаться с ними, делать программы с ними, испытывать их. И вот именно этим я и буду заниматься на стримах.

Я стримлю игру TABS с боями нейросетей ЯндексГПТ и ГигаЧат не просто так, это не просто игры, это тесты. И эти тесты дают понимание того что из себя представляют эти две модели и что из себя вообще представляют ИИ сервисы Яндекса и Сбера.

Это тесты на то как происходит цензура у этих моделей (к слову Яндекс и Сбер очень по разному реализует цензуру), тесты того как они работают с tool calling (информация о фракциях и юнитах TABS именно в функциях и им нужно их вызывать что бы достать ее) и тд.

Используя эти стримы я потом сделаю видос где разберу подробнее что из себя представляют ЯндексГПТ и ГигаЧат, а так же ии-экосистемы Яндекса и Сбера.

Короче говоря, это все не просто так, если мои видосы про работу нейросетей это теория, то стримы это практика.

Да, напоминаю, уже сегодня в 20:00 по МСК я запущу стрим на https://www.twitch.tv/tosternoscript - обязательно приходите.

Какие-то проблемы на стороне Твича =( не дает запустить стрим, сейчас попробую что нибудь придумать.

Стрим начался! Заходите: https://www.twitch.tv/arenatostera

Твич что-то сделал с моим основным аккаунтом, забанили или еще что-то, не знаю, так что запускаю на своем втором акке: https://www.twitch.tv/arenatostera

Я вернул ЯндексГПТ и ГигаЧат их имена и знание о том что они представители компаний Яндекс и Сбер, в прошлый стрим они были от Алисы Корп и ГигаБанка из-за цензуры, посмотрим сколько раз мы триггернем цензуру из-за этого.

Планы:

1) бой 5 юнитов на 5 юнитов, любой бюджет.
2) битва на мосту из компании, смогут ли они пройти миссию из компании на мосту?
3) если успеем, битва на мосту между ЯндексГПТ и ГигаЧатом.