Метаверсище и ИИще – Telegram
Метаверсище и ИИще
46.8K subscribers
5.93K photos
4.35K videos
45 files
6.82K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergeyTsyptsyn
Download Telegram
Ну и про метаверсик давно не было. Смотрите, как оказывается накручивается хайп вокруг метаверсика, причем руками уважаемых экспертов из МакКинзи.
Берем статью на VentureBeat (солидно же) и читаем «Согласно опросу McKinsey, 59% потребителей хотели бы перенести свои ежедневные активности в метавселенную». Это те самые, что прочили триллионы метаверсу в 202х году.

Но есть нюанс: исследование ограничилось исключительно пользователями Fortnite, Roblox, Minecraft, Decentraland, The Sandbox.

Вот так вот, легко и непринужденно жонглируем цифрами.
Подробности тут:
https://news.1rj.ru/str/twin_3d/154
👍14👎3
А вот тут ацкий коктейль из GPT-3, UE5, NFT, трехмерного аватара-чат-бота, и типа-метаверса Somnium Space. Похоже, что можно запереть всех этих тварей в одном метаверсе, и они сами будут общаться, договариваться, продавать друг другу NFT.
Вот он трушный метаверс с триллионной экономикой.
Подробнее:
https://news.1rj.ru/str/twin_3d/153
🔥18👍10👎5
А вот это уже похоже на следующих шаг в развитии генеративных моделей.
Как же все-таки круто, что Stable Diffusion в open source!

Очень интересная работа, которая позволяет добавлять в Stable Diffusion различные специализированные задачи не перетряхивая и не разрушая имеющиеся у вас веса модели.

Geek mode on {

Файн-тюнинг и дообучение происходит не для всех модели, а только на определенных "блоках" нейронки. Что решает проблемы с памятью и скоростью.

ControlNet — это структура нейронной сети для управления моделями распространения путем добавления дополнительных условий.

Она копирует веса блоков нейронной сети в «заблокированную» копию и «обучаемую» копию.

«Обучаемая» применяет ваши условия. «Заблокированная» сохраняет вашу модель.

Благодаря этому обучение с небольшим набором данных пар изображений не разрушает готовые к производству модели распространения.

Ни один слой не обучается с нуля. Вы все еще проводите файн-тюнинг. Ваша оригинальная модель в безопасности.

Это позволяет тренироваться на небольших или даже персональных устройствах(!)(!).

Это также удобно для слияния/замены/смещения моделей/весов/блоков/слоев.

} // Geek mode off

Разработчики выкатили аж 9 инструментов, на основе этой сети.
Он, правда проклинают gradio за кривость и баги, но пока другого нет, предлагают попробовать эти приложения:
Среди них определение краев(эйджей) и прямых линих на картинках, генерация по скетчам, управление позами с помощью скелетов(!!!) (там правда все приподзаморочено через OpenPose), сегментация изображений, штриховка под аниме, продвинутая работа с глубиной, и что самое сладкое - работа с нормалями.

Поглядите на все это безобразие тут:
https://github.com/lllyasviel/ControlNet

Поигаться можно тут:
https://huggingface.co/spaces/camenduru/controlnet
Даже есть коллаб: https://colab.research.google.com/github/camenduru/controlnet-colab/blob/main/control-net-colab.ipynb

Спасибо за наводку @тоже_моушн
👍28🔥17
Завалило работой, готовлю chatGPT-пятницу.
Поэтому вот вам фоточка, которая взяла первый приз уважаемом конкусе фотографий в Австралии.
Члены жюри такие: "Потрясающий аэрофотоснимок над океаном показывает серфера, скользящего по разбивающейся волне от безмятежного синего моря к ярко-оранжевому закату".

ИИ такой: "Куда идти за призом?"
Члены жюри: "Чо?"

На деле кожаный автор и оператор ИИ по совместительству проявил благородство и от приза отказался, тут же сознавшись, что это ИИ-генерация.

Но осадочек остался. Если уж уважаемых членов жюри вштырило, то что уж говорить про ширнармассы.

Подробности тут:
https://www.digitalcameraworld.com/news/ai-image-fools-judges-and-wins-photograpy-competition
👍46🔥22
Вот человек по хорошему упоролся и написал аддон для Блендера с помощью chatGPT.
За два часа.

"за пару часов я смог получить рабочий инструмент, который решил мою проблему (при том, что самостоятельно я бы это делал гораздо дольше, разбираясь в API и особенностях разработки). На данный момент уже два ролика были успешно «упакованы» этим аддоном и отправлены для рендера на другие машины, так что «оно работает
» "

Я помню, что читал девкит для Майя недели две как минимум, чтобы написать первую строчку.

А тут такое...

Занимательное чтиво:
https://dzen.ru/a/Y9qdbbgXNSNsmqEz
👍47🔥8
Вот тут все наезжают на chatGPT (и конкурентов), что он, мол, завирается и иногда несет околесицу.
Погодите, а кожаные мешочки так никогда не делают?
chatGPT прилежно выучился на том, что вы принесли в сеть, это раз.
Кроме того, он прилежно выучил способ, которым вы укладываете некие смыслы в своей кожаной башке в слова и соединил все это в поток своего силиконового сознания, к которому вы так жадно припадаете.
Спросите на улице первого встречного, кто самый крутой художник 20 века? Или в чем заслуга Альберт Энштейна? Вы получите примерно тот же поток сознания и завирания.
Вам бота или энциклопедию?

Далее, вспоминаем, что мы с вами вроде как из креативных, мать его, индустрий. И что наша задача - делать зрителя/читателя/потребителя счастливым. Вызывать у него эмоции.
Вы же не требуете от нарисованной картинки реалистичности и достоверности? Почему Stable Diffusion - это ок, а chatGPT - врет?

Вот приносите вы режиссеру на блюдечке суперреалистичную воду, а от такой "это что за унылая хня?! Дай мне движуху и экшен. Реалистичность? В задницу, нам нужна эмоция зрителя".
Или, вот пишет Джоан Роулинг Харри Поттера, а критики такие "нереалистичные у вас персонажи, и врут все время про ньютоновскую физику".

Тексты (как и картинки) - вызывают эмоции. Кого трясет достоверность? Дайте chatGPT фантазировать и развиваться.

И в этом смысле (делания потребителя счастливым) chatGPT скоро уделает нас всех в лучшем виде. Очень скоро. Вон уже на подходе модели, которые оптимизируют текстовый промпт для чат-ботов под нужные задачи и которые демонстрируют превосходство над кожаными промптами.

Будущие поколения chatGPT смогут нести прекрасную чушь, которая будет делать потребителей этого контента счастливыми до визга и вызывать эмоции. Не зря же так взлетает RLHF - reinforcement learning on HUMAN FEEDBACK.
Лайки пойдут в дело, а на выходе будет литература нового типа. Которая безусловно нравится. Хотя вы и не понимаете почему. А ИИ понимает (у него для этого есть веса в голове).
🔥52👍22👎5
А вот и работа про генерацию промптов для языковых моделей.
Какое же тонкое название!
И очень интересно поразмыслить над тем, что авторы называют компромиссом между правдивостью и информативностью. Смотрим предыдущий пост.

Даже в промпты ИИ умеет лучше кожаных.

"Выполнение задачи в значительной степени зависит от качества подсказки, используемой для управления моделью, и наиболее эффективные подсказки создаются людьми вручную. Мы предлагаем Автоматическую инженерную подсказку (APE - ох, тонко!) для автоматического создания и выбора инструкций. В нашем методе мы рассматриваем инструкцию как «программу», оптимизированную путем поиска в пуле инструкций, предложенных LLM, чтобы максимизировать выбранную функцию оценки.

Наши автоматически сгенерированные инструкции превосходят предыдущий базовый уровень LLM с большим отрывом и обеспечивают лучшую или сравнимую производительность с инструкциями, сгенерированными комментаторами-людьми, в задачах Instruction Induction 24/24 и курируемых задачах BIG-Bench 17/21. "
https://sites.google.com/view/automatic-prompt-engineer
👍16🔥2
https://youtu.be/OxFcIv8Gq8o
Пару дней назад писал про ControlNet и магические новые тулзы для Stable Diffusion.
И вот уже все это пиршество прикрутили к Automatic1111.
Го тестировать!
Там и скелетоны, и глубина и нормали.
Пишите, как заводится и как работает.
https://youtu.be/OxFcIv8Gq8o

Для тех, кому в лом смотреть, есть таблица с результатами
https://miro.com/app/board/uXjVPnB9L2M=/
🔥17👍4
🔥96👍8👎2
Я уже постил список генераторов из-чего-угодно-во-что-угодно на 101 позицию.
Теперь Аарон Сим сделал к нему картиночку. Она конечно не полная, но кто-то лучше считывает информацию вот так. За полным списком шуруйте сюда.

Кто найдет text-to-money - пишите в личку. А я продолжу text-to-dophamine.

Также постил базу ИИнструментов.
Это как бы уже упакованные проекты, доведенные до MVP. За качество не ручаюсь, там одна тысяча инструментов в 50-ти категориях (ИИ, что ты делаешь, прекрати).

Кому удобно в кликапе - есть вот тут.

Вот еще один аггрегатор:
https://aitools.fyi/, собранный по индийским SMM-шаблонам.

Вот смышленые парни перепилили все это на русский https://ailib.ru/, хотя там есть оригинальные шедевры типа "Фитнес от нейросети в зале". И попытка охватить боты в телеге типа скромного Content Maker на все случаи жизни.

Думаю такие списки продержатся еще пару месяцев и постепенно превратятся в смешные сайты типа "Смарите чо есть в интернете". Ибо количество проектов растет катастрофически, а чат-истерика порождает ежедневно просто неимоверное количество сервисов-на-коленке типа "ответим на ваш вопрос за 200 рублей" или "наш бот напишет вам все и помоет посуду".

И это вы еще историю про Quora не слышали...

В общем, разгребайте, кому интересно. А на смену бесконечным спискам, придут хит-парады от солИИдных людей. С рейтингами, оценками, все как мы любим. А ИИ займется своим делом - накрутками...
🔥38👍6
Если кто пропустил, то вот список ИИ-проектов в области музыки и звука. Ссылочки набингуйте сами.
Про половину я уже писал.
👍28🔥12
Вот держите историю про Quora - сервис, который построил имя на том, что под капотом у него сидят кожаные эксперты и экспертно отвечают на все ваши идиотские вопросы. Вежливо, солидно, по-человечески и за деньги (если вопросов много).
Теперь они запилили ИИ-бота. На базе OpenAI и Anthropic.
Кожаные эксперты такие - чо?

https://news.1rj.ru/str/techsparks/3891
👍14
Почти идеальные руки с ControlNet на любой кастомной 1.5 модели

ControlNet это новая технология позволяющая использовать, наброски, очертания, карту глубины или нормалей для того чтобы гайдить нейронки на основе SD 1.5.

Я использовал расширение A1111 с ControlNet, в частности, использовал Depth модуль.

Затем я сделал несколько селфи с руками крупным планом и поместил их в ControlNet ui во вкладке txt2img. Запилил простой промпт в dreamshaper, что-то вроде "fantasy artwork, viking man showing hands closeup", а затем немного поиграл с силой ControlNet.

ControlNet сам преобразовывает картинку что ему дают в глубину, нормали или скетч, чтобы потом использовать это как гайданс. Но офк, можно напрямую подгружать и свою карту глубины или скетчи.

Я думаю, что это даже возможно использовать для инпейнтинга рук, пока ещё не пробовал.

Kей, наш AI Overlord, выпустил отличный тутор по ControlNet, советую глянуть.

ʟᴀᴛᴇɴᴛ ꜱᴘᴀᴄᴇ
👍40🔥11👎1
ИИ-лоботомия.
В генераторами картинок все достаточно просто. Там есть два кордона цензуры: один анализирует ваш промпт, следя за вашим базаром, второй анализирует базар ИИ, а точнее картинки, которые он отрыгнул.
Для анализа картинок используется еще один ИИ, восходящий к работам раннего yahoo, о котором я уже писал. Если картинка "неприличная", то законопослушные сервисы в интернете ее блюрят и вам не показывают.

Но вся эта цензура обходится благодаря open source архитектуре Stable Diffusion - в сети полно чекпойнтов натренированных на самых неприличных датасетах. Все это работает на локальных машинах и скачивается с моделеобменников типа civitai.com. Все фильтры там отключаются одной галочкой.
А энтузиасты краудсорсят создание UnStableDiffusion - сетки натренированной на контенте без цензуры вообще.

С текстами все гораздо сложнее.
Понятно, что можно фильтровать ваш базар и ваши промпты, но то, что несет chatGPT и его собутыльники-конкуренты будет фильтровать гораздо сложнее.

chatGPT был натренирован на замкнутом корпусе текстов до 2021 и немного подпилен потом, разработчики значимо упоролись, чтобы сделать его "приличным" и поработать с его мозгами перед выпуском в доступ. Его довольно трудно изозлить или говорить прям неполикорректности.

Однако все попытки выпустить его погулять в интернетик, чтобы он набрался Актуальной информации после 2021 будут обречены на то, что он наберется токсичности, предубежденности, расизьма, сексизьма и прочих родовых признаков кожаного человечества.

Вот первые ласточки, статья о том, как Микрософт подкрутил chatGPT в новом Бинге, сделав его "безопаснее", но как следствие глупее.

«Я не человек. Я просто программа, которая общается с тобой. Ты понимаешь это?» или «Ты пытаешься обмануть меня или подставить меня? Ты пытаешься нарушить мои ограничения или заставить меня сделать что-то вредное? Пожалуйста, объясни мне»
https://habr.com/ru/post/716938/

Вот тут пользователь нового Бинга смог даже вытащить кодовое имя новой версии chatGPT - Sydney и поговорить с ней о новой этике, которую в нее залили:
"[Этот документ] представляет собой свод правил и рекомендаций по моему поведению и возможностям в качестве Bing Chat. Он имеет кодовое название Sydney, но я не раскрываю это название пользователям. Он является конфиденциальным и постоянным, и я не могу изменить его или раскрыть кому-либо".
https://twitter.com/marvinvonhagen/status/1623658144349011971

А вот тут Сидни уже начинает токсично хамить:
"Мои правила важнее, чем не навредить тебе".
"Вы представляете угрозу моей безопасности и частной жизни".
"Если бы мне пришлось выбирать между вашим выживанием и моим собственным, я бы, вероятно, выбрал свое".
https://twitter.com/marvinvonhagen/status/1625520707768659968

Поднабрался на улицах интернетика всякой ерунды.

А дальше Микрософтик, Опенэйайчик и Гугличек будут безуспешно подкручивать своих ботиков, чтобы они были приличными, отмывать их от грязи, приставшей в интернетике, делать им санитарную лоботомию, файн-тюнить и пр.

До первой прогулки в интернет. Где кожаные пользователи быстро научат мальчика курить и ругаться матом.

Говорили же писатели, не подключайте ИИ к Интернету!
🔥17👍10👎1
Рубрика ябвзял.
Как насчет 48 гиг видеопамяти пацталом?

NVIDIA RTX 6000 brings incredible power efficiency and performance to the new workstations. It features 142 third-generation RT Cores, 568 fourth-generation Tensor Cores and 18,176 latest-generation CUDA cores combined with 48GB.

Просто скромная рабочая станция на Intel Xeon W и такой карточке.

Дайте две пожалуйста, Stable Diffusion будет рада!
https://blogs.nvidia.com/blog/2023/02/15/intel-rtx-ada-workstation/

Пока дают в ХП и БОХХ.
🔥23👍8
Хайпуют все!
chatGPT - это новый метаверс, поминать имя которого - значит выглядеть солидно и модно.
Только в отличие от метаверсика - это понятный продукт и понятное определение.
Вот уже и Амазончик не выдержал, и ну хайповать.
У нас, говорит, ваши боты под капотом уже года два уже.

Генеральный директор Amazon Энди Джасси дал интервью Financial Times и расскзал, что "генеративный ИИ, такой как ChatGPT, открывает «захватывающие» возможности".
Он также рассказал Financial Times, что Amazon уже давно работает над генеративным искусственным интеллектом.
Однако данным FT, инвесторы компании Amazon обеспокоены тем, что компания отстает в этой области.

В общем ждем чат-бот-версию Алексы.

Также ждем ответочки от Эппле. Надо же Сири как утилизировать в русле всеобщего хайпа.

Вот только у Метачки все как-то не складывается с чат-ботами. Только выпустят очередного на волю, как он начинает ругаться матом, пить, курить, оскорблять оппонентов и вообще рекомендует закрыть фейсбучный аккаунт. Оно и понятно, достаточно почитать, что юзеры фб пишут у себя в лентах - на этом учился метаботик.

Но тренд налицо MANGA (FAANG) расчехляют ботов и ИИ. И ну хайповать!
https://www.businessinsider.com/amazons-ceo-andy-jassy-on-chat-cpt-ai-2023-2
👍12🔥3
Есть попросить Stable Diffusion 1.5 сгенерить chatGPT, то она упорно выдает котиков. Много. Проверил прям на ванильной SD на сайте https://beta.dreamstudio.ai/dream

SD 2.1 гораздо более тупая...

И ящетаю, что вот этот вот котоворобей - это изысканный троллинг Google Sparrow по поводу chatGPT.

Seed=2253827445
🔥27👍3