Вдогонку к предыдущему посту.
У GPT-4V зрение всегда будет лучше и он с легкостью найдет ваши ключи или очки.
А теперь, как обычно, промотаем немного вперед (хотя это уже и сейчас реализуемо).
Вот вы встаете утром, делаете свои неуклюжие движения по квартире, хлюпаете чаем, смотрите в телефон.
А телефон прекрасно записал все данные со своих акселерометров, прослушал звуки с микрофончика, где вы пыхтите, сопите, кладете ключи, где попало, пообщался с умными часиками на руке, сверил свои записи с записями часиков, уточнился, дообучился.
(За кадром остается общение с камерами наблюдения, но мы ведь делаем вид, что их нет)
И в облаке уже есть все расшифровки ваших движений, сна, звуков вокруг вас.
Поэтому на вопрос: chatGPT, где мои ключи от машины? ИИ запросто ответит, что в левом кармане пиджака, куда ты присунул их левой рукой, судя по акселерометрам и времени прохождения характерного звукового сигнала от звякания ключей.

Ну, за память.

Меня всегда искренне удивляли вечеринки в Метаверсе, где людям наливают виртуальное бухло. Причем часто - за деньги. Вы же еще помните, что такое НФТ и трушные токены, а не какие-то ембеддинги?
Вот держите идею для стартапа:
Сидит человек на диете, а жрать охота, нет сил. И тут он берет и на все деньги покупает.. котлету! И хрясь ея на тарелку. И вот уже не так тоскливо.
Можно даже ее потыкать вилкой. Но съесть нельзя.
Профит.
Го в метаверс худеть!


Всем хорошей пятницы, не излишествуйте.

Stable Diffusion на телефоне. Без интернета. Меньше секунды на кадр.

Недавно писал про то,
как будут рождаться ускоренные клоны Stable Diffusion. И как Stable Diffusion крутится на принципиально иных чипах (От Гугла).
А позавчера на Snapdragon Summit показали как Stable Diffusion крутится на телефоне. Без интернета. На андроиде.
Внимание.
Меньше секунды на генерацию картинки!
В презентации хорошо обыгрывают, что это как бы быстрее чем сфоткать.

Да, это кастомная Stable Diffusion, да, она подкручена, дистиллирована, не SDXL.
Но меньше секунды на кадр на телефоне, Карл!

Что за программисты у них там?

Возьмите их в StabilityAI. Ибо Мостак нам уже полгода назад обещал реалтаймовую Stable Diffusion на видеокартах. Но обещать, не мешки ворочать, а инвесторы ждут красивых анонсов новых кунштюков.

В общем реалтаймовый стриминг из Stable Diffusion все ближе.

Я в шоке.

P.S. Владельцев макбуков и ойФонов просят не беспокоиться.

А еще на Snapdragon Summit показали ноутбуки на Snapdragon8Gen3.

И там снова Stable Diffusion генерит картинки со скоростью один кадр в секунду.
Кстати, полгода назад они показывали подобное, но было ровно в 15 раз медленнее. В пятнадцать.
P.S. Владельцев макбуков и ойФонов просят не беспокоиться.

Авторский код.

Я вот тут смотрю системы антиплагиата (кстати, если у кого есть аккаунт на turnitin напишите в личку).

И подумалось мне такое.
С одной стороны люди ищут признаки плагиата, угадывают мелодию с семи нот, судятся, взывают к авторским правам.
С другой стороны мы слышим истории про заимствованный код. Там кожаные просто копипастят куски кода.

Где стартап, который переписывает код с сохранением функционала?

Я перебеседовал с chatGPT:

Напиши код на питоне для ввода Hello World

print("Hello World")

Перепиши этот код по другому, чтобы он был не похож на оригинал

message = " ".join(["Hello", "World"])
print(message)

Ну то есть заимствование кода никогда не будет прежним.

Интересно, сумеет ли ИИ распознать переписанный другим ИИ код? Какие метки он туда зашьет.

ChatGPT теперь поддерживает работу с файлами (загружай PDF и задавай вопросы) и совмещение разных модальностей в одном чате (может рисовать картинки, гуглить, писать и исполнять код в одном чате).

Для большинства это шок, потому что их стартап идея была разбита о быструю доставку качественного продукта команды OpenAI с инженерами за $600к в год.

Дабы предупредить будущий шок, давайте сразу обсудим, что ChatGPT выкатит в следующих версиях:

- подключение своих данных: Gmail, slack, WhatsApp
- общение в едином чате, который помнит все о вас. по сути - разговор с ассистентом.
- возможность соединять цепочки действий и плагинов (агенты)
- маркетплейс плагинов с монетизацией и курацией (curation, если на человеческом)
- полная мультимодальность: на вход видео, на выход голос; на вход музыку, на выход видео; на вход excel на выход диаграммы
- проактивный ИИ: сам поймёт когда и что у вас спросить или вам рассказать
- у каждого пользователя персональная модель, обученная на последних годах диалога (каждому — свою LoRA)

Диффузионная Матрешка от Эппле!
Владельцев макбуков и ойФонов просят побеспокоиться.

Эппле долго, очень долго запрягала, даже избегала слов ИИ в презентациях. Про их секретную LLM я уже писал, а теперь они, наконец, запилили свой генератор картинок.
По качеству там пока уровень DALL·E 2, но они обучали на крохотном датасете и это похоже на разминку. Как пишут в коментах:

"Понимание формы и структуры модели кажется удивительно сильным для обучения на таком небольшом наборе данных. По этому показателю она находится на одном уровне с SDXL, если не лучше! Если масштабировать все это до уровня LAION-2B, то можно получить очень сильную модель"
https://huggingface.co/papers/2310.15111

И теперь у всего FAANG (или MANGA, или как их там сейчас зовут) есть свои Text To Image модели. Не нашлепки над Stable Diffusion типа Leonardo, Scenario или InvokeAI, а прям свои натренированные модели.

Итак.
Метачка - EMU
Google - Imagen (и потомки)
Эппле - Матрешка
? - Амазон (пока похоже на Stable Diffusion)
Нвидия - eDiffi
Микрософт - Bing (Image Creator, форк DALL·E)
OpenAI - DALL·E 3
Адобченко - Firefly
Экс-гугловцы из Канады - Ideogram

Накидайте в коменты, кого позабыл (но не клоны Stable Diffusion плиз). Помню были еще афтефакты типа Craiyon или NightCafe.

Ну и, кстати, Эппле ночью проведет страшную конференцию с кодовым названием Scary Fast (типа "ужасающе быстро"). Вероятно, будут подробности про M3 и, возможно, что-то обломится про ИИ.

https://www.apple.com/apple-events/

ИИ-радио, вторая часть!

Завтра, во вторник, 31 октября, пройдет второй выпуск ИИ-радио: прямой эфир c Сергеем Цыпцыным, автором Метаверсище и ИИще и со Степаном Гершуни, автором канала Gershuni, на тему “Как ИИ меняет мир?”

Продолжим разговор о том как стремительное развитие генеративного ИИ влияет на различные области жизни и экономики, и свернем в сторону агентов, агентности и прочей самостоятельности ИИ:

- Как выбрать, использовать и выжать максимум из ИИ-ассистентов и агентов?
- Что делать бизнесу в эру ИИ-хаоса? Куда бежать или, может, наоборот, успокоиться?
- Что там в диффузионках? Когда уже мы сможем генерировать “Аватар - 5” одним промтом через Apple Watch?
- Мультимодалки, тренировка своих моделей, open source vs prorietary и другие темы
- Так же ответим на вопросы аудитории, если уложимся в тайминг

Степан — исследователь, технологический стратег, серийный фаундер, работает (набегами) с NLP/ML с 2012 года. Ведущий вебинаров codex.town
Сергей — эксперт в области компьютерной графики, автор книги "Понимая Майя", исследователь искусственного интеллекта, ведущий экзистенциального канала Метаверсище и ИИще.

Подключиться к прямому эфиру можно во вторник, 31 октября, в 19:00 MSK прямо в Телеграме в канале Метаверсище и ИИще. Чтобы не пропустить, можно регистрироваться тут.

Байден бахнул указ о безопасном, надежном и заслуживающем доверия искусственном интеллекте.

Там все в будущем времени, типа "разработают, поручить, будут придерживаться". Но вот самый первый абзац звучит довольно жестко.

Обязать разработчиков самых мощных систем искусственного интеллекта делиться с правительством США результатами испытаний на безопасность и другой критически важной информацией. В соответствии с Законом об оборонном производстве, приказ потребует, чтобы компании, разрабатывающие любую базовую модель, представляющую серьезный риск для национальной безопасности, национальной экономической безопасности или здоровья и безопасности населения страны, уведомляли федеральное правительство при обучении модели и делились результатами всех тестов безопасности, проводимых "красной командой". Эти меры позволят обеспечить безопасность, надежность и достоверность систем ИИ до того, как компании обнародуют их.

Дальше много лозунгов и призывов.

Вопрос в том, как такие указы будут "исполняться на местах". И в том, как они будут определять степень риска в формулировке "базовую модель, представляющую серьезный риск"

Я думаю, что ИИ отлично поможет компаниям переписываться с чиновниками по вопросам статусов, рисков, подпадания под законы и прочая.

https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy-artificial-intelligence/

Ну и после прочтения материала про указ Байдена по регулированию ИИ у меня нехорошее чувство.

Вынесу из коментов вот такую логичную реакцию от @Autour:

"хотите использовать llm в бизнесе? а где ваша лицензия на использование больших языковых моделей? а ваш тюн сертифицирован? Ой, ну вот незадача, ваша исследовательская команда получает штраф десять палок по пяткам. Пока на замену можем вам предложить опенаи апи. О, за защиту данных не беспокойтесь, все защищено государством."

И действительно, похоже на то, что нас ждет нашествие адвокатов, нотариусов и контор, которые "за умеренную цену" сделают вам разрешение на ношение оружия на разработку ИИ-решений.

Дальше придут аудиторы, чтобы проверять кошерность ваших LLM и скрепность генераторов картинок - соответствуют ли ваши опенсорсные модели и файнтюны очередного Фалькона линии партии.

Внедряете ИИ? Покажите ваши сертификаты, разрешения, лицензии, справки из ИИ-диспансера.

Хотите заработать денег - уже сейчас переобувайтесь в юридические ИИ-консультации.

ИИ уже в курсе, судя по картинкам.

Похоже ИИ-мир норовит поделиться на две части.

Впрочем, все как обычно. Государства хотят регулировать и берут в союзники крупные корпорации.
Корпорации получают привилегии от государства, чтобы иметь конкурентное преимущество, через лоббирование тех или иных законов.
Тут ничего нового и, похоже ИИ повзрослел достаточно, чтобы вписаться в эту схему.
Остальному бизнесу, поглядывающему в сторону open source и создания собственных моделей ИИ придется рассчитывать только на себя и внимательно изучать историю. А техно-оптимистам типа меня, остается ныть в своих бложегах.

Короче: Andrew Ng, соучредитель Google Brain, ну и вообще культовая фигура, заявил, что крупные технологические компании лгут о риске уничтожения человечества искусственным интеллектом, потому что хотят доминировать на рынке.

"Определенно есть крупные технологические компании, которые предпочли бы не пытаться конкурировать с открытым кодом, поэтому они создают страх, что ИИ приведет к вымиранию людей. Это стало оружием лоббистов в борьбе за принятие законов, которые нанесут большой ущерб сообществу разработчиков открытого кода".

По словам Эндрю, идея о том, что ИИ может уничтожить человечество, может привести к появлению политических законов, требующих лицензирования ИИ, что чревато подавлением инноваций.

Все как я писал вчера: Внедряете ИИ? Покажите ваши сертификаты, разрешения, лицензии, справки из ИИ-диспансера.

Вангую появление сети AI-Tor и AI-Torrents, где люди будут децентрализованно разрабатывать, учить, инференсить свои и чужие модели (Stable Horde и AI Horde тому пример).

История повторяется...
https://www.businessinsider.com/andrew-ng-google-brain-big-tech-ai-risks-2023-10

Иной контент.

В 2009 году у нас с Тимуром состоялась спонтанная беседа прямо на cg event о воздействии на зрителя формой без содержания (в рамках визуальных спецэффектов к Wanted). Меня, помню, проняло довольно сильно, я много размышлял о том, возможно ли пробить гематоэнцефалический барьер мозга пикселями без сторителлинга.
Потом в этом мир начал вползать ИИ, и я стал делать забавные презентации о том, как можно генерить контент, который будет безусловно нравиться (или наоборот), просто замеряя зрительские реакции. И вызывать специфические ощущения.
Потом Midjourney сделала разметку картинок лайками, чтобы попадать в ожидания.
Впрочем я отвлекся.

Вот мы все тут гадаем, а когда уже ИИ сможет генерить нормальные видео. Фантазируем о том, как ИИ создает целые фильмы, где у каждого зрителя - свои актеры(дипфейки), озвучка(ии-дубляж) и даже развитие сюжета (ИИ-сторителлинг).
Но все это довольно линейное мышление.
Возможно эти "фильмы" могут быть совсем другими.

Хочу показать вам пример того, каким может быть видео-поток, воздействующий на зрителя. Формой. С помощью ИИ. И речь не про калейдоскопы, стробоскопы или бинауральные ритмы.
Речь о .. тут я долго подбирал слово (соавторстве, слиянии) ... взаимопроникновении человека и ИИ.

Посмотрите следующий пост...

Мишаня Дадаев поделился в фб вот таким вот опытом (обычно он пишет про игры, CG и UE):

Сейчас будет эксперимент, который никто из вас не делал.
Если коротко, то я провёл два дня, общаясь с chatGPT на тему своей эмоционального состояния и негативного пережитого за последние полтора года, а потом AI инструменты помогли мне визуализировать всё рассказанное.
Сейчас мне необходима рефлексия и по разным причинам я не могу проработать этот момент со своим психологом, поэтому чтобы не сжирать себя изнутри я решил поступить следующим образом: я "поговорил" с chatGPT, рассказал ему всё, что пережил и как это ощущалось внутри меня. Рассказал про свои триггеры и моменты, отложившиеся в моей памяти. Рассказал, что что думаю, и что чувствую и чего боюсь. Дальше попросил помочь мне с составление промптов для другой AI-программы, делающей видео по текстовым описаниям, и попросил подобрать музыку, отвечающую этой истории наилучшим образом.
То, что получилось, вы можете посмотреть здесь.
P.S: Единственное, что я сделал сам в этом видео, это расставил по таймлайну шоты. Никакой цветокоррекции или дополнительных эффектов от меня - это полностью сгенерированное при помощи AI-инструментов видео, отражающее мой негативный жизненный опыт и мои страхи за последние полтора года.
Рефлексия при помощи AI -- о чудный новый мир)

Оригинальный пост тут, поддержите Миху лайками.

А я могу сказать, что меня проняло сразу. Миха и ИИ рассказали.. нет.. вызвали у меня в голове собственные истории, даже нет, не истории, а картины, которые точно взорвали мою биохимию.

А потом я показал это на Хабе, на большом экране, с хорошим звуком. И меня пробило снова.

А потом, ко мне пришла клинический психолог, которую слегка потряхивало и мы час обсуждали, как может измениться терапия вообще и как мало мы знаем про себя, и как много можем узнать, ставя эксперименты над ИИ и вместе с ИИ.

Поглядите в наушниках. Безоценочно. Оно того стоит.

P.S. Это Runwayml GEN-2. Музыку ИИ не генерил, он ее подобрал на основе вводных данных. И попал идеально.