⌚️ Apple Watch Ultra

$799

🎧 Airpods Pro 2

H2, spatial audio, noise cancellation 48000hz (что логично, Котельников же), спикер на корпусе.

249$

👁 DreamStudio — Космический корабль на подходе

Сразу оговорюсь, на слитом видео очень ранний билд, который был еще какое-то время назад.

Как видно, функционал далеко не ограничен Стеблем. DreamStudio это не просто про API, а полноценная AI студия.

Различные нейросети, методы, функции, ноды. По факту это первый инструментарий для AI художников.

🌊 Н е й р о э с т е т и к а

🥽 Видео с VR гарнитурой Quest Pro слили за месяц до официального показа

Немного оффтопа. В 2021-ом году я купил свой первый VR хедсет. Хотя многие скажут, что 2021 год — поздно для знакомства с VR, но я скажу, что именно к 2021 году технология созрела:

— Доступная цена в 300$ за хэдсет
— Приемлемое разрешение и высокая герцовка
— Возможность комфортно играть без проводов по Wi-Fi 6

Я поиграл в множество тайтлов, весело проводил время в vr чатах, и смотрел всякое разное. Для себя могу выделить:

🎮 Half-Life Alyx — Просто шедевр. Уникальный экспириенс ради которого смело стоит брать VR.

⚔️ Skyrim VR — с кучей модов и на 2080ti (конечно на 4090ti будет еще лучше). Первая прогулка пешком от Ривервуда до Вайтрана это незабываемо.

И вот в конце 2021го года появилась информация о неком Project Cambria от террористов-экстремистов из Meta. Было известно, что хэдсет будет обладать большей компактностью и возможностью оперировать в дополненной реальность, благодаря цветным камерам на устройстве.

И вот сегодня появился слив, полноценное видео с хэдсетом. Где все подробно можно разглядеть. Устройстов получит имя Quest Pro. Так что буду ждать с нетерпением. Скорее всего устройстов можно будет приобрести к концу октября этого года. Скорее всего увеличат угол обзора и подтянут разрешение, а благодаря новым камерам и датчикам, погружение в VR выйдет на новый уровень.

🤖 Мишин Лернинг

✨ CLIP ViT-H/14 надо?

Самый большой публично доступный клип, с топовым из доступных качеством 77,9% 0-shot ImageNet

👉 https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K

🗄 Stable Diffusion как мощный Lossy codec

На самом деле речь в блог посте больше идет о 8-bit пост-квантизации уже обученного f8 KL-VAE/GAN, но если добавить потенциальную возможностью манипуляции через CLIP, то выходит, что можно притянуть и Stable Diffusion.

В любом случае для 512x512 изображения в 5 kB — результат шикарный, но энкодинг декодинг несоизмеримо медленный в сравнении с JPEG. В любом случае, Deep Learning compression имеет большой потенциал для стримига в условиях низкого битрейта.

📇 собственно блог пост

🤖 Мишин Лернинг

🥁 Nvidia 4090 — трянсляция

24gb, 2x 3090-ti, 1600$, October 12th

А еще все говорят про Stable Diffusion 👌

🫦 OpenAI обучили и опенсорснули трансформер Whisper для распознавания речи

TL;DR >>> OpenAI обучили и выложили нейронную сеть Whisper, которая приближается к человеческому уровню распознавания английской речи.

🫦 Whisper это трансформер, обученный на 680,000 часах мультиязычной речи, собранной из интеренета. Такой огромный датасет позволил получить модель, устойчивую к разным акцентам, фоновому шуму, и понимающую технический язык. Кроме того, модель может не просто траскрибировать иностранную речь, а сразу переводить ее на английский язык!

🦾 Архитектура Whisper

1) Аудио семплы разбиваются на чанки по 30 секунд, которые преобразуются log-Mel спектрограмму

2) Затем спектрограмма обрабатывается двумя блоками 1D сверток c GELU активациями, к которым добавляются тригонометрические тайм-эмбеддинги

3) Затем все это добро подается в энкодер-декодер трансформер. Декодер же в свою очередь начинает транскрипцию после пары служебных токенов, отвечающих за язык семпла, время, и выбор задачи (перевод на английский или оригинальная траскрипция).

📇 Blog пост от OpenAI
📄 paper Whisper
💻 Код
🤗 Model Card

p.s.: В свете опенсорса stable diffusion, OpenAI решили прикунуться чуть-чуть open. Но не стоит питать иллюзий по поводу GPT-4

🤖 м и ш и н л е р н и н г

🪖 Стебель Диффузии добрался и до Юлии Латыниной

Листаю ютуб, а там такая обложка к видео про «частично-волновую» могилизацию создана в сервисе миджерни. Рад, что Латыниной зашло.

Прогресс и ИИ уже не остановить. Генерации действительно повсеместно заменяют иллюстрации.

🤖 м и ш и н л е р н и н г

Всех подписчиков с Новым Годом. Рош-ха-Шана самеах!

🪗 Играй, Гармонь, да хуярь, чтоб погромче, руби, топор, да ебашь, чтоб пошире

Не успел мир получить Стебель Диффузии от CompVis, как вдруг откуда ни возьмись, появился Dance Diffusion от Гармоней (Harmonai). Гармони решили сделать диффузионный jukebox и опенсорснуть его миру.

Получится ли что-то кроме семплов, которые можно продавать или использовать для чего-то серьезного — вопрос. Умельцы из любого семпла сделают что угодно, и музыка будет топ. Но вот вопрос даст ли нейросеть новую палитру, как это было с Text2Image в визуальном искусстве?

Кроме заявлений, что «это не просто очередной семпл, а семпл прям из инференса нейросети, слушай этот трек, качай этот трек, там семпл то нейронный», хотелось бы иметь именно контроль над генерацией. Я бы хотел видеть глубокое понимание, низкое количество шума (если это не требуется специально) и возможности модульного синтезатора с огромным количеством крутилок. И пускай это будут не очередные: vcf, lfo и adsr кривые поверх семпла, а именно параметры генерации. Например: «звук извлечённый смычком по нескольким струнам открытого рояля, который ломается в конце семпла и слышит треск дерева» -cfg 9, -seed 42, -time 10s… Ну что, мечтать не вредно..

🔈 примеры семплов в видео к посту

Ждёте ли вы аудио диффузию?

🎥 видоисик с Глав Гармонем
🪗 wandb blog гармоней

🦊 OpenAI открыло DALL•E 2 для всех желающих.

Смотрите, что стебель живогенерящий с людьми творит. Не без регистрации и смс конечно. Но зато бесплатно с пару десятков можно генернуть.

🥁 регаться тут https://openai.com/dall-e-2/

Завтра 🎬 WoW

Просто Марк, просто фехтует в Mixed Reality с Олимпийскими золотыми медалистами.

Прибор в действии - новый хайэнд VR Headset, который выйдет в следующем месяце.

@ai_newz