Лучше один раз увидеть, чем 100 раз услышать 👎📣

А вечер начинался мило...
Я готовила пост про детские книжки, представляете? Раскатала у себя локально нейросеточку, чтобы спокойно поиграться с настройками. Вожделенно предвкушала, как сейчас открою внутренности демки и сделаю из неё что-то более юзабельное для моих нужд, напишу пару строк кода наконец...

Но чёрт меня дёрнул поискать в интернете альтернативы. 👀 А потом погуглить 🔍ещё. В итоге пост совсем другой, а тот, милый, опубликую позже, потому что это слишком важный опыт, от которого меня просто колотит!

И я хочу, чтобы вас тоже ПЛЮЩИЛО! 🔴
➡️➡️➡️
Ребята, мы приехали в конец тоннеля! Мне уже попадались новости про виртуальных телеведущих ▶️, мы помним мемный момент из недавней трансляции по ТВ с двойником Путина, но мне казалось, что эти технологии слишком сложные, не для всех, появятся в проде не скоро.

Но нет, дорогие друзья! Помните, пару месяцев назад волну отечественных мемасиков, переведённых на английский? Они были созданы проектом HeyGen. После этого сайт продолжал обновлять функциональность.
🔄
И сейчас мы имеем вот что:
1️⃣Нужно записать двухминутное видео, на котором говорить и жестикулировать как обычно.
2️⃣Это двухминутное видео превратится в видео на любом языке с любым текстом но с вашим голосом, мимикой, жестами, внешностью и окружением.
3️⃣Текст можно сгенерировать тут же с помощью ChatGPT.

Выводы
➗Одно дело читать о том, что это где-то есть, а другое - пробовать. Я вас призываю попробовать, открыть глаза на произошедшее и примерить к своей жизни и к информации, которую вы получаете\будете получать.

➗Я записала аватара у себя на кухне за полночь, поэтому уж простите за кустарность и внешний вид. Я думаю, что у вас получится сняться намного лучше!

➗Ну и ещё, упомяну один минус сайта - абсолютно ужасный не юзабельный интерфейс редактирования текста. Это даже больший шок для меня, чем то, что я сделала аватара менее чем за час.

🔣🔣🔣
Делитесь мыслями, впечатлениями, аватарами в комментариях 💬

#объясняем
LoRA (Low-Rank Adaptation of Large Language Models) — это метод адаптации тяжёлых моделей (языковых, мультимодальных, генеративных) под решение специфических задач для использования на определённх доменах. Его основная идея в модификации весов существующей предобученной модели с помощью низкоранговых матриц.

В традиционном подходе к дообучению (fine-tuning) больших языковых моделей обновляются все веса модели, что требует значительных вычислительных ресурсов и времени. LoRA же позволяет адаптировать модель, изменяя только небольшое подмножество параметров, что делает процесс более эффективным. Для получения окончательных результатов комбинируются как оригинальные, так и адаптированные веса.
В принципе, LoRA может быть применена к любому подмножеству матриц весов в нейронной сети, но обычно применяется только к блокам внимания (attention).

Преимущества:
➕значительное сокращение количества обучаемых параметров
➕возможность использовать лёгкие портативные LoRA для различных последующих задач, построенных на их основе.
➕производительность LoRA моделей сопоставима с производительностью полного дообучения
➕ время inference не меняется, потому что веса адаптера могут быть объединены с базовой моделью

Примеры практических задач:
➗Специализированные языковые приложения: адаптация для работы с юридическими, медицинскими или техническими текстами.
➗Персонализация ответов: в случаях, когда нужно адаптировать модель для генерации текста, соответствующего определенному стилю или предпочтениям конкретного пользователя.
➗Мультиязычные приложения: адаптация модели для лучшего понимания и генерации текста на менее распространенных языках, для которых может не хватать обучающих данных.
➗Новые знания: в новостных приложениях, где модель должна быстро адаптироваться к текущим событиям и тенденциям.
➗Стилизация в моделях генерации визуального контента: задать определённый стиль или жанр.
➗Решение других задач: семантическая сегментация, классификация изображений.

Объяснениe на hugging face

Wow-wow! Посмотрите, что я нашла!🔝
Прекрасный стартап spiritme.tech, который не просто генерирует аватаров, но работает напрямую с вашей ПРЕЗЕНТАЦИЕЙ!
Достаточно закинуть на сайт файлик, выбрать аватара или создать своего, и получите шикарнейшее видео!

Если вы блоггер или лектор в институте, только представьте, насколько удобнее вам будет готовить интерактивные материалы! 📊📈

На этот раз я использовала прекрасного, харизматичного ведущего, чтобы он представил презентацию, которую для меня автоматически сгенерировал другой сервис на основе ИИ. Таким образом, от меня требовался только промпт к презентации (идея), остальное сделали алгоритмы. Идея презентации шуточная, не удивляйтесь! 🤡

Их аватары:
🔣Реалистичны
🔣Эмоциональны
🔣Могут скопировать вас и ваше поведение
То есть ничем не уступают предыдущему решению, но предлагают совершенно уникальный продукт - генерацию напрямую по презентациям.

SpiritMe поддерживает несколько языков, включая английский, французский, испанский и русский.

Ребята настоящие инноваторы. Они:
- запустили кастомных аватаров ещё в феврале
- первыми сделали эмоциональный движок
- первыми представили решение для презентаций

Пока ещё сайт находится в разработке, и не работает на ОС Linux из-за некоторых системных особенностей. Запускайте на Windows, MacOS в браузерах на базе Chromium.

Умная колонка отрастит ножки

В начале января на выставке покажут LG Smart Home AI Agent - двуногого мини-робота, оснащённого языковой моделью.

🔠По задумке создателей он будет выступать в роли менеджера умного дома - то есть работать как колонка на ножках: синхронизироваться с устройствами, управлять ими, сообщать владельцу о неисправностях.
🔠Мобильность даёт ему дополнительные функции: взаимодействие с животными, патрулирование дома, экономия электричества (отключать ненужные приборы и включать их обратно).
🔠Третье его достоинство - распознавание и учёт человеческих эмоций.
🔠Цена робота пока не известна. Мне кажется, что это прикольное новшество, но не достаточно практичное.

Лично я для дома жду доступную колонку-пылесос с рукой манипулятором, а Вы?

Хочу познакомить вас с моим другом. Я знаю Карэна уже 15 лет. Помню, как на парах он кодил какой-то нереальный фронтенд с безупречным дизайном, никто из нас не мог себе и представить ничего подобного тогда!

За эти годы, Карэн работал над сайтами, мобильными приложениями, играми и не потерял энтузиазм. А теперь он с радостью готов заразить им нас, чтобы мы тоже полюбили Django.
Недавно он запустил ютьюб-канал!
🔣Канал на английском языке
🔣Каждое видео - подробный тьюториал, в конце которого вы создадите свой собственный проект
🔣Например, у Карэна есть видео про создание своего ChatGPT4 бота в Telegram
🔣А недавно, Карэн начал выпускать новый плейлист про FullStack разработку

В новогодние праздники планирую уделить время этим видео, хочу разобраться в теме.

Практические примечания от меня к работе с моделью:
1. Картинки должны быть квадратными.
2. Вначале лучше посчитать ЛорЫ, потом нажать на кнопку "Расчёт без лоры".
3. Генерируется 16 кадров разрешением 512.
4. Работает 2 минуты на видео.
➗Интерполирует плавно, но в процессе всё равно анархия.
➗Анимацию движения таким образом не сделать.
➗Интерполяцию следует производить между двумя когерентными объектами.

🔼Обновила исходник, работает на мобильном

Время подводить итоги года
🔣Мои впечатления от прошедшего года и ожидания от следующего
2023 был для меня интересным годом:
- распространились и значительно развились языковые модели, они стали доступнее (API, локальные варианты), мощнее (смесь экспертов), разностороннее (умеют пользоваться сторонними инструментами, пишут код, решают математические проблемы)
- возникло огромное число применений для генеративных моделей, очень многие проблемы, над которыми раньше бились годами, теперь решаются элементарно (преобразование текста в изображение, стилизация, паноптическая сегментация, реалистичный рендеринг в реальном времени)
- увеличилось представительство русскоязычного ИИ-комьюнити в Телеграм (например, каналу Сиолошная ещё нет и года, а у него уже 30к подписчиков)
- увеличился темп научных и информационных трансформаций, уменьшилсь время внедрения в продукты
- генеративное искусство подняло творческие возможности человека на небывалый доселе уровень

От 2024 года я ожидаю:
- Выход языковой модели Q* от ChatGPT, развитие генеративных моделей text в video, text в 3D до продуктового уровня, развитие моделей управляемой генерации аудио
- Усиление конфронтации между E/ACC и редукционистами, вероятно массовые протесты, ожесточённые споры экспертов
- Внедрение ИИ в робототехнику, решение задачи планирования для роботов, появление домашних роботов расширенной функциональности
- Развитие ИИ-медицины, ИИ-обучения
- Наполнение интернета fake news в небывалых количествах из-за развития генеративок и дип-фейков голоса и лица

PS. Очень жду, что в 2024 году ИИ сделают продолжение сериала "Светлячок". С помощью LLM могли бы сделать текст, а с помощью text-to-video + аватаров сгенерировать видеоряд.