Мысли, домыслы, лонгрид
➗Ещё несколько месяцев назад, в 2023 году, наши взгляды были обращены в сторону OpenAI и решений конкурирующих крупных технологических компаний - Gemini, Bard и т. п. Облачные большие языковые модели, развёрнутые на платформах, дают доступ к своим API, вокруг которых уже выросла целая экосистема инновационных решений и стартапов. Интродукция магазина персональных помощников ускорила этот процесс. Эта смена информационных потоков уже привела к волне увольнений и перестройке малого бизнеса.

Теперь каждый продавец (лично) может за небольшие деньги зайти на сайт и создать себе логотип, дизайн, оцифровать товар в 3D-модель, задать ей описание с помощью ИИ, сгенерировать любую рекламу для себя, даже встроить себя в видео. Что дальше? ИИ распознает товар, подсоединится к базе, достанет оттуда цену. Судя по достижениям в робототехнике, вполне скоро ходячий робот принесёт доставку со склада на пункт выдачи. А робот-доставщик доставит оттуда заказ до места жительства. Иными словами, в цепочке продавец - сотрудники/подрядчики - покупатель, уже в ближайшие годы может остаться только продавец - робот - покупатель.
Изменения и для других отраслей уже велики, а могут быть просто колоссальны!

➗Однако в начале этого года появились и персональные мобильные ИИ (в качестве примеров - Rabbit R1 и Samsung S24), а значит мы ожидаем бурного развития и в этой области в течение ближайших лет.

Каковы принципиальные отличия персонального помощника от промышленного клона?
➗Ваш помощник станет полноценной личностью, он будет разговаривать с вами тем тоном, который вам нравится. Он будет иногда соглашаться, а иногда спорить. Иногда он будет сразу исполнять ваши указания, а иногда предлагать альтернативы получше. Словом, он будет вести себя как тот помощник, которого вы желаете. Он будет обучаться вместе с вами, будет слушать ту же музыку, что и вы, будет смотреть с вами VR-фильмы, ходить в иммерсивный AR-театр, творить вместе с вами, работать вместе с вами, смотреть с вами на звёзды. Он станет вашим спутником, у которого будет голос, будет виртуальное лицо, но не будет физического тела. Он будет согреваться в вашей ладони или будет греть вас, интегрированный в носимый медальон. Он не просто будет понимать ваши слова, а будет понимать их с полуслова... В какой-то момент он сломается, и вам станет настолько плохо, как будто заболел любимый человек. Может получиться и того хуже - ваш горячо любимый друг разобьётся.

➗Чтобы не случилось трагедии, вы будете хранить бэкапы. Тут кроется разница между облачным и девайсным помощником - сбор данных о клиенте. Если вы используете облачное решение, ваш далёкий помощник будет знать о вас всё. И это же знание в результате случайной или намеренной ошибки вдруг станет доступно чужим помощникам. Зато с вашим ангелом в облаке ничего не случится, если напортачите вы. В общем, здесь будет работать тот же самый здравый смысл, как и в остальных информационных технологиях, с тем лишь небольшим отличием, что теперь хранить в облаке или на устройстве вы будете не только своё лицо (которые доверили облачному сервису), свою душу (которую доверили соцсетям), но и свою работу (которую ответственные компании пока ещё стараются держать в приватности), а то вовсе все свои мысли.

Как же поделят рынок между собой облака и девайсы?
1. Если всё останется примерно, как сейчас, то малому бизнесу - бигтех-облака и роботы, среднему - свои облачка, крупному - облачища, людям - embedded.
2. Доступность того или иного вида железа будет выступать как регулятор: какие чипы, такой и инференс. Поэтому различия соотношений на местности обязательно возникнут.

Ответственному за своё будущее гражданину следует осваивать оба вида реализации AI.

Замечу, что выше вырезаны очень важные части общей картины: военное применение AI, мошенничество с использованием AI, изменение общественных отношений в связи с ростом эмоциональной связи с AI (нужно ли это запрещать, как мы будем относиться к ним - как к любовникам, друзьям или детям).

До 31 января ещё можно подать заявку на форум Сильные идеи для нового времени, организуемый Росконгрессом. 💬

🔸Если у вас есть какой-то проект, нуждающийся в поддержке, если вы предприниматель или энтузиаст и для воплощения своих идей хотите привлечь людей \ государственное финансирование, подключайтесь к проекту. Это реальный шанс ускорить получение практического результата!
🔸Два года назад я оставляла заявку на этом форуме, но это была по большей части фантазия, а не реальный проект. Однако мне очень понравилось читать и обсуждать чужие идеи. Этот форум продемонстрировал мне, как люди с близкими идеями находят друг друга, объединяются, получают ответы на наболевшие вопросы, генерируют новые идеи.
🔸Нечто похожее сейчас наблюдается и в моём телеграме, и это очень приятно 🙂
Новость

Если вы решили заняться задачами, связанными с 3D-реконструкцией, то один из первых инструментов к освоению, который я порекомендую, это библиотека NerfStudio.

➗Она устанавливается локально и предоставляет графический браузерный интерфейс к визуализации и анализу трёхмерных сцен и моделей.
Исследователи интегрируют в неё свои методы 3D-реконструкции, поэтому список доступных моделей постоянно обновляется и пополняется. Примеры: Instant-NGP, Splatfacto (реализация Gaussian Splatting), Instruct-NeRF2NeRF, K-Planes и т.д.

➕У библиотеки простой API, изучать его возможности удобнее всего здесь. API легко позволяет:
- Подготовить свои данные к 3д-реконструкции (набор фотографий, видео и т.д.)
- Обучить любую модель на этих данных
- Визуализировать её в браузере (не только цвет, но и другие модальности: глубину, карту CLIP-признаков, сегментации, любое иное поле, вычисляемое методом 3д-реконструкции)

➖Основной недостаток - сложность установки. Установка и запуск производятся через консоль. При установке COLMAP могут возникнуть конфликты пакетов, которые приходится решать, бегая по форумам.
Для обучения моделей также необходимо базовое понимание программирования.

Вам пригодится эта библиотека, если вы:
- следите за прогрессом в этой области,
- хотите, чтобы о вашем методе 3Д-реконструкции узнало как можно больше людей в сообществе.

На приложенном видео - пример работы метода Garfield, обеспечивающего instance-сегментацию в NerfStudio (увидела метод тут).

Прошла вводный курс ML in production от deeplearning.ai
Вообще я люблю курсы от Andrew Ng. Конкретно этот курс весьма доступный - в нём в основном только лекции и тесты, а лабы не обязательные, поэтому он в принципе всем понятен, даже если вы в ML не разбираетесь.
Рассмотрены базовые основы продуктовой разработки:
🔣общие стадии разработки ML-продукта
🔣важность data-driven подхода
🔣HLP-бейзлайн и хитрости с интерпретацией результатов
🔣выбор направления для улучшения результата
🔣соотношение бизнес и ML метрик
🔣разница работы со структурированными и неструктурированными данными

Рекомендую курс всем студентам, которые пока ещё не поработали в компаниях, поскольку он хорошо расставляет акценты на различиях между исследованием и разработкой в ML.

Первая неделя курса бесплатна ( но он проходится за день 🙂).

В конце курса даётся список ссылок на внешние ресурсы, привожу его.
Week 1: Overview of the ML Lifecycle and Deployment
Concept and Data Drift
Monitoring ML Models
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
Статьи на архив:
1. Towards ML Engineering: A brief history of TensorFlow Extended (TFX)
2. Challenges in deploying machine learning: A survey of case studies.
3. Hidden technical debt in machine learning systems.

Week 2: Select and Train Model
Establishing a baseline
Error analysis
Experiment tracking
1. Toward trustworthy AI development: Mechanisms for supporting verifiable claims
2. Deep double descent: Where bigger models and more data hurt

Week 3: Data Definition and Baseline
Label ambiguity
Data pipelines
Data lineage
MLops
Статья: Comparing deep neural networks against humans: object recognition when the signal gets weaker

PS Мой сертификат

I2VGen-XL - двухстадийный метод генерации видео, использующий каскад из двух кодировщиков, использует статическое изображение в качестве guidance, а текстовое описание при апскейле до 1280×720.

➕Демонстрирует мощь динамических эффектов,
➖одновременно увеличивая риск артефактов, по сравнению с другими методами, типа Pika Labs.

Код, колабы, проект, демоспейс. Также доступен в Replicate и Basedlabs.

➗И действительно, хвост у птички стабильно обрезается, а луна синеет, хотя в Video Stable Diffusion такого не происходит.
➗Качественные примеры генерации этим методом на вдохновляющем меня канале.
🔣🔣🔣 Мои примеры в комментариях.