The more you consume, the less you create? 🛍

👀 Недавно у меня был разговор с инвестором, которого я очень уважаю. Обсуждение ушло в сторону потребления контента — особенно разных зловещих сценариев, где Apple Vision становятся заменой реальной жизни для не очень счастливых людей. Он рассказал, как в молодости ездил на другой конец города, чтобы купить пластинку, в то время как сейчас любую песню можно послушать сразу да еще и бесплатно и ценность контента теряется, в то время как объемы контента становятся в разы больше.

📱Если реальная жизнь становится слишком сложной/грустной/скучной, рилзы/сериалы/дота действительно способны сделать существование более сносным. И в небольших дозах почему бы и нет. Но если это занимает большую часть жизни, точно ли это жизнь, а не существование/потребление?

💫 Фраза, которую я недавно услышала: "если человека спросить, что с ним было самое крутое за год он едва ли вспомнит смешной рилз или просмотр сериала на нетфликсе". Я думаю мы запоминаем в первую очередь то, к чему мы сами причастны. Мы все хотим создавать и принимать решения, я уверена.

👟В объемах контента есть и хорошее, само собой. Пусть у нас есть задача "получить кроссовки, идеально мне подходящие".
Наиболее крутое креаторское решение — создать обувь под себя с нуля. Но это сложно/дорого.
Пусть у нас есть огромный маркетплейс и мы хотим найти пару кроссовок, которая нам максимально подойдет. На одном только фарфетче десятки тысяч предложений. Вопрос в том, как найти ту самую пару? И здесь можно применить креативность в том, как искать одежду - например, узнать какие цвета подойдут к твоей одежде, какой стиль тебе нравится, какие магазины стоит посмотреть в первую очередь? Если хорошо знать что конкретно ищешь, то можно поиск лучших кроссовок считать приближением креаторского решения.

😎 Несмотря на перспективы все большего разделения на создателей и потребителей я верю, что у потребителей появится больше возможностей для персонализации контента/предметов гардероба/концовок в фильмах под себя, тем самым потребителей не просто будут пичкать проигранными сценариями, а все еще останется много места для творчества даже в роли консьюмеров.

p.s. здесь я пишу больше про aesty и рынок fashion tech ❤️

🔍 Вышел технический репорт (на статью это пока не тянет) по Sora от openai

1. При генерации видео идея та же, что и в LLM: мультимодальные токены. Только вместо токенов — так называемые патчи (сжатые отдельно натренированной сеткой фрагменты с видео)
2. Патчи подаются в трансформер с диффузией, причем собраны они таким образом, что можно учиться и на видео, и на картинках разных размеров, разрешения и контролировать эти параметры на этапе инференса
3. При подготовке данных к тренировке подписи к видео генерируют отдельно обученной моделью
4. На инференсе запросы пользователя прогоняются через GPT, чтобы сделать их более понятными для Sor'ы

дальше идет большое число примеров, в которые я предлагаю позалипать самостоятельно. Из того, что мне больше всего понравилось — уже сейчас модель способна на некоторых примерах понимать связь "причина-следствие". Например после укуса бургера он не остается целым

на видео прогресс обучения 👀

Считаю, что пора и мне запромоутить чат, существующий вместе с этим каналом. Пользоваться им можно для нетворка/обсуждения визы/стартапов/моделек. Вероятно, это удобнее, чем общаться в комментах 💻
https://news.1rj.ru/str/+RxvUW07GEbFl7mHw

🧦 Удобный датасет для сегментации одежды на HF 🧦

Я взяла за основу IMaterialist — профильтровала и адаптировала его под задачу сегментации, решив ряд сложностей:

1. На фотках присутствуют несколько людей, иногда одежда размечена только у одного
2. Много лишних деталей. Так, например, если класс "карманы" который относится и к карманам на куртке, и к карманам на юбке
3. Нереально большое число классов распознавания, которое на практике не особо нужно
4. К сожалению, в оригинальном датасете присутствуют ошибки разметки. Я постаралась также их уменьшить на постпроцессинге

Что я сделала:
1. Убрала фотки где присутствует человек с неразмеченной одеждой
2. Постаралась максимально раскидать карманы по ближайшим классам, чтобы они были частью кофты/штанов. Оставила 8 самых главных классов ('background', 'upperbody', 'upperbody_up', 'lowerbody', 'wholebody', 'wholebody_up', 'shoes', 'accesories')
3. Перепроцесснула сложный csv в удобный формат с простым классом датасета: он берет данные из папки с исходными фотками и из папки с масками в формате .npy

На 3.5k подписчиков выложу код
А как вы развлекаетесь на выходных? 😄