👨‍🎨 Как работает DALL-E 2? 🖼

В одном из последних постов рассказали вам про новую AI-модель и поделились кучей ссылок с примерами её работы. Давайте попробуем разобраться, что за магия происходит в модели и как она создает совершенно новые изображения с помощью короткого текстового описания.
💭 Итак, если объяснять процессы, которые происходят в модели простым языком, то глобально их три: модель получает текстовое описание, которое декодируется и попадает в пространство текстовых эмбедингов (математический способ представления информации). Затем они попадают в пространство эмбедингов изображений, где идет поиск наилучшего совпадения. После этого полученный эмбединг декодируется и мы получаем изображение. Вуаля!

📺 В основе модели лежит модель CLIP, которая занимается прямо противоположным: подбирает наиболее точное описание к каждому изображению. Как вы понимаете, для обеих моделей совершенно необходимо огроменное количество данных, а именно пар (изображение–точное описание). Вручную такое сделать достаточно трудно (руки и глаза точно устанут), поэтому данные собраны со всего Интернета.

🧪 Также, при построении DALL-E 2 использовались диффузионные модели. Сейчас мы быстро постараемся это понять, если к этому моменту вы еще не перегружены информацией. Эти модели берут изображение и постепенно добавляют к нему различные шумы до тех пор пока изображение не меняется до неузнаваемости. Затем, они пытаются провернуть этот процесс задом наперед: воссоздать исходное изображение. Таким образом, модель учится самостоятельно генерировать изображения (или любую другую информацию, например, музыку).

🔗 Сила DALL-E 2 заключается в большом количестве парных данных (естественного языка–изображения), которые доступны в Интернете. Использование таких данных не только устраняет недочеты, вызванные трудоемким процессом ручной маркировки данных. В первую очередь, шумный и даже неконтролируемый характер таких данных лучше всего отражает реальные данные, к которым должны быть устойчивы модели глубокого обучения.

Если все эти выводы кажутся вам непонятными или недостаточными, то в этом видео девушка еще более подробно (на примере схем и изображений) рассказывает о том, как именно работает DALL-E 2 и почему каждый этап обработки важен и незаменим.

#leftjoin_ai

Ура! 🎉
Мы пробили отметку в 10К подписчиков!
Спасибо всем и каждому, кто подписан, вы невероятно мотивируете меня и всю команду продолжать делать интересный контент. 😎😎
Иногда вспоминаю времена, когда в канале было 100 человек и некоторые мои знакомые удивлялись для чего я все это делаю! Конечно же, в большей степени для себя, но очень рад, что посты, контент и любые другие медийные материалы, которые мы выпускаем, принимаются коммьюнити с интересом 😇

Поэтому огромная благодарность за ваши реакции и репосты 👍👍👍

Пробив отметку в 10К собираюсь написать краткий пост с основными ссылками на публикации в этом канале и блоге, а также с информацией об авторе, чтобы все вновь прибывшие сразу могли узнать, что мы тут публикуем ☺️

🚨 Справочник по каналу 🚨
Немного очевидного: меня зовут Николай Валиотти, LEFT JOIN – телеграм-канал, который я веду вместе со своей командой Valiotti Analytics. Меня увлекает тема анализа, инжиниринга и визуализации данных, а также машинного обучения. Этот канал появился в ноябре 2018 года и довольно стремительно развивается все это время от заметок автора по теме интересных инструментов и приемов в Python/SQL к полноценному медиа со своим подкастом, дайджестами и примечательными проектами.
Мне бы хотелось, чтобы у всех специалистов была возможность разобраться в сложной информации об анализе данных, поэтому мы рассказываем об этом простым языком с яркими примерами. Чаще всего в канале можно встретить именно такой контент. Однако иногда я просто публикую интересные новости IT-сферы, поэтому не удивляйтесь. Например, у нас есть рубрика Новостной Дайджест, где информация далеко не только о данных.

🙋 Немного обо мне:
▫️С 2009 года работаю в области анализа данных и даже защитил кандидатскую диссертацию в СПбГУ по теме использования нейронных сетей
▫️Сейчас я учусь на программе Master of Analytics в американском ВУЗе Georgia Tech
▫️Работал в ряде крупных компаний: Лента, Yota, Балтика, Юлмарт, Tapcore, Airpush
▫️Увлекался программированием на разных языках: PHP, JS, C++ (в универе), Java, R, Python, а потом переключился на создание бизнеса, и так в 2019 году появилась компания Valiotti Analytics
▫️Развиваю c партнером стартап Mprove – self-service BI-платформа.
▫️Занимаюсь ангельским инвестированием в технологичные проекты преимущественно в области данных. Если вы – такой проект, то скорее пишите мне.
▫️Интересуюсь криптовалютой и проектами в этой области (особенно здорово, когда они на стыке с данными/аналитикой).
▫️Живу на Кипре с женой и дочкой, увлекаюсь теннисом 🎾, периодически рублю в плойку 🎮 😇

🛠 Услуги
🔹В рамках Valiotti Analytics мы помогаем компаниям строить аналитический стек: процессы инжиниринга, хранилища данных, отчетность, внедрение BI-инструментов на всем, что называется избитым "modern data stack"
🔹Для нас это означает, что мы работаем с современными цифровыми заказчиками, использующими облачные технологии, и совсем не работаем с несколько устаревшим стеком, где, например, присутствует 1С
🔹Также иногда я помогаю в персональном менторинге и консультирую владельцев компаний/топ-менеджеров


❕ Важные материалы
🖼 Цикл постов про использование оконных функций
По хештегу: #leftjoin_sql

📝 Полезные посты из блога LeftJoin
Аналитические метрики здорового маркетолога
Лонгрид про выбор цветов для визуализации данных
Мануал по Yandex.Datasphere
Поиск интересных новых мест по геотегам в Instagram
Граф телеграм-каналов по теме аналитики
Дашборд первых 8 месяцев жизни малыша

👫 Совместные проекты
Дашборд с анализом рынка вакансий аналитиков c hh.ru с @revealthedata

📚 Статьи на Хабре
Используем serverless для построения аналитики на данных из AmoCRM в Yandex.Cloud
Подробный анализ телеграм-канала Артемия Лебедева и кое-что еще

🔬 Исследования
Исследование рынка онлайн-образования по анализу данных в России

📰 Интересные новости
Партнерство Tableau и Looker
Десять open-source аналогов Google Analytics
Snowflake купил Streamlit: почему это важно?
Список альтернатив Slack

🎞 Канал на YouTube
Все, что нужно знать про поступление в магистратуру Georgia Tech
Гайд по современным BI-инструментам

🎤 Интервью и выступления
Выступление на SmartData: Self-Service BI
Выступление на Матемаркетинге
Интервью для @start_ds
Интервью для @revealthedata
Презентация с выступления на конференции Linq

🎧 Подкаст Data Heroes: 2 сезон 👾
Эпизод 1: Рынок аналитики сейчас: какие произошли изменения после старта февральского безумия?
Эпизод 2: Data образование за рубежом: опыт тех, кто уже прошел этот путь

📧 Контакты и ссылки
С удовольствием знакомлюсь и общаюсь с новым и интересными людьми! Если у вас что-то есть по делу, пишите.
Телеграм — @valiotti
Почта — nikolay@valiotti.com
Valiotti Analytics | Блог Left Join | Tableau Public | YouTube
Подкаст Data Heroes | Твиттер | LinkedIn

🧑‍💻Как проанализировать всю свою жизнь и найти ответы на важные вопросы? 📊

Этот проект начался как локальная шутка Феликса Краузе и его друзей, чтобы у них всегда был ответ на вопрос “Когда же Феликс вернется в Нью-Йорк или Сан-Франциско?” Вместо того, чтобы отвечать всем, он просто создал сайт, на котором была вся нужная информация о нем.

На сегодняшний день Феликс собирает данные о себе ежедневно на протяжении 2,5 лет. Он записывает практически все что делает с невероятной точностью: рост, вес, время сна, калорийность еды (с разбивкой на белки, жиры и углеводы), время за компьютером, спорт, медитации и многое-многое другое. На сайте вы можете увидеть где Феликс сейчас, сколько он сегодня поспал и что поел (понятия не имею, зачем вам эта информация, но понаблюдать за этим интересно).

На самом деле целью его проекта было ответить на вопросы о своей жизни, такие как:
🔹 Как жизнь в разных городах влияет на спорт, производительность труда и ощущение счастья?
🔸 Как сон влияет на то, как пройдет день или качество занятия спортом?
🔹 Как погода и разные времена года влияют на мою жизнь?
🔸 Есть ли какие-либо тенденции за последние несколько лет?
🔹 Как время проведенное за компьютером, работа и рабочие встречи влияют на мою личную жизнь?

Думаю, что он старается сделать выводы исходя из данных и внедрить их в свою жизнь. На его сайте есть 42 визуализации данных, которые вы тоже можете просмотреть (не заинтересоваться просто невозможно) и заметить какие-то существенные закономерности🙃

рубрика #ЖизньнаКипре 🇨🇾

Что больше всего бесит на Кипре? Ответ «завтра».

👨‍🏭 Пояснительная бригада к предыдущему посту подъехала!

Дело в том, что почти на все вопросы о сроках, я получаю ответ «завтра»: будь то открытие счета в банке (которое по итогу длилось 2 месяца), вызов электрика, оформление документов, обслуживание авто.

Завтрамэны повсюду! 🦸🏻

🇺🇸 Соединенные штаты планируют кампанию по привлечению инженеров и научных работников.

Примечательная потенциальная возможность для тех, кто планировал туда мигрировать и не может решить визовый вопрос (а он сейчас действительно сильно усложнился).

Прикольный фреймворк для любителей поизвращаться: PyScript, позволяющий запустить .py-скрипт из .html-странички.

🚀 Релокейт: куда валить и что делать? Ответим в третьем эпизоде DataHeroes 🦸🏻

Принять быстрое решение о релокейте в другую страну и переехать за считанные дни? ✈️ Добавим к этому последние события в мире, закрытые границы и заблокированные банковские счета — получается неплохой квест! Только происходит это не в игре, а в реальной жизни.

Наши спикеры поделились своими захватывающими историями релокейта и ответили на главные вопросы: где просить помощи в вопросах переезда? Как распорядиться деньгами? Можно ли справиться с тревогой и что делать тем, кто пока не может переехать? Включайте подкаст и узнаете прямо сейчас!

БОНУС 🔥
В конце выпуска вас ждут подробные рекомендации по релокейту 😎 А также полезные советы и немного мотивации тем, кто остаётся в России!

Наши спикеры — Беслан Курашов, Павел Комаровский, Валерий Бабушкин, Виталий Емельянцев

Подкаст доступен на платформах: Spotify, Anchor, Apple Podcasts, Castbox, Overcast, Google, Yandex, Telegram (↓)

#DataHeroes #подкаст

Новые чувствительные данные оказались доступными в интернете. На этот раз отличился, предположительно, Гемотест.
Наверное, любопытный датасет для анализа.

Ждем штрафа в 60 т.р.? 😉

А вот и подоспела имплементация DALL-E2 на Pytorch.
Вперед генерировать картинки? 👨‍🎨

Забавный сервис: вбиваешь какую-то текстовую строку на выбранном языке, затем она 10 раз переводится на разные языки и потом возвращается обратно на исходный.

Из фразы: «Утром придумал новый пост в свой канал и опубликовал» у меня получилось: «На следующее утро я пошел на свой канал и был опубликован»

#ссылка

Видео выходного дня интересное всем любителям игры GTA: как создавалась первая версия GTA в 1996м году 🎮🏎

📊 Supabase выходит на новый уровень 💰
Я часто рассказываю вам про интересные open-source альтернативы известных сервисов. На этой неделе появилась весьма важная новость о компании Supabase, которая позиционирует себя как альтернатива open-source сервисам, таким как Firebase от Google. В среду эта компания объявила о привлечении раунда финансирования серии B на сумму 80 млн долларов под руководством Felicis Ventures.

🤔 В чем они хороши?
Supabase, конечно, не может конкурировать с Firebase по набору предлагаемых функций, но у них есть отличный пакет базовых инструментов, которые необходимы разработчикам для качественной работы: база данных, хранилище и служба аутентификации. Также они запустили Supabase Edge Functions – serverless оффер “функция как сервис“.

📈 Почему это важно?
Благодаря огромному финансированию Supabase планирует удвоить свою команду, чтобы создать свою платформу (с упором на корпоративные функции) и стратегию выхода на рынок. Кстати, до сих пор большая часть роста компании была органической, что явно подтверждает высокое качество их сервиса.

Теперь стоит активно следить за улучшениями сервиса, думаю, они не заставят себя ждать! 🚀

🐙 Airbyte: рассказываем и показываем наглядно все тонкости 🔍

Многие инструменты аналитиков уже давно подробно разобраны и описаны в разных тематических блогах. Однако, когда мы искали качественный гайд по Airbyte, то нам не удалось найти ничего по-настоящему полезного, кроме официальной документации. Поэтому мы решили написать свой 🙂
Плюс ко всему, мы разобрали кейс подключения Facebook Marketing API и расписали все шаги, которые нужно выполнить для начала работы с ним.

В общем, читайте, комментируйте, задавайте вопросы, если (ну, вдруг) мы что-то упустили!

BI-гайд по современным инструментам возвращается, чтобы вновь рассказать о самом нужном

Не знаю как вы, а мы очень ждали возвращения цикла видео-обзоров BI-инструментов, которые есть на рынке, ведь в мире data-аналитики стоит активно следить за стремительными изменениями и стараться подобрать самый подходящий. В сегодняшнем видео мы поговорим про обновленный и улучшенный Apache Superset — open-source инструмент с множеством опций, которые позволяют пользователям с любым опытом изучать и визуализировать данные, от простых линейных графиков до высокодетализированных геопространственных диаграмм (ух!).

Посмотрите на финальный дашборд в материале блога и ответьте на два небольших вопроса ниже 🤔

Автор дашборда, член команды Valiotti Analytics — Егор Сатюков