Milvus - Векторная база данных для хранения и поиска среди эмбеддингов!

Milvus is built on top of multiple optimized Approximate Nearest Neighbor Search (ANNS) indexing libraries, including faiss, annoy, hnswlib, etc.

https://github.com/milvus-io/milvus/

Куда приводят мечты или рендеринг майкрафт мира с помощью GAN.

https://nvlabs.github.io/GANcraft/
https://github.com/NVlabs/imaginaire
https://arxiv.org/pdf/2104.07659v1.pdf

We present GANcraft, an unsupervised neural rendering framework for generating photorealistic images of large 3D block worlds such as those created in Minecraft. Our method takes a semantic block world as input, where each block is assigned a label such as dirt, grass, tree, sand, or water. We represent the world as a continuous volumetric function and train our model to render view-consistent photorealistic images from arbitrary viewpoints, in the absence of paired ground truth real images for the block world. In addition to camera pose, GANcraft allows user control over both scene semantics and style.

https://youtu.be/1Hky092CGFQ

Офигенно!)

Unsupervised 3D Neural Rendering of Minecraft Worlds

Пропустили итоговый семинар, на котором выступали участники курса с докладами по своим проектам?
Мы подготовили короткий обзор, с которым вы можете ознакомиться на Хабр.
https://habr.com/ru/company/ods/blog/514072/

Куча классных Vision Transformer для Pytorch в одном пакете.

https://github.com/lucidrains/vit-pytorch

PyTorchVideo мощная библиотека от facebook для задач с пониманием и анализом видео.

PytorchVideo provides reusable, modular and efficient components needed to accelerate the video understanding research. PyTorchVideo is developed using PyTorch and supports different deeplearning video components like video models, video datasets, and video-specific transforms.

Key features include:

Based on PyTorch: Built using PyTorch. Makes it easy to use all of the PyTorch-ecosystem components.

Reproducible Model Zoo: Variety of state of the art pretrained video models and their associated benchmarks that are ready to use. Complementing the model zoo, PyTorchVideo comes with extensive data loaders supporting different datasets.

Efficient Video Components: Video-focused fast and efficient components that are easy to use. Supports accelerated inference on hardware.

https://github.com/facebookresearch/pytorchvideo

Еще одна модная векторая база данных для ML задач с трансформерами из коробки и GraphQL!

https://github.com/semi-technologies/weaviate

Weaviate in a nutshell: Weaviate is a vector search engine and vector database. Weaviate uses machine learning to vectorize and store data, and to find answers to natural language queries. With Weaviate you can also bring your custom ML models to production scale.

Weaviate in detail: Weaviate is a low-latency vector search engine with out-of-the-box support for different media types (text, images, etc.). It offers Semantic Search, Question-Answer-Extraction, Classification, Customizable Models (PyTorch/TensorFlow/Keras), and more. Built from scratch in Go, Weaviate stores both objects and vectors, allowing for combining vector search with structured filtering with the fault-tolerance of a cloud-native database, all accessible through GraphQL, REST, and various language clients.

[OpenAI DALL·E] Zero-Shot Text-to-Image Generation
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen, Ilya Sutskever
Статья: https://arxiv.org/abs/2102.12092
Пост в блоге: https://openai.com/blog/dall-e/
Код (официальный, но неполный): https://github.com/openai/dall-e
Код (неофициальный, но более полный): https://github.com/lucidrains/DALLE-pytorch
Обученная модель от Сбера: https://github.com/sberbank-ai/ru-dalle

В последнее время появилось много мультимодальных трансформеров, и хочется их поразбирать. Нельзя обойти при этом наиболее известные модели, одна из которых — DALL·E от OpenAI.

DALL·E прошумел уже довольно давно, в самом начале года, но статья и все детали реализации стали доступны не сразу (в официальной репе так вообще лежит только обученный dVAE, который лишь часть от DALL·E).

Собственно, что такое DALL·E? Это декодер трансформера, который авторегрессионно умеет генерить изображения, “продолжая” заданное текстовое описание и, возможно, начальную часть изображения.

В оригинальном посте было заявлено, что это 12-миллиардная версия GPT-3, обученная на парах картинок и их описаний, но реальность сильно сложнее.

Начать стоит с того, что процесс обучения двухэтапный. На первом этапе обучается дискретный VAE (dVAE), сжимающий входную картинку 256*256 в картиночные токены на сетке 32*32, принимающие 8192 возможных значения каждый (то есть размер словаря). Это нужно для того, чтобы уменьшить количество токенов, с которыми должен дальше оперировать трансформер, и даёт уменьшение размера контекста в 192 раза. Часть высокочастотного сигнала в изображении при этом, ожидаемо, теряется, мелкие детали становятся плохо- или неразличимы, но в целом качество восстановления картинки после такого dVAE вполне достойно. Именно отсюда получается та самая своеобразная гладкость генеримых DALL·E картинок и проблемы с мелкими деталями, соответственно не для любого типа изображений DALL·E подходит, либо же процесс требует переобучения dVAE на более специальные кейсы. В dVAE никаких трансформеров нет, это свёрточный резнет.

Второй этап — это собственно трансформер. 256 кодирующих текст BPE-токенов (словарь размера 16384) конкатенируются с 1024 картиночными токенами, полученными от dVAE, и эта последовательность авторегрессионно продолжается. Сам трансформер это 64-слойный sparse transformer от тех же OpenAI (https://arxiv.org/abs/1904.10509). Он хитрый, в нём три типа шаблонов внимания: 1) text-to-text классический masked механизм как в авторегрессионных языковых моделях по типу GPT, где текущий токен не имеет права заглядывать в будущие токены; 2) image-to-text, где каждый токен изображения смотрит на все токены текста; и 3) image-to-image, где используются паттерны из sparse transformer с вниманием по строкам, столбцам и более хитрыми свёрточными шаблонами, которые применяются только в последнем self-attention слое. При этом все три типа заведены в одну единственную операцию внимания, потому что это работало лучше, чем три отдельные операции.

Авторы сначала экспериментировали на маленькой модели в 1.2B параметров и датасете в 3.3M пар картинка-текст, а потом отскейлили это на 12B модель и датасет в 250M пар (который пришлось собрать). Собственно этот скейлинг и составляет главные идейную и техническую часть работы. Идейно — показать, что обученная на большом датасете модель большого размера демонстрирует интересное поведение, а технически — заставить всё это работать, потому что вылезает много инженерных челленджей, не проявляющихся на меньших масштабах.

По признанию авторов, самая сложная часть проекта была в том, чтобы обучить большую модель на 16-битных числах (вместо обычных 32-битных). Было много всяких нестабильностей, поэтому авторы придумали хитрые методы масштабирования градиентов для защиты от underflow. Другой челлендж — распределённое обучение, где использовался тонко настроенный вариант PowerSGD. За этими (на самом деле важными, если хотите повторить) техническими деталями обращайтесь в Appendix.

Начать разбираться в AI и ML — легко!

Смотрите, какой крутой проект — YouTube-канал "Академия искусственного интеллекта". Это совместный проект Сбера и Благотворительного фонда "Вклад в будущее". Цель проекта — помочь разобраться, что такое искусственный интеллект и машинное обучение. В коротких видео понятным языком рассказывают о новых веяниях ИИ, об олимпиадах, стажировках и хакатонах; а также дают много полезных ссылок и материалов, которые помогут лучше разобраться в теме.

Вот несколько интересных видео:
- Нейросеть DallE от Сбера: интервью с одним из создателей.
- Почему ИИ стоит изучать.
- Стажировка в Сбере.
- Как достичь успеха в data science и IT

В 2021 изученим AI и ML действительно стоит начать заниматься уже сейчас: чтобы не отодвигать изучение самой развивающейся сферы в мире и стать в ней первым!
Академия ИИ докажет вам, что AI — это суперувлекательно! Подписывайтесь

Вы руководите стартапом в сфере искусственного интеллекта или, может быть, работаете в секторе Интернета вещей или индустрии дополненной реальности? Нажмите здесь и узнайте, как вы можете воспользоваться программой Европейского Союза, не находясь в ЕС. Завоевать новых клиентов и новые контакты на европейском рынке. Ознакомьтесь с программой Poland Prize
https://technopark.kielce.pl/polandprizerus/

Объёдинённый репозиторий для BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM. Всего 27 претренированных моделей
https://twitter.com/Thom_Wolf/status/1151169470498582529

​​15 Open Source библиотек для повышения качества данных

Open Source библиотеки Python, которые помогут вам сделать данные лучше, чтобы избежать траты времени и упростить анализ данных.

Статья

Если вы хотите уметь решать Computer Vision задачи end-to-end, начиная от краудсорсинга данных, заканчивая автоматизацией деплоя, то записывайтесь на курс Ракета в Computer Vision от DeepSchool.

На курсе вы научитесь краудсорсить, быстро учить модели, ускорять сетки, создавать сервисы, автоматизировать их деплой, настраивать мониторинг и многое другое.

Переходите по ссылке, чтобы узнать программу и прочитать отзывы.

Системные знания и практику по Java не заменить информацией из интернета, а хорошие курсы стоят дорого, но!

В Kata Academy можно выучиться на Java-разработчика бесплатно, а заплатить уже после трудоустройства по специальности из фактической зарплаты.

Если задуматься, то все в выигрыше 👉
—Ты получаешь работу с хорошей зарплатой, мы получаем процент за инвестиции в тебя и продолжаем прокачивать твои навыки еще 2 года;
— в наших интересах научить тебя так, чтобы твоя зарплата была как можно выше;
— мы развиваем твои навыки и после курсов: проводим выездные мероприятия и мастер-классы — и доходы наших выпускников растут;
— мы не зависим от банков и их рассрочек — кризис не повлиял на доступность курсов.

Чтобы попасть на курс, нужно выполнить небольшое тестовое задание. Переходи по ссылке и оставляй заявку!

https://github.com/THUDM/CogVideo
#cv #video

Слышали о том, что анализ данных — востребованная сфера? Давайте разберёмся в профессии аналитика данных вместе.

Собрали всю базовую информацию о специальности в бесплатном гайде. За 10 минут чтения вы поймёте:
— какие задачи решает аналитик;
— кто такие и чем отличаются друг от друга джун, мидл и синьор;
— какие навыки и знания нужны для старта в профессии;
— как можно освоить профессию;
— как и куда расти джуну.

А ещё мы собрали полезные ссылки для начинающих аналитиков: где читать новости и узнавать новое.

Чтобы получить гайд, переходите по ссылке.