📚 Free Book Multimodal Deep Learning 2023

This book is the result of a student seminar for Master Statistics and Master Data Science at the LMU in the summer semester 2022

Полезная книга , которая поможет разобраться с мультимодальными моделями общего назначения, изучить их архитектуру, работу и применение, в том числе в генеративном искусстве.

📘 Book
🖥 Github
⏩ Reading list

@ai_machinelearning_big_data

🖼 Image Similarity with Hugging Face Datasets and Transformers

In this post, you'll learn to build an image similarity system wich Transformers.

Полезная статья, с которой вы создадите систему поиска сходства изображений с помощью Transformers. Можно немного попрактиковаться и попробовать другие модели.

🤗 Huggingface
🖥 Github
🖥 Colab

@ai_machinelearning_big_data

AutoAvatar: Autoregressive Neural Fields for Dynamic Avatar Modeling

Autoregressive approach for modeling dynamically deforming human bodies by Meta.

AutoAvatar — проект от Meta для моделирования динамически деформирующихся человеческих тел непосредственно из необработанных сканов.

🖥 Github: github.com/facebookresearch/AutoAvatar

⭐️ Project: zqbai-jeremy.github.io/autoavatar

✅️ Paprer: arxiv.org/pdf/2203.13817.pdf

⏩ Dataset: https://amass.is.tue.mpg.de/index.html

⭐️ Video: https://zqbai-jeremy.github.io/autoavatar/static/images/video_arxiv.mp4

ai_machinelearning_big_data

💬 GLIGEN: Open-Set Grounded Text-to-Image Generation

GLIGEN’s zero-shot performance on COCO and LVIS outperforms that of existing supervised layout-to-image baselines by a large margin. Code comming soon.

GLIGEN новый подход, который основывается на существующих предварительно обученных моделях генерации текста из изображения и расширяет их функциональность. GLIGEN значительно превосходит все существующие модели.

⭐️ Project: https://gligen.github.io/

⭐️ Demo: https://aka.ms/gligen

✅️ Paper: https://arxiv.org/abs/2301.07093

🖥 Github: https://github.com/gligen/GLIGEN

@ai_machinelearning_big_data

🎧 Msanii: High Fidelity Music Synthesis on a Shoestring Budget

Model combines the expressiveness of mel spectrograms, the generative capabilities of diffusion models, and the vocoding capabilities of neural vocoders.

Новая модель на основе диффузии для эффективного синтеза длинной музыки высокого качества.

pip install -q git+https://github.com/Kinyugo/msanii.git

🖥 Github: https://github.com/kinyugo/msanii

⭐️ Demo: https://kinyugo.github.io/msanii-demo/

⭐️ Colab: https://colab.research.google.com/github/Kinyugo/msanii/blob/main/notebooks/msanii_demo.ipynb

✅️ Paper: https://arxiv.org/abs/2301.06468

🤗Hugging face: https://huggingface.co/spaces/kinyugo/msanii

@ai_machinelearning_big_data

✅ Multiview Compressive Coding for 3D Reconstruction

Multiview Compressive Coding (MCC), learns to compress the input appearance and geometry to predict the 3D structure by querying a 3D-aware decoder

MCC — это новый подход к 3D-реконструкции по одному изображению RGB-D .

pip install h5py omegaconf submitit

🖥 Github: https://github.com/facebookresearch/mcc

⭐️ Project: https://mcc3d.github.io/

✅️ Paper: https://arxiv.org/abs/2301.08247

⭐️ Dataset: https://github.com/facebookresearch/MCC/blob/main/DATASET.md

@ai_machinelearning_big_data

🔥 Deep Learning Tuning Playbook

This document is for engineers and researchers (both individuals and teams) interested in maximizing the performance of deep learning models.

Этот репозиторий-книга от специалистов Google Research с практическими советами по максимальному повышению производительности моделей глубокого обучения.

🖥 Github
📌Reddit

@ai_machinelearning_big_data

⭐️ OnePose++: One-Shot Pose

Keypoint-free one-shot object pose estimation method that handles low-textured objects without knowing CAD models.

Новый метод захвата объектов без ключевых точек, который значительно превосходит существующие методы и может работать с низкотекстурированными объектами.

🖥 Github: https://github.com/zju3dv/OnePose_Plus_Plus

✅️ Paper: https://openreview.net/pdf?id=BZ92dxDS3tO

⭐️ Project: https://zju3dv.github.io/onepose_plus_plus

⏩ Dataset: https://zjueducn-my.sharepoint.com/:f:/g/personal/12121064_zju_edu_cn/ElfJC7FiK75Hhh1CF0sPVSQBdzJpeWpOfj8TZzRuxo9PUg?e=Pbnbi8

@ai_machinelearning_big_data

⏺Пришло время астропрогнозов на 2023! В новом видео ⬆️

Наши аналитики сформулировали предсказания будущих угроз для корпораций на основе сложившихся трендов и действий злоумышленников, которые мы наблюдали в уходящем году.

▶️Каких атак ждать корпорациям в начавшемся году?
▶️Что изменится в поведении взломщиков?
▶️Как противостоять шантажу и утечкам ПД?
▶️Почему злоумышленники публикуют данные о взломах в общем доступе?

У нас есть ответы на эти и другие вопросы в 1,5-минутном видео⬆️
Для тех, кто любит поподробнее — презентация с массой полезных данных.

Смотреть презентацию⟶

✅️ StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis

StyleGAN-T, addresses the specific requirements of large-scale text-to-image synthesis, such as large capacity, stable training on diverse datasets, strong text alignment, and controllable fidelity vs. text alignment tradeoff.

StyleGAN-T новый ган для синтеза текста и изображений.

StyleGAN-T значительно превосходит предыдущие GANы и модели дистиллированной диффузии в скорости и качестве генерации текста в изображение.

🖥 Github: github.com/autonomousvision/stylegan-t

✅️ Paper: arxiv.org/pdf/2301.09515.pdf

⭐️ Project: sites.google.com/view/stylegan-t

✔️ Video: https://www.youtube.com/watch?v=MMj8OTOUIok&embeds_euri=https%3A%2F%2Fsites.google.com%2F&feature=emb_logo

🖥 Projected GAN: https://github.com/autonomousvision/projected-gan

@ai_machinelearning_big_data

🚀 K-Planes: Explicit Radiance Fields in Space, Time, and Appearance

Model uses d choose 2 planes to represent a d-dimensional scene.

Новая модель на PyTorch, которая обеспечивает плавный переход от статических (d=3) к динамическим (d=4) сценам, c высокой оптимизацией.

🖥 Github: https://github.com/sarafridov/K-Planes

✅️ Paper: https://arxiv.org/abs/2301.10241

⭐️ Project: https://sarafridov.github.io/K-Planes

@ai_machinelearning_big_data

⭐️ Using LoRA for Efficient Stable Diffusion Fine-Tuning

LoRA: Low-Rank Adaptation of Large Language Models is a novel technique introduced by Microsoft researchers to deal with the problem of fine-tuning large-language models.

Новый метод, представленный исследователями Microsoft для тонкой настройки больших языковых моделей.

LoRA значительно сокращает количество параметров для обучения модели и сокращает использование памяти GPU, поскольку для большинства весов моделей не требуется вычислять градиенты.

По сравнению с GPT-3 175B, настроенным с помощью Adam, c LoRA можно уменьшить количество обучаемых параметров в 10 000 раз и затраты GPU в 3 раза.

🤗 Hugging face blog: https://huggingface.co/blog/lora

✅️ Paper: https://arxiv.org/abs/2106.09685

⭐️ Code: https://github.com/huggingface/diffusers/blob/main/examples/dreambooth/train_dreambooth_lora.py

@ai_machinelearning_big_data

❔ PrimeQA: The Prime Repository for State-of-the-Art Multilingual Question Answering Research and Development

PRIMEQA supports core QA functionalities like retrieval and reading comprehension as well as auxiliary capabilities such as question generation.

PrimeQA — это репозиторий с открытым исходным кодом, который позволяет исследователям и разработчикам легко обучать мультиязычные модели ответов на вопросы (QA).

🖥 Github: https://github.com/primeqa/primeqa

🖥 Notebooks: https://github.com/primeqa/primeqa/tree/main/notebooks

✅️ Paper: https://arxiv.org/abs/2301.09715v2

⭐️ Dataset: https://paperswithcode.com/dataset/wikitablequestions

✔️ Docs: https://primeqa.github.io/primeqa/installation.html

@ai_machinelearning_big_data

Cut and Learn for Unsupervised Object Detection and Instance Segmentation

Simple anf effective method to train an object detection and instance segmentation model without using any supervision.

Cut-and-LEaRn (CutLER) — это новый подход к обучению моделей, для обнаружения и сегментации без участия человека. Cut-and-LEaRn превосходит предыдущую SOTA в 2,7 раза для AP50 и в 2,6 раза для AR в 11 тестах.

🖥 Github: https://github.com/facebookresearch/cutler

⭐️Project: http://people.eecs.berkeley.edu/~xdwang/projects/CutLER/

🖥 Colab: https://colab.research.google.com/drive/1NgEyFHvOfuA2MZZnfNPWg1w5gSr3HOBb?usp=sharing

✅️ Paper: https://arxiv.org/abs/2301.11320

✔️ Installation instructions: https://github.com/facebookresearch/CutLER/blob/main/INSTALL.md

@ai_machinelearning_big_data

🎶 Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion

Audio generation using diffusion models, in PyTorch.

Полнофункциональная библиотека генерации звука на PyTorch.

pip install audio-diffusion-pytorch

🖥 Github: https://github.com/archinetai/audio-diffusion-pytorch

✅️ Paper: https://arxiv.org/abs/2301.11757v1

⭐️ A-unet: https://github.com/archinetai/a-unet

@ai_machinelearning_big_data

⭐️ The State of Computer Vision at Hugging Face 🤗

Over 3000 models, and over 100 datasets on the Hugging Face Hub.

Более 3000 моделей компьютерного зрения и более 100 датасетов на Hugging Face Hub.

💨 Topics:
Supported vision tasks and Pipelines
Training your own vision models
Integration with timm
Diffusers
Support for third-party libraries
Datasets

⏩ Code:
HugsVision
Model documentation
Hugging Face notebooks
Hugging Face example noscripts
Task pages
Timm

➡️ Computer Vision applications:
Generate 3D voxels from a predicted depth map of an input image
Open vocabulary semantic segmentation
Narrate videos by generating captions
Classify videos from YouTube
Zero-shot video classification
Visual question-answering
Use zero-shot image classification to find best captions for an image to generate similar images

🤗 AutoTrain
AutoTrain
Image classification
Automatic model evaluation

🦾 Zero-shot models
CLIP
OWL-ViT
CLIPSeg
GroupViT
X-CLIP

🚀 Deployment
Deploying TensorFlow Vision Models in Hugging Face with TF Serving
Deploying ViT on Kubernetes with TF Serving
Deploying ViT on Vertex AI
Deploying ViT with TFX and Vertex AI

✅️ Full list

@ai_machinelearning_big_data

🔊 Audio-Visual Segmentation (AVS)

AVS to estimate pixel-wise segmentation masks for all the sounding objects, no matter the number of visible sounding objects

Большой датасет и модель сегментации объектов, издающих звук на видео.

🖥 Github: https://github.com/OpenNLPLab/AVSBench

✅️ Paper: https://arxiv.org/pdf/2301.13190.pdf

⭐️ Project: https://opennlplab.github.io/AVSBench/

✅️ Dataset: http://www.avlbench.opennlplab.cn/download

🔹 Benchmark: http://www.avlbench.opennlplab.cn/

ai_machinelearning_big_data