ZipIt! Merging Models from Different Tasks without Training
ZipIt allows to combine completely distinct models with different initializations, each solving a separate task, into one multi-task model without any additional training.
"ZipIt!", новый метод объединения двух произвольных моделей одной архитектуры.
🖥 Github: https://github.com/gstoica27/zipit
⏩ Paper: https://arxiv.org/abs/2305.03053v1
📌 Dataset: https://paperswithcode.com/dataset/nabirds
ai_machinelearning_big_data
ZipIt allows to combine completely distinct models with different initializations, each solving a separate task, into one multi-task model without any additional training.
"ZipIt!", новый метод объединения двух произвольных моделей одной архитектуры.
📌 Dataset: https://paperswithcode.com/dataset/nabirds
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24👍4🦄4✍1❤1
In this post, we covered the constraints, unique challenges and the current state of text-to-video generation models
Текст в видео: Задачи, проблемы и текущее состояние. В этом посте мы обсудим прошлое, настоящее и будущее моделей "текст в видео".
🤗 Hugging face: https://huggingface.co/blog/text-to-video
📌 Dataset: https://m-bain.github.io/webvid-dataset/
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥4❤3💘1
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес
Каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку. Для многих это новое направление. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей.
⏰ Когда: 8 июня, 12:00
📍Где: Москва и онлайн
⚡️ Регистрация
На VK Cloud Conf эксперты VK и крупнейших российских компаний поделятся опытом организации процессов разработки, работы с данными и информационной безопасности в облаке.
Вы узнаете, какими инструментами и подходами можно сократить время вывода новых разработок на рынок. Спикеры обсудят архитектуру современных аналитических систем — от сбора и структурирования данных до визуализации и разработки моделей машинного обучения.
В программе:
🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов
🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов
🔹 Тренды и примеры миграции на российские базы данных
🔹 Лучшие практики облачной безопасности в условиях требований к конфиденциальности данных
Конференция будет полезна руководителям компаний и ИТ-специалистам разных направлений.
Каждая крупная российская компания, которая стремится к росту, вынуждена развивать собственную разработку. Для многих это новое направление. В то же время большинство вопросов современной разработки — инструментарий, ресурсы, процессы — общие для разных отраслей.
⏰ Когда: 8 июня, 12:00
📍Где: Москва и онлайн
⚡️ Регистрация
На VK Cloud Conf эксперты VK и крупнейших российских компаний поделятся опытом организации процессов разработки, работы с данными и информационной безопасности в облаке.
Вы узнаете, какими инструментами и подходами можно сократить время вывода новых разработок на рынок. Спикеры обсудят архитектуру современных аналитических систем — от сбора и структурирования данных до визуализации и разработки моделей машинного обучения.
В программе:
🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов
🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов
🔹 Тренды и примеры миграции на российские базы данных
🔹 Лучшие практики облачной безопасности в условиях требований к конфиденциальности данных
Конференция будет полезна руководителям компаний и ИТ-специалистам разных направлений.
👍11❤4🫡2💊2😨1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥 ImageBind: One Embedding Space To Bind Them All
ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.
ImageBind, новый подход к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.
🖥 Github: https://github.com/facebookresearch/imagebind
Ⓜ️ Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
⏩ Paper: https://arxiv.org/pdf/2305.05665v1.pdf
⭐️ Demo: https://imagebind.metademolab.com/
📌 Dataset: https://paperswithcode.com/dataset/msr-vtt
ai_machinelearning_big_data
ImageBind, an approach to learn a joint embedding across six different modalities - images, text, audio, depth, thermal, and IMU data.
ImageBind, новый подход к обучению совместному встраиванию шести различных модальностей - текста,изображений, аудио, глубины, тепловых данных и данных IMU.
Ⓜ️ Meta blog: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
📌 Dataset: https://paperswithcode.com/dataset/msr-vtt
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤6🔥2
VideoChat: Chat-Centric Video Understanding
Currently, Ask-Anything is a simple yet interesting tool for chatting with video.
Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.
🖥 Github: https://github.com/OpenGVLab/Ask-Anything
⭐️ Demo: https://huggingface.co/spaces/ynhe/AskAnything
⏩ Paper: https://arxiv.org/pdf/2305.06355v1.pdf
📌 Dataset: https://paperswithcode.com/dataset/webvid
ai_machinelearning_big_data
Currently, Ask-Anything is a simple yet interesting tool for chatting with video.
Набор данных, ориентированный на видео, состоящий из тысяч видеороликов, сопровождаемых подробными описаниями и субтитрами.
📌 Dataset: https://paperswithcode.com/dataset/webvid
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤2🌭2🔥1
📖 DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation
A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.
Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.
🖥 Github: https://github.com/harlanhong/cvpr2022-dagan
⏩ Paper: https://arxiv.org/pdf/2305.06225v1.pdf
⭐️ Demo: https://huggingface.co/spaces/HarlanHong/DaGAN
📌 Dataset: https://paperswithcode.com/dataset/voxceleb1
ai_machinelearning_big_data
A novel self-supervised method for learning dense 3D facial geometry (ie, depth) from face videos, without requiring camera parameters and 3D geometry annotations in training.
Новый метод на основе генеративных состязательных сетей для генерации видео с говорящими головами.
📌 Dataset: https://paperswithcode.com/dataset/voxceleb1
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤5🔥1
Shepherd: A lightweight, foundational framework enabling federated instruction tuning for large language models
Модель для фундаментальной основы для изучения федеративной тонкой настройки LLM.
📌 Data Preparation: https://github.com/jayzhang42/federatedgpt-shepherd#Data_Preparation
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤5❤🔥2✍2🔥1
CLIP, the first foundation model that connects images and text, has enabled many recent breakthroughs in computer vision. As a result of this finding, we are able to successfully train CLIP even by using academic resources.
CLIP, первая фундаментальная модель, которая связывает изображения и текст, которая помогла совершить множество прорывов в компьютерном зрении. Проект показывает спопобы снижения вычислительных затрат на работу CLIP.
📌 Dataset: https://paperswithcode.com/dataset/imagenet-sketch
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤3🔥3🖕1
This media is not supported in your browser
VIEW IN TELEGRAM
ULIP: Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding
You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!
ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.
🖥 Github: https://github.com/salesforce/ulip
⏩ Paper: https://arxiv.org/abs/2305.08275v1
📌 Dataset: https://paperswithcode.com/dataset/objaverse
ai_machinelearning_big_data
You can easily plug in any 3D backbone models and pre-train it using our framework to get a jump-start for various downstreaming tasks!
ULIP - мультимодальная предварительно обученная модель, которая может использовать данные из разных модальностей (изображения, текст и тд) для работы с 3D-данными.
📌 Dataset: https://paperswithcode.com/dataset/objaverse
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥4❤1
FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention
FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.
FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.
🖥 Github: https://github.com/mit-han-lab/fastcomposer
⏩ Paper: https://arxiv.org/abs/2305.10431v1
📌 Dataset: https://paperswithcode.com/dataset/ffhq
⭐️ Project: https://fastcomposer.mit.edu/
ai_machinelearning_big_data
FastComposer uses subject embeddings extracted by an image encoder to augment the generic text conditioning in diffusion models, enabling personalized image generation based on subject images and textual instructions with only forward passes.
FastComposer - новый проект MIT, который обеспечивает высококачественное, персонализированное, многопредметное преобразование текста в изображение без тонкой настройки.
📌 Dataset: https://paperswithcode.com/dataset/ffhq
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14🔥7❤5
FunASR: A Fundamental End-to-End Speech Recognition Toolkit
FunASR, an open-source speech recognition toolkit designed to bridge the gap between academic research and industrial applications
Фундаментальный набор инструментов для распознавания речи.
🖥 Github: https://github.com/alibaba-damo-academy/FunASR
⭐️ Docs: https://alibaba-damo-academy.github.io/FunASR/en/index.html
⏩ Paper: https://arxiv.org/abs/2305.11013v1
📌 Dataset: https://paperswithcode.com/dataset/wenetspeech
ai_machinelearning_big_data
FunASR, an open-source speech recognition toolkit designed to bridge the gap between academic research and industrial applications
Фундаментальный набор инструментов для распознавания речи.
📌 Dataset: https://paperswithcode.com/dataset/wenetspeech
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤2🔥2
Segment Any Anomaly without Training via Hybrid Prompt Regularization
This project addresses zero-shot anomaly detection by combining SAM and Grouding DINO.
Цель этого проекта - сегментировать любую аномалию без какого-либо обучения. Это интересное демо работает, объединяя Grounding DINO и Segment Anything!
🖥 Github: https://github.com/caoyunkang/segment-any-anomaly
🖥 Colab: https://colab.research.google.com/drive/1Rwio_KfziuLp79Qh_ugum64Hjnq4ZwsE?usp=sharing
⏩ Paper: https://arxiv.org/abs/2305.11013v1
📌 Dataset: https://paperswithcode.com/dataset/visa
ai_machinelearning_big_data
This project addresses zero-shot anomaly detection by combining SAM and Grouding DINO.
Цель этого проекта - сегментировать любую аномалию без какого-либо обучения. Это интересное демо работает, объединяя Grounding DINO и Segment Anything!
📌 Dataset: https://paperswithcode.com/dataset/visa
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥2🥰1
Diff-Pruning: Structural Pruning for Diffusion Models
Structural Pruning for Diffusion Models.
Diff-Pruning - новый эффективный метод прунинга для диффузионных моделей.
🖥 Github: https://github.com/vainf/diff-pruning
⏩ Paper: https://arxiv.org/abs/2305.10924v1
📌 Dataset: https://paperswithcode.com/dataset/lsun
ai_machinelearning_big_data
Structural Pruning for Diffusion Models.
Diff-Pruning - новый эффективный метод прунинга для диффузионных моделей.
📌 Dataset: https://paperswithcode.com/dataset/lsun
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
DragGAN, anyone can deform an image with precise control over where pixels go, thus manipulating the pose, shape, expression, and layout of diverse categories such as animals, cars, humans, landscapes, etc.
DragGAN: Новый метод манипуляции сгенерированных изображений, который позволяет изменять позицию объектов, их размеры, выражения лиц, позы одим кликом.
📌 Project: https://vcai.mpi-inf.mpg.de/projects/DragGAN/
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤31🔥17👍12
🦙 LLM-Pruner: On the Structural Pruning of Large Language Models
Compress your LLMs to any size;
LLM-Pruner: модель прунинга для больших языковых моделей.
🖥 Github: https://github.com/horseee/llm-pruner
⏩ Paper: https://arxiv.org/abs/2305.11627v1
📌 Dataset: https://paperswithcode.com/dataset/piqa
ai_machinelearning_big_data
Compress your LLMs to any size;
LLM-Pruner: модель прунинга для больших языковых моделей.
📌 Dataset: https://paperswithcode.com/dataset/piqa
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥4❤3
This media is not supported in your browser
VIEW IN TELEGRAM
Mask-Free Video Instance Segmentation
MaskFreeVIS, achieving highly competitive VIS performance, while only using bounding box annotations for the object state.
Новый высокопроизводительный фреймворк для сегментации видео.
🖥 Github: https://github.com/SysCV/maskfreevis
⏩ Paper: https://arxiv.org/pdf/2303.15904.pdf
📌 Project: http://www.vis.xyz/pub/maskfreevis/
ai_machinelearning_big_data
MaskFreeVIS, achieving highly competitive VIS performance, while only using bounding box annotations for the object state.
Новый высокопроизводительный фреймворк для сегментации видео.
📌 Project: http://www.vis.xyz/pub/maskfreevis/
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍17🔥7❤1
📎 Instruction-tuning Stable Diffusion with InstructPix2Pix
InstructPix2Pix training strategy to follow more specific instructions related to tasks in image translation (such as cartoonization) and low-level image processing (such as image deraining).
В этом посте рассматривается настройка промптов для обучения Stable Diffusion. С помощью этого метода мы сможем легко настраивать Stable Diffusion на обработку изображений, используя входное изображение, в качестве промпта, например - Применить фильтр мультфильма к изображению.
🖥 Post: https://huggingface.co/blog/instruction-tuning-sd
⭐️ Training and inference code: https://github.com/huggingface/instruction-tuned-sd
📌 Demo: https://huggingface.co/spaces/instruction-tuning-sd/instruction-tuned-sd
⏩ InstructPix2Pix: https://huggingface.co/timbrooks/instruct-pix2pix
🔍Datasets and models from this post: https://huggingface.co/instruction-tuning-sd
ai_machinelearning_big_data
InstructPix2Pix training strategy to follow more specific instructions related to tasks in image translation (such as cartoonization) and low-level image processing (such as image deraining).
В этом посте рассматривается настройка промптов для обучения Stable Diffusion. С помощью этого метода мы сможем легко настраивать Stable Diffusion на обработку изображений, используя входное изображение, в качестве промпта, например - Применить фильтр мультфильма к изображению.
📌 Demo: https://huggingface.co/spaces/instruction-tuning-sd/instruction-tuned-sd
🔍Datasets and models from this post: https://huggingface.co/instruction-tuning-sd
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥3❤1
Media is too big
VIEW IN TELEGRAM
🆕 Yandex Cloud добавила новый режим работы в Yandex DataSphere — Dedicated
Yandex DataSphere — это сервис для полного цикла машинного обучения, в котором есть все необходимые инструменты для разработки и интеграции с другими облачными сервисами.
Что открывает выделенный режим Dedicated:
— возможность зарезервировать виртуальную машину в облаке под свой проект и работать с ней сколько нужно;
— ускорение работы моделей машинного обучения для задач по анализу данных.
Что ещё изменилось в Yandex DataSphere:
— режим Serverless остаётся, вы также можете его выбрать и оплачивать вычислительные мощности только во время реального обучения;
— появилась новая версия Jupyter Notebook, это популярный редактор кода для ML-разработки. Обновили интерфейс и добавили предустановленные расширения.
Все подробности можете узнать по ссылке, а обсудить в сообществе разработчиков и аналитиков Yandex DataSphere➡️
Yandex DataSphere — это сервис для полного цикла машинного обучения, в котором есть все необходимые инструменты для разработки и интеграции с другими облачными сервисами.
Что открывает выделенный режим Dedicated:
— возможность зарезервировать виртуальную машину в облаке под свой проект и работать с ней сколько нужно;
— ускорение работы моделей машинного обучения для задач по анализу данных.
Что ещё изменилось в Yandex DataSphere:
— режим Serverless остаётся, вы также можете его выбрать и оплачивать вычислительные мощности только во время реального обучения;
— появилась новая версия Jupyter Notebook, это популярный редактор кода для ML-разработки. Обновили интерфейс и добавили предустановленные расширения.
Все подробности можете узнать по ссылке, а обсудить в сообществе разработчиков и аналитиков Yandex DataSphere➡️
👎6🔥6🥱4❤2🤷♂1👍1🤔1