📌 LOMO: LOw-Memory Optimization
New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090, each with 24GB memory.
Новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметров в один шаг для уменьшения использования памяти. Интегрируя LOMO с существующими методами экономии памяти, можно сократить использование памяти до 10,8% по сравнению со стандартным подходом (решение DeepSpeed).
🖥 Github: https://github.com/OpenLMLab/LOMO/tree/main
📕 Paper: https://arxiv.org/pdf/2306.09782.pdf
🔗 Dataset: https://paperswithcode.com/dataset/superglue
ai_machinelearning_big_data
New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090, each with 24GB memory.
Новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметров в один шаг для уменьшения использования памяти. Интегрируя LOMO с существующими методами экономии памяти, можно сократить использование памяти до 10,8% по сравнению со стандартным подходом (решение DeepSpeed).
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥5❤4🗿2
Jumanji: a Diverse Suite of Scalable Reinforcement Learning Environments in JAX
Jumanji is helping pioneer a new wave of hardware-accelerated research and development in the field of RL.
Jumanji, набор моделей для задач RL, специально разработанных для быстрых, гибких и масштабируемого решения. Jumanji предоставляет набор моделей, ориентированных на комбинаторные проблемы, часто встречающиеся в промышленности, а также на сложные общие задачи принятия решений.
🖥 Github: https://github.com/instadeepai/jumanji
📕 Paper: https://arxiv.org/abs/2306.09884v1
🔗 Dataset: https://paperswithcode.com/dataset/mujoco
ai_machinelearning_big_data
Jumanji is helping pioneer a new wave of hardware-accelerated research and development in the field of RL.
Jumanji, набор моделей для задач RL, специально разработанных для быстрых, гибких и масштабируемого решения. Jumanji предоставляет набор моделей, ориентированных на комбинаторные проблемы, часто встречающиеся в промышленности, а также на сложные общие задачи принятия решений.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍15🔥2❤1
REBEL: Relation Extraction By End-to-end Language generation
REBEL is a seq2seq model that simplifies Relation Extraction.
Модель, позволяющая извлекать триплеты из данных с аннотированной бд, охватывающуей 18 языков 40 миллионов экземпляров триплетов.
🖥 Github: https://github.com/Babelscape/rebel
⭐️ Demo: https://huggingface.co/spaces/Babelscape/rebel-demo
⭐️ Hugging face: https://huggingface.co/Babelscape/rebel-large
📕 Paper: https://arxiv.org/abs/2306.09802v1
🔗 Dataset: https://huggingface.co/Babelscape/rebel-large
ai_machinelearning_big_data
REBEL is a seq2seq model that simplifies Relation Extraction.
Модель, позволяющая извлекать триплеты из данных с аннотированной бд, охватывающуей 18 языков 40 миллионов экземпляров триплетов.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤3🔥3
Multi-Modality Arena
Multi-Modality Arena is an evaluation platform for large multi-modality models.
Multi-Modality Arena - это платформа для оценки больших мультимодальных моделей. Multi-Modality Arena позволяет проводить сравнительный анализ моделей, данных, используя изображения в качестве входных данных. Поддерживает MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 и многие другие!
🖥 Github: https://github.com/opengvlab/multi-modality-arena
⭐️ Demo: http://vlarena.opengvlab.com/
📕 Paper: https://arxiv.org/abs/2306.09265v1
🔗 Dataset: https://paperswithcode.com/dataset/vsr
ai_machinelearning_big_data
Multi-Modality Arena is an evaluation platform for large multi-modality models.
Multi-Modality Arena - это платформа для оценки больших мультимодальных моделей. Multi-Modality Arena позволяет проводить сравнительный анализ моделей, данных, используя изображения в качестве входных данных. Поддерживает MiniGPT-4, LLaMA-Adapter V2, LLaVA, BLIP-2 и многие другие!
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥3
Fine-tuning MMS Adapter Models for Multi-Lingual ASR
MMS' Adapter training is both more memory efficient, more robust and yields better performance for low-resource languages.
Пример с кодом по настройке адаптера, при котором достигается поразительно низкий уровень ошибок в словах всего за 10-20 минут файнтюнинга.
Обучение адаптера MMS является более экономичным, более надежным и обеспечивает высокую производительность.
🤗 Post: https://huggingface.co/blog/mms_adapters
🖥 Colab: https://colab.research.google.com/github/patrickvonplaten/notebooks/blob/master/Fine_Tune_MMS_on_Common_Voice.ipynb
🖥 Github: https://github.com/facebookresearch/fairseq/tree/main/examples/mms/asr
⭐️ Demo: https://huggingface.co/spaces/facebook/MMS
📕 Paper: https://huggingface.co/papers/2305.13516
ai_machinelearning_big_data
MMS' Adapter training is both more memory efficient, more robust and yields better performance for low-resource languages.
Пример с кодом по настройке адаптера, при котором достигается поразительно низкий уровень ошибок в словах всего за 10-20 минут файнтюнинга.
Обучение адаптера MMS является более экономичным, более надежным и обеспечивает высокую производительность.
🤗 Post: https://huggingface.co/blog/mms_adapters
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤3🔥2
Какую альтернативу Vendor-Lock использовать для клиентской аналитики?
Это один из главных вопросов, которые встали перед командой X5 Tech в 2022 году.
О том, как IT-компания, которая обеспечивает цифровые нужды ритейлера, нашла и быстро внедрила новое решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis, команда расскажет на митапе 27 июня.
🔹 В онлайн формате выступят спикеры компании:
Ермаченков Владимир, менеджер направления клиентской аналитики в цифровых каналах
Бассай Сергей, архитектор данных
Гундилович Александр, старший разработчик
🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное
Это один из главных вопросов, которые встали перед командой X5 Tech в 2022 году.
О том, как IT-компания, которая обеспечивает цифровые нужды ритейлера, нашла и быстро внедрила новое решение для предоставления клиентской аналитики в режиме реального времени на базе open-source технологий Clickhouse и Redis, команда расскажет на митапе 27 июня.
🔹 В онлайн формате выступят спикеры компании:
Ермаченков Владимир, менеджер направления клиентской аналитики в цифровых каналах
Бассай Сергей, архитектор данных
Гундилович Александр, старший разработчик
🔔 Старт в 18:00
Регистрация и подробности тут
Участие бесплатное
❤2👍2👏1
Fast Segment Anything Model reaches comparable performance with the SAM method at 50 times higher run-time speed.
Fast Segment Anything Model (FastSAM) - это модель CNN Segment Anything Model, обученная всего на 2% набора данных SA-1B, опубликованного авторами SAM. FastSAM достигает сравнимой с методом SAM производительности при 50-кратном увеличении скорости выполнения.
git clone https://github.com/CASIA-IVA-Lab/FastSAM.gitai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13👍10🔥7
Extensible and lightweight toolkit, LMFlow, which aims to simplify the finetuning and inference of general large foundation models.
Расширяемый, удобный и эффективный инструментарий для тонкой настройки больших моделей машинного обучения, разработанный как удобный, быстрый, надежный инструент для работы с большими моделями.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9❤7🔥3
🦾 Rofunc: The Full Process Python Package for Robot Learning from Demonstration and Robot Manipulation
A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.
Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.
🖥 Github: https://github.com/skylark0924/rofunc
📕 Paper: https://arxiv.org/abs/2306.12677v1
🔗 Dataset: https://paperswithcode.com/dataset/plasticinelab
ai_machinelearning_big_data
A pre-trained soft object manipulation skill learning model, namely SoftGPT, that is trained using large amounts of exploration data, consisting of a three-dimensional heterogeneous graph representation and a GPT-based dynamics model.
Полный набор инструментов Python для обучения роботов на основе имитационного обучения и обучения роботов путем демонстрации.
pip install rofuncimport rofunc as rf
import numpy as np
from isaacgym import gymutil
from importlib_resources import files
# Demo
raw_demo_l = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_l.npy'))
raw_demo_r = np.load(files('rofunc.data.RAW_DEMO').joinpath('taichi_raw_r.npy'))
demos_x_l = [raw_demo_l[300:435, :], raw_demo_l[435:570, :], raw_demo_l[570:705, :]]
demos_x_r = [raw_demo_r[300:435, :], raw_demo_r[435:570, :], raw_demo_r[570:705, :]]
rf.lqt.plot_3d_bi(demos_x_l, demos_x_r, ori=False, save=False)
# TP-GMM
show_demo_idx = 1
_, _, gmm_rep_l, gmm_rep_r = rf.tpgmm.bi(demos_x_l, demos_x_r, show_demo_idx=show_demo_idx, plot=True)
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥2🥰1💯1🙊1
🔥 Awesome-Multimodal-Large-Language-Models
Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.
Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.
🖥 Github: https://github.com/bradyfu/awesome-multimodal-large-language-models
📕 Paper: https://arxiv.org/abs/2306.13394v1
🔗 Dataset: https://paperswithcode.com/dataset/coco
ai_machinelearning_big_data
Latest Papers and Datasets on Multimodal Large Language Models, and Their Evaluation.
Огромный, упорядоченный список новейших статей, датасетов и кода по мультимодальным большим языковым моделям.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16🔥5❤1
⚡ LightGlue. Local Feature Matching at Light Speed
LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference.
LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях.
🖥 Github: https://github.com/cvg/lightglue
📕 Paper: https://arxiv.org/abs/2306.13643v1
🔗 Dataset: https://paperswithcode.com/dataset/hpatches
ai_machinelearning_big_data
LightGlue a lightweight feature matcher with high accuracy and adaptive pruning techniques, both in the width and depth of the network, for blazing fast inference.
LightGlue, глубокая нейронная сеть, которая учится сопоставлять локальные фичи на изображениях.
git clone https://github.com/cvg/LightGlue.git && cd LightGlue
python -m pip install -e .ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥5👍3
Зачем Data-инженеру Spark
В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark.
Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки.
Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др.
Хабр: https://habr.com/ru/companies/vk/articles/742084/
ai_machinelearning_big_data
В Почте Mail.ru работают со стеком Hadoop, Hive, Clickhouse, Spark. В данной статье на Хабре Data-инженер из команды Почты Mail.Ru остановился на некоторых аспектах работы с данными в Spark.
Он ответил на следующие вопросы: как превратить 7 петабайт в 0,5 петабайт, что позволило сэкономить годовой бюджет по закупке серверов и построить своё классное хранилище без последующей переделки.
Также в статье: архитектурные паттерны в хранилище Почты, эффективное хранилище данных, форматы хранения данных, параллельная обработка данных в Spark, запись колоночных файлов, запросы к данным в Spark и др.
Хабр: https://habr.com/ru/companies/vk/articles/742084/
ai_machinelearning_big_data
👍7🔥2❤1
🚶♂️ MotionGPT: Human Motion
as Foreign Language
MotionGPT consists of a motion tokenizer responsible for converting raw motion data into discrete motion tokens, as well as a motion-aware language model that learns to understand the motion tokens from large language pre-training models by corresponding textual denoscriptions.
MotionGPT, унифицированная, универсальная и удобная модель языка движения для решения множества задач, связанных с движением.
⏩ Project: https://motion-gpt.github.io/
🖥 Github: https://github.com/openmotionlab/motiongpt
📕 Paper: https://arxiv.org/pdf/2306.14795.pdf
🔗 Dataset: https://paperswithcode.com/dataset/amass
ai_machinelearning_big_data
as Foreign Language
MotionGPT consists of a motion tokenizer responsible for converting raw motion data into discrete motion tokens, as well as a motion-aware language model that learns to understand the motion tokens from large language pre-training models by corresponding textual denoscriptions.
MotionGPT, унифицированная, универсальная и удобная модель языка движения для решения множества задач, связанных с движением.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍5❤1🤯1
Крутые бесплатные курсы по большим языковым моделям.
▪Generative AI with Large Language Models
▪ChatGPT Prompt Engineering for Developers
▪LangChain for LLM Application Development
▪Building Systems with the ChatGPT API
▪Google Cloud Generative AI Learning Path
▪Introduction to Large Language Models with Google Cloud
▪LLM University
▪Full Stack LLM Bootcamp
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥6❤2
💬 3D-Speaker: A Large-Scale Multi-Device, Multi-Distance, and Multi-Dialect Corpus for Speech Representation Disentanglement
A large-scale speech corpus to facilitate the research of speech representation disentanglement.
3D-Speaker - это набор инструментов с открытым исходным кодом и крупномасштабный корпус речи, для мультимодальной проверки дикторов, распознавания дикторов и разделение дикторов.
3D-Speaker содержит более 10 000 дикторов, каждый из которых одновременно записывается несколькими устройствами, расположенными на разных расстояниях, а некоторые дикторы говорят на нескольких диалектах.
🖥 Github: https://github.com/alibaba-damo-academy/3D-Speaker
📕 Paper: https://arxiv.org/abs/2306.15354v1
🔗 Dataset: https://3dspeaker.github.io/
ai_machinelearning_big_data
A large-scale speech corpus to facilitate the research of speech representation disentanglement.
3D-Speaker - это набор инструментов с открытым исходным кодом и крупномасштабный корпус речи, для мультимодальной проверки дикторов, распознавания дикторов и разделение дикторов.
3D-Speaker содержит более 10 000 дикторов, каждый из которых одновременно записывается несколькими устройствами, расположенными на разных расстояниях, а некоторые дикторы говорят на нескольких диалектах.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5❤3👍2
AI writing assistant for recreational linguists, poets, creative writers, and/or researchers to use and study the ability of large-scale language models.
Это как Photoshop, но для создания текстового контента!
Продвинутый ИИ-помощник по написанию текстов и генерированию текста.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6🔥5❤4❤🔥1
📚 5 Free Books on Natural Language Processing to Read in 2023
5 великолепных бесплатных книг по NLP, актуальных в 2023 году.
1. Speech and Language Processing
Authors: Dan Jurafsky and James H. Martin
Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир НЛП. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры.
2. Foundations of Statistical Natural Language Processing
Authors: Christopher D. Manning and Hinrich Schütze
Эта книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, неодходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие.
3. Pattern Recognition and Machine Learning
Author: Christopher M. Bishop
Это детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию.
4. Neural Network Methods in Natural Language Processing
Author: Yoav Goldberg
Книга начинается с изучения основ, таких как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд. Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами.
5. Practical Natural Language Processing
В этой книге рассказывается о том, как НЛП используется в реальном мире, о конвейере моделей НЛП, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT. В этой книге вы узнаете, как НЛП может быть использовано в различных отраслях, таких как розничная торговля, здравоохранение, финансы и др.Вы сможете узнать, как работает конвейер НЛП в каждой из областей, и понять, как использовать его в работе.
ai_machinelearning_big_data
5 великолепных бесплатных книг по NLP, актуальных в 2023 году.
1. Speech and Language Processing
Authors: Dan Jurafsky and James H. Martin
Книга, написанная двумя профессорами Стэнфордского университета, по обработке речи и языка содержит исчерпывающее введение в мир НЛП. Она разбита на 3 раздела: Фундаментальные алгоритмы для НЛП, Приложения НЛП и Аннотирование лингвистической структуры.
2. Foundations of Statistical Natural Language Processing
Authors: Christopher D. Manning and Hinrich Schütze
Эта книга начинает с основ НЛП и постепенно погружает вас в математические аспекты, неодходимые для обработки естественного языка, такие как вероятностные пространства, теорема Байеса, дисперсия и многие другие.
3. Pattern Recognition and Machine Learning
Author: Christopher M. Bishop
Это детальное введение в область распознавания образов и машинного обучения.В конце каждой главы есть упражнение, подобранное таким образом, чтобы лучше объяснить читателю каждую концепцию.
4. Neural Network Methods in Natural Language Processing
Author: Yoav Goldberg
Книга начинается с изучения основ, таких как линейные модели, перцептроны, feed-forward, обучение нейронных сетей и тд. Автор использовал математический подход для объяснения этих фундаментальных элементов вместе с практическими примерами.
5. Practical Natural Language Processing
В этой книге рассказывается о том, как НЛП используется в реальном мире, о конвейере моделей НЛП, а также о текстовых данных и примерах использования, таких как чат-боты типа ChatGPT. В этой книге вы узнаете, как НЛП может быть использовано в различных отраслях, таких как розничная торговля, здравоохранение, финансы и др.Вы сможете узнать, как работает конвейер НЛП в каждой из областей, и понять, как использовать его в работе.
ai_machinelearning_big_data
👍20❤6🔥4
А с собакой в офис можно?
Ответ: да, если вы работаете в СберМаркете
Ребята создали комфортное pet-friendly пространство. В московском офисе компании домашние любимцы не мешают работе, а, наоборот, помогают сотрудникам улучшить настроение и за счёт этого повысить продуктивность. И как же приятно в обеденный перерыв не просто сходить за кофе, а выйти на полноценную прогулку со своим питомцем!
А чтобы не забывать о любимых хвостиках даже в рабочих чатах, ребята сделали с ними стикеры. Ну разве не прелесть!
Хотите тоже работать в СберМаркете, водить своего пёсика в офис и вместе с командой профессионалов определять будущее доставки из магазинов и ресторанов? Ищите вакансии на сайте
Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 12+
Ответ: да, если вы работаете в СберМаркете
Ребята создали комфортное pet-friendly пространство. В московском офисе компании домашние любимцы не мешают работе, а, наоборот, помогают сотрудникам улучшить настроение и за счёт этого повысить продуктивность. И как же приятно в обеденный перерыв не просто сходить за кофе, а выйти на полноценную прогулку со своим питомцем!
А чтобы не забывать о любимых хвостиках даже в рабочих чатах, ребята сделали с ними стикеры. Ну разве не прелесть!
Хотите тоже работать в СберМаркете, водить своего пёсика в офис и вместе с командой профессионалов определять будущее доставки из магазинов и ресторанов? Ищите вакансии на сайте
Реклама. ООО «Инстамарт Сервис», 115035, Москва, ОГРН 1187746494980. 12+
🔥11🙉6💊4❤3😁1🕊1