​​🖥 Самые интересные публикации за последние дни:

• NLP, Catboost и тематическое моделирование: создаем модель для прогнозирования цен с использованием новостей

• Погружение в xLSTM – обновленную LSTM, которая может оказаться заменой трансформера

• MusicGPT — приложение для локального запуска моделей, генерирующих музыку

​​⚡️ DeepSeek-Coder-V2: Первая модель с открытым исходным кодом, превосходящая GPT4-Turbo в кодинге и математике

DeepSeek-Coder-V2, модель языка кода Mixture-of-Experts (MoE) с открытым исходным кодом, которая обеспечивает производительность, сравнимую с GPT4-Turbo, в задачах, специфичных для кода.

В частности, DeepSeek-Coder-V2 дополнительно проходит предварительное обучение на промежуточной контрольной точке DeepSeek-V2 с дополнительными 6 триллионами токенов.

▪HF: https://huggingface.co/deepseek-ai/DeepSeek-Coder-V2-Instruct
▪Github: https://github.com/deepseek-ai/DeepSeek-Coder-V2/blob/main/paper.pdf
▪Попробовать: https://chat.deepseek.com/sign_in?from=coder

@Devsp — Подписаться

​​🎙️StreamSpeech: Мощная модель синхронного перевода речи.

StreamSpeech - это бесшовная модель “Все в одном” для автономного и синхронного распознавания речи, перевода речи и синтеза речи.

▪page: https://ictnlp.github.io/StreamSpeech-site/
▪paper: https://arxiv.org/abs/2406.03049
▪code: https://github.com/ictnlp/streamspeech

@Devsp — Подписаться

​​🌟Open Interpreter — полное управление компьютером при помощи запросов на естественном языке

Open Interpreter предоставляет интерфейс естественного языка для управления компьютером.

Можно общаться с Open Interpreter через ChatGPT-подобный интерфейс прямо в терминале.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​😵Он победил LLM RAG: реализуем BM25+ с самых азов

В этой статье мы начнем с самого простого поиска, перейдем к TF-IDF, а затем выведем из него BM25+.

Читать...

​​🌟Modded-NanoGPT — позволяет добиться качества GPT-2 (124M) при обучении всего на 5B лексем

Modded-NanoGPT позволяет:
— обучать в 2 раза эффективнее (требуется всего 5B лексем вместо 10B для достижения той же точности)
— имеет более простой код (446 строк вместо 858)

🖥GitHub

@Devsp — Подписаться

​​😎 Hermes-2-Theta-Llama-3-70B — комбо на основе Hermes 2 Pro и Llama-3 Instruct

Hermes-2 Θ (Theta) 70B — это экспериментальная модель, созданная компанией Nous Research в сотрудничестве с Arcee AI (командой, создавшей MergeKit) на основе Hermes 2 Pro и Llama-3 Instruct.

🤗 Hugging Face

@Devsp — Подписаться

​​🌟ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео

ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео.

🟡Страничка ExVideo
🖥GitHub
🟡Hugging Face
🟡Arxiv

@Devsp — Подписаться

​​🖥 Самые интересные публикации за последние дни:

• StreamSpeech: Мощная модель синхронного перевода речи

• Open Interpreter — полное управление компьютером при помощи запросов на естественном языке

• Он победил LLM RAG: реализуем BM25+ с самых азов

Работаете в области проектирования ПО и хотите ускорить свой профессиональный рост? Выйти на новый уровень будет гораздо проще с онлайн-магистратурой Яндекса и ИТМО «ПО высоконагруженных систем». Поступив на программу, вы с первого семестра погрузитесь в работу над реальными задачами из индустрии. Собирая ценные кейсы в портфолио, вы прокачаете навыки проектирования сложных систем и управления крупными проектами. Всё это — онлайн, из любой точки мира!

Программа подходит как выпускникам профильных вузов и стажёрам, так и специалистам с опытом. Первым можно будет пройти двухлетний стандартный трек, а вторым — ускоренный, изучая интересующие дисциплины на протяжении года.

Подайте заявку на магистратуру и выйдите на новый уровень в IT!

​​⭐️MorpheuS — реконструкция поверхности с обзором 360° по монокулярному RGB-D видео

MorpheuS — это метод, который может воссоздать 360° поверхности из случайно снятого RGB-D видео.

Ненаблюдаемые области пространства достраиваются с помощью диффузионной модели.

🟡Страничка MorpheuS
🟡Arxiv
🖥GitHub

@Devsp — Подписаться

​​🌟EvTexture — новый метод апскейлинга видео

В методе EvTexture используется отдельный итеративный модуль улучшения текстуры, который позволяет получать информацию о событиях с высоким временным разрешением.
Этот модуль позволяет постепенно в несколько итераций уточнять текстуру заданных областей и повышать их разрешение.

🟡Страничка EvTexture
🖥GitHub
🟡Arxiv

@Devsp — Подписаться

​​🌟SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео

SEE-2-SOUND — новая разработка университета Торонто, передовой метод генерации пространственного звука из изображений, анимации и видео.

Модель состоит из трех основных компонентов: оценка источника звука, генерация звука и пространственная генерация объемного звука.

🟡Страничка SEE-2-SOUND
🖥GitHub
🟡Hugging Face
🟡Arxiv

@Devsp — Подписаться

​​👁‍🗨 LongVA: Long Context Transfer from Language to Vision

LongVA может обрабатывать 2000 кадров или более 200 тысяч визуальных токенов.

Он обеспечивает самые современные характеристики видео-MME среди моделей 7B.

▪Github: https://github.com/EvolvingLMMs-Lab/LongVA
▪Paper: https://arxiv.org/abs/2406.16852
▪Project: https://lmms-lab.github.io/posts/longva/
▪Demo: https://longva-demo.lmms-lab.com/

@Devsp — Подписаться

​​🌟MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией

MG-LLaVA, инновационная MLLM, которая расширяет возможности визуальной обработки модели за счет включения многоуровневого потока визуализации, который включает в себя функции низкого разрешения, высокого разрешения и объектно-ориентированные функции.

Обучаясь исключительно на общедоступных мультимодальных данных посредством настройки инструкций, MG-LLaVA демонстрирует исключительные навыки восприятия.

🟡Страничка MG-LLaVA
🖥GitHub

@Devsp — Подписаться

​​🖥 Самые интересные публикации за последние дни:

• EvTexture — новый метод апскейлинга видео

• SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео

• MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией

​​🌟 Простой способ переводить экраны приложений на русский по одному двойному тапу
 
В этой статье вы узнаете, как настроить перевод экрана любых приложений с незнакомых языков на русский на айфоне.
 
Читать…

@Devsp — Подписаться

​​👏Text-Animator — метод генерации видео с текстом в кадрах

С текстом у генеративных моделей до недавнего времени были большие проблемы, как и с пальцами.

Сейчас уже ситуация улучшилась, но только для моделей, создающих изображения.

Text-Animator содержит модуль внедрения текста для точного отображения структур визуального текста в сгенерированных видео.

🟡Страничка Text-Animator
🟡Arxiv

@Devsp — Подписаться

​​🌟Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи

Cambrian-1, семейство мультимодальных LLM (MLLM), разработанных с использованием подхода, ориентированного на зрение.

🟡Страничка Cambrian-1
🖥GitHub
🤗 Hugging Face

@Devsp — Подписаться

​​🐍 Scikit-LLM — библиотека Python, призванная упростить разработку сложных и готовых к продакшену конвейеров NLP

Scikit-LLM может взаимодействовать с различными провайдерами LLM, независимо от того, работают ли они локально (например, GPT4All) или в облаке (включая Azure, OpenAI и Vertex AI).

Scikit-LLM поддерживает широкий спектр задач анализа текста, включая классификацию, анализ эмоциональной составляющей и т.д.

🖥GitHub
🟡Доки

@Devsp — Подписаться

​​💫«Midjourney на коленке, но теперь с S3». Как хранить генерации с промптами в объектном хранилище

В этой статье автор расскажет как использовать S3 для хранения и управления большими объемами данных, а также настроить его с виртуальной машиной для анализа данных (DAVM).

Читать...