💻 AutoCodeRover: Autonomous Program Improvement
AutoCodeRover — это полностью автоматизированный подход к решению проблем GitHub (исправление ошибок и добавление функций), в котором LLM сочетается с возможностями анализа и отладки для определения приоритетности местоположений исправлений, которые в конечном итоге приводят к созданию исправления.
AutoCodeRover решает ~ 16 % проблем SWE-bench (всего 2294 проблем GitHub) и ~ 22 % проблем SWE-bench lite (всего 300 проблем GitHub), улучшая текущую эффективность инженеров-программистов искусственного интеллекта.
▪️Github
▪️Paper
@Devsp — Подписаться
AutoCodeRover — это полностью автоматизированный подход к решению проблем GitHub (исправление ошибок и добавление функций), в котором LLM сочетается с возможностями анализа и отладки для определения приоритетности местоположений исправлений, которые в конечном итоге приводят к созданию исправления.
AutoCodeRover решает ~ 16 % проблем SWE-bench (всего 2294 проблем GitHub) и ~ 22 % проблем SWE-bench lite (всего 300 проблем GitHub), улучшая текущую эффективность инженеров-программистов искусственного интеллекта.
▪️Github
▪️Paper
@Devsp — Подписаться
Студенты из России выиграли ICPC
ICPC — самая престижная международная олимпиада по программированию в мире. Соревнования проходили в Египте, причем было проведено сразу два финала олимпиады — за 2022 и 2023 годы.
За 2023 год абсолютными чемпионами стала команда FFTilted. В ее составе — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. Ребята обошли команду из Пекинского университета, которая была чемпионом 2022 года.
Третье место в абсолютном зачете 2022 года заняла команда Undertrained+Overpressured. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Обе команды состоят из студентов факультета компьютерных наук ВШЭ, а команда, занявшая первое место – студенты программы Прикладной математики и информатики (ПМИ), созданной Яндексом в момент основания факультета. Всего в международной олимпиаде приняли участие студенты из 170 университетов и 50 стран мира.
Победа в ICPC — это очень круто. Знаем, что крупнейшие технологические компании активно хантят победителей соревнований. Респект от всего сообщества программистов.
Читать…
ICPC — самая престижная международная олимпиада по программированию в мире. Соревнования проходили в Египте, причем было проведено сразу два финала олимпиады — за 2022 и 2023 годы.
За 2023 год абсолютными чемпионами стала команда FFTilted. В ее составе — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. Ребята обошли команду из Пекинского университета, которая была чемпионом 2022 года.
Третье место в абсолютном зачете 2022 года заняла команда Undertrained+Overpressured. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Обе команды состоят из студентов факультета компьютерных наук ВШЭ, а команда, занявшая первое место – студенты программы Прикладной математики и информатики (ПМИ), созданной Яндексом в момент основания факультета. Всего в международной олимпиаде приняли участие студенты из 170 университетов и 50 стран мира.
Победа в ICPC — это очень круто. Знаем, что крупнейшие технологические компании активно хантят победителей соревнований. Респект от всего сообщества программистов.
Читать…
👑Introducing Meta Llama 3: The most capable openly available LLM to date
В этом выпуске представлены предварительно обученные и точно настроенные языковые модели с параметрами 8B и 70B, которые могут поддерживать широкий спектр вариантов использования.
Следующее поколение Llama демонстрирует современную производительность в широком диапазоне отраслевых тестов и предлагает новые возможности, включая улучшенное мышление.
Новые модели Llama 3 с параметрами 8B и 70B являются большим шагом вперед по сравнению с Llama 2 и устанавливают новый уровень развития моделей LLM в этих масштабах.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
@Devsp — Подписаться
В этом выпуске представлены предварительно обученные и точно настроенные языковые модели с параметрами 8B и 70B, которые могут поддерживать широкий спектр вариантов использования.
Следующее поколение Llama демонстрирует современную производительность в широком диапазоне отраслевых тестов и предлагает новые возможности, включая улучшенное мышление.
Новые модели Llama 3 с параметрами 8B и 70B являются большим шагом вперед по сравнению с Llama 2 и устанавливают новый уровень развития моделей LLM в этих масштабах.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
@Devsp — Подписаться
✨ HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
Эффективность подхода демонстрируется на показателях реализма после случайного переноса прически и реконструкции при переносе исходной прически.
▪️ Paper: https://arxiv.org/abs/2404.01094
▪️Code: https://github.com/AIRI-Institute/HairFastGAN
▪️Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@Devsp — Подписаться
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
Эффективность подхода демонстрируется на показателях реализма после случайного переноса прически и реконструкции при переносе исходной прически.
▪️ Paper: https://arxiv.org/abs/2404.01094
▪️Code: https://github.com/AIRI-Institute/HairFastGAN
▪️Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@Devsp — Подписаться
🦙 Файнтюниг Llama 3 с помощью ORPO.
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Эта модель использует контекстное окно размером 8 КБ.
Он был обучен с помощью шаблона ChatML.
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@Devsp — Подписаться
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Эта модель использует контекстное окно размером 8 КБ.
Он был обучен с помощью шаблона ChatML.
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@Devsp — Подписаться
🔥 Learning From Mistakes Makes LLM Better Reasoner
Модели больших языков (LLM) недавно продемонстрировали замечательные способности к рассуждению на решение математических задач.
Имитируя этот процесс обучения, основанный на ошибках, LEMA точно настраивает LLM на парах данных для исправления ошибок, сгенерированных GPT-4.
LLM и две задачи по математическому рассуждению, LEMA последовательно улучшает производительность по сравнению с точной настройкой только на основе данных CoT.
🖥 Github: https://github.com/microsoft/codet
📕Paper: https://arxiv.org/pdf/2310.20689v1.pdf
⏩Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
Модели больших языков (LLM) недавно продемонстрировали замечательные способности к рассуждению на решение математических задач.
Имитируя этот процесс обучения, основанный на ошибках, LEMA точно настраивает LLM на парах данных для исправления ошибок, сгенерированных GPT-4.
LLM и две задачи по математическому рассуждению, LEMA последовательно улучшает производительность по сравнению с точной настройкой только на основе данных CoT.
🖥 Github: https://github.com/microsoft/codet
📕Paper: https://arxiv.org/pdf/2310.20689v1.pdf
⏩Dataset: https://paperswithcode.com/dataset/math
@Devsp — Подписаться
🪄IC|TC: Image Clustering Conditioned on Text Criteria
Новая методология кластеризации изображений на основе заданных пользователем критериев в форме текста с использованием современных моделей визуального языка и больших языковых моделей.
В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.
Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации.
🖥 Github: https://github.com/sehyunkwon/ictc
📕Paper: https://arxiv.org/pdf/2310.18297v2.pdf
⏩Tasks: https://paperswithcode.com/task/clustering
@Devsp — Подписаться
Новая методология кластеризации изображений на основе заданных пользователем критериев в форме текста с использованием современных моделей визуального языка и больших языковых моделей.
В данной работе представлена новая методика кластеризации изображений на основе заданных пользователем текстовых описаний с использованием современных моделей "зрение-язык" и больших языковых моделей.
Метод Image Clustering Conditioned on Text Criteria (IC TC), представляет собой новую парадигму кластеризации изображений и требует минимального вмешательства человека и предоставляет пользователю полный контроль над результатами кластеризации.
🖥 Github: https://github.com/sehyunkwon/ictc
📕Paper: https://arxiv.org/pdf/2310.18297v2.pdf
⏩Tasks: https://paperswithcode.com/task/clustering
@Devsp — Подписаться
☑ PERF: Panoramic Neural Radiance Field from a Single Panorama
PERF - новая систему синтеза изображений на 360 градусов, которая обучает панорамное поле нейронного излучения из одной панорамы.
PERF позволяет перемещать 3D-изображения в сложной сцене без дорогостоящего и утомительного сбора изображений.
Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.
🖥 Github: https://github.com/perf-project/PeRF
⚡️Project: https://perf-project.github.io/
📕Paper: https://arxiv.org/abs/2310.16831v1
⏩Dataset: https://paperswithcode.com/dataset/replica
@Devsp — Подписаться
PERF - новая систему синтеза изображений на 360 градусов, которая обучает панорамное поле нейронного излучения из одной панорамы.
PERF позволяет перемещать 3D-изображения в сложной сцене без дорогостоящего и утомительного сбора изображений.
Модель подходит для задач преобразование панорамы в 3D, текста в 3D и стилизации 3D-сцен.
🖥 Github: https://github.com/perf-project/PeRF
⚡️Project: https://perf-project.github.io/
📕Paper: https://arxiv.org/abs/2310.16831v1
⏩Dataset: https://paperswithcode.com/dataset/replica
@Devsp — Подписаться
🔅 FreeNoise: Tuning-Free Longer Video Diffusion via Noise Rescheduling
LongerCrafter (FreeNoise) — это не требующая настройки и экономящая время парадигма для создания более длинных видео на основе предварительно обученных моделей распространения видео.
Обширные эксперименты показывают превосходство данного метода по сравнению с предыдущими для расширения генеративных возможностей диффузионных моделей видео.
🖥 Github: https://github.com/arthur-qiu/LongerCrafter
📕 Paper: https://arxiv.org/abs/2310.15169
⏩ Project: http://haonanqiu.com/projects/FreeNoise.html
@Devsp — Подписаться
LongerCrafter (FreeNoise) — это не требующая настройки и экономящая время парадигма для создания более длинных видео на основе предварительно обученных моделей распространения видео.
Обширные эксперименты показывают превосходство данного метода по сравнению с предыдущими для расширения генеративных возможностей диффузионных моделей видео.
🖥 Github: https://github.com/arthur-qiu/LongerCrafter
📕 Paper: https://arxiv.org/abs/2310.15169
⏩ Project: http://haonanqiu.com/projects/FreeNoise.html
@Devsp — Подписаться
Masked Space-Time Hash Encoding for Efficient Dynamic Scene Reconstruction
MSTH - новый метод эффективного восстановления динамических 3D-сцен из многопроекционных или монокулярных видео.
🖥Github: https://github.com/masked-spacetime-hashing/msth
🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus
📕Paper: https://arxiv.org/abs/2310.17527v1
⏩Dataset: https://paperswithcode.com/dataset/mip-nerf-360
@Devsp — Подписаться
MSTH - новый метод эффективного восстановления динамических 3D-сцен из многопроекционных или монокулярных видео.
🖥Github: https://github.com/masked-spacetime-hashing/msth
🤗 HH: https://huggingface.co/datasets/masked-spacetime-hashing/Campus
📕Paper: https://arxiv.org/abs/2310.17527v1
⏩Dataset: https://paperswithcode.com/dataset/mip-nerf-360
@Devsp — Подписаться
🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться
🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться
Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.
• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing
@Devsp — Подписаться
🕵️ Detecting Pretraining Data from Large Language Models
Min-K% Prob, простой и эффективный метод, который позволяет определить, была ли LLM предварительно обучена на заданном тексте, а также для обнаружения защищенного авторским правом текста.
Метод основан на простой гипотезе: невидимый пример имеет тенденцию содержать несколько слов-выбросов с низкой вероятностью, тогда как видимый пример с меньшей вероятностью будет содержать слова с такой низкой вероятностью.
Датасет WikiMIA служит бенчмарком, предназначенным для обнаружения данных предварительного обучения.
🖥Github: https://github.com/swj0419/detect-pretrain-code
📕Paper: https://arxiv.org/pdf/2310.16789.pdf
📘 WikiMIA Benchmark:
⏩Project: https://swj0419.github.io/detect-pretrain.github.io/
@Devsp — Подписаться
Min-K% Prob, простой и эффективный метод, который позволяет определить, была ли LLM предварительно обучена на заданном тексте, а также для обнаружения защищенного авторским правом текста.
Метод основан на простой гипотезе: невидимый пример имеет тенденцию содержать несколько слов-выбросов с низкой вероятностью, тогда как видимый пример с меньшей вероятностью будет содержать слова с такой низкой вероятностью.
Датасет WikiMIA служит бенчмарком, предназначенным для обнаружения данных предварительного обучения.
🖥Github: https://github.com/swj0419/detect-pretrain-code
📕Paper: https://arxiv.org/pdf/2310.16789.pdf
📘 WikiMIA Benchmark:
⏩Project: https://swj0419.github.io/detect-pretrain.github.io/
@Devsp — Подписаться
🔇Efficient Large-Scale Audio Tagging
Трансформеры доминируют в области по работе с адуио и заменили CNN в качестве современной нейросетевой архитектуры.
Трансформеры отлично справляются с огромными аудио датасетами и подходят для создания мощных предварительно обученных моделей.
В данной модели используются динамические CNN, которые достигают лучшей производительности на задачах разметки аудио данных и хорошо масштабируются, достигая производительности трансформеров и даже превосходя их.
🖥Github: https://github.com/fschmid56/efficientat
📕Paper: https://arxiv.org/abs/2310.15648v1
⏩Demo: https://21527a47f03813481c.gradio.live/
@Devsp — Подписаться
Трансформеры доминируют в области по работе с адуио и заменили CNN в качестве современной нейросетевой архитектуры.
Трансформеры отлично справляются с огромными аудио датасетами и подходят для создания мощных предварительно обученных моделей.
В данной модели используются динамические CNN, которые достигают лучшей производительности на задачах разметки аудио данных и хорошо масштабируются, достигая производительности трансформеров и даже превосходя их.
🖥Github: https://github.com/fschmid56/efficientat
📕Paper: https://arxiv.org/abs/2310.15648v1
⏩Demo: https://21527a47f03813481c.gradio.live/
@Devsp — Подписаться
🗣 OpenVoice V2 - a Text-to-Speech model that can clone any voice and speak in any language
OpenVoice V2 - новая версия открытой модели преобразования текста в речь, которая позволяет клонировать любой голос и генерировать речь на различных языках.
• Github: https://github.com/myshell-ai/OpenVoice/tree/main
• Usage: https://github.com/myshell-ai/OpenVoice/blob/main/docs/USAGE.md
@Devsp — Подписаться
OpenVoice V2 - новая версия открытой модели преобразования текста в речь, которая позволяет клонировать любой голос и генерировать речь на различных языках.
• Github: https://github.com/myshell-ai/OpenVoice/tree/main
• Usage: https://github.com/myshell-ai/OpenVoice/blob/main/docs/USAGE.md
@Devsp — Подписаться
🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent
Сквозной дифференцируемый метод, который определяет точные позы камеры, внутренние характеристики камеры и покадровую плотную глубину видеопоследовательности.
Этот метод не только намного превосходит предшествующие методы корректировки пакетов на основе градиентного спуска, но и удивительно работает наравне с COLMAP, современным методом SfM, в последующей задаче синтеза новых представлений на 360 градусов.
• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY
@Devsp — Подписаться
Сквозной дифференцируемый метод, который определяет точные позы камеры, внутренние характеристики камеры и покадровую плотную глубину видеопоследовательности.
Этот метод не только намного превосходит предшествующие методы корректировки пакетов на основе градиентного спуска, но и удивительно работает наравне с COLMAP, современным методом SfM, в последующей задаче синтеза новых представлений на 360 градусов.
• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY
@Devsp — Подписаться
⚡️ UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition
UniMERNet значительно превосходит основные модели в распознавании реальных математических выражений, демонстрируя превосходную производительность для простых печатных выражений (SPE), сложных печатных выражений (CPE), выражений, снятых с экрана (SCE) и рукописных выражений (HWE), о чем свидетельствуют сравнительная оценка BLEU Score.
• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet
@Devsp — Подписаться
UniMERNet значительно превосходит основные модели в распознавании реальных математических выражений, демонстрируя превосходную производительность для простых печатных выражений (SPE), сложных печатных выражений (CPE), выражений, снятых с экрана (SCE) и рукописных выражений (HWE), о чем свидетельствуют сравнительная оценка BLEU Score.
• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet
@Devsp — Подписаться
🔎 Moving Object Segmentation:All You Need Is SAM (and Flow)
FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов.
▪️ Project page: https://www.robots.ox.ac.uk/~vgg/research/flowsam/
▪️ Code: https://github.com/Jyxarthur/flowsam
▪️Paper: https://arxiv.org/abs/2404.12389
▪️ Data: https://drive.google.com/drive/folders/1tmDq_vG_BvY5po40Ux5OBds1avUM_CbR
@Devsp — Подписаться
FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов.
▪️ Project page: https://www.robots.ox.ac.uk/~vgg/research/flowsam/
▪️ Code: https://github.com/Jyxarthur/flowsam
▪️Paper: https://arxiv.org/abs/2404.12389
▪️ Data: https://drive.google.com/drive/folders/1tmDq_vG_BvY5po40Ux5OBds1avUM_CbR
@Devsp — Подписаться
🔎 Moving Object Segmentation:All You Need Is SAM (and Flow)
FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов.
▪️ Project page: https://www.robots.ox.ac.uk/~vgg/research/flowsam/
▪️ Code: https://github.com/Jyxarthur/flowsam
▪️Paper: https://arxiv.org/abs/2404.12389
▪️ Data: https://drive.google.com/drive/folders/1tmDq_vG_BvY5po40Ux5OBds1avUM_CbR
@Devsp — Подписаться
FlowSAM - новый инструмент для обнаружения и сегментации движущихся объектов на видео, который значительно превосходит все предыдущие модели, как для одного объекта, так и для множества объектов.
▪️ Project page: https://www.robots.ox.ac.uk/~vgg/research/flowsam/
▪️ Code: https://github.com/Jyxarthur/flowsam
▪️Paper: https://arxiv.org/abs/2404.12389
▪️ Data: https://drive.google.com/drive/folders/1tmDq_vG_BvY5po40Ux5OBds1avUM_CbR
@Devsp — Подписаться
➕OpenBioLLM-Llama3-70B и 8B: Open-source Large Language Models in Medical Domain
OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms.
Они превосходят таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины.
- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard
@Devsp — Подписаться
OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms.
Они превосходят таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины.
- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard
@Devsp — Подписаться