⏩ SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension

A benchmark for evaluating Multimodal LLMs using multiple-choice questions.

Система генерации вопросов с несколькими вариантами ответов, ориентированных на конкретные параметры оценки, включающая процессы автоматической фильтрации и ручной проверки.

🖥 Github: https://github.com/ailab-cvc/seed-bench

📕 Paper: https://arxiv.org/abs/2307.16125v1

☑️ Dataset: https://paperswithcode.com/dataset/seed-bench

ai_machinelearning_big_data

🔥 MetaGPT: Meta Programming for Multi-Agent Collaborative Framework

MetaGPT, an innovative framework that infuses effective human workflows as a meta programming approach into LLM-driven multi-agent collaboration.

MetaGPT - инновационный фреймворк, позволяющий назначать различные роли GPT для создания ит-продуктов и решения сложных задач. MetaGPT принимает на вход однострочное описание задачи и выдает пользовательские истории / конкурентный анализ / требования / структуры данных / API / документы и т.д.

🖥 Github: https://github.com/geekan/metagpt

📕 Paper: https://arxiv.org/abs/2308.00352v1

☑️ Roadmap: https://github.com/geekan/MetaGPT/blob/main/docs/ROADMAP.md

ai_machinelearning_big_data

🚀 Unified Model for Image, Video, Audio and Language Tasks

UnIVAL is a 0.25B-parameter unified model that is multitask pretrained on image and video-text data and target image, video and audio-text downstream tasks.

Унифицированная модель с для задач обработки изображений, видео, аудио и языка.

🖥 Github: https://github.com/mshukor/unival

📕 Paper: https://arxiv.org/abs/2307.16184

⭐️Project: https://unival-model.github.io/

☑️ Demo: https://huggingface.co/spaces/mshukor/UnIVAL

ai_machinelearning_big_data

⚡️ Improving Pixel-based MIM by Reducing Wasted Modeling Capability

A new method that explicitly utilizes low-level features from shallow layers to aid pixel reconstruction.

MMPreTrain - это набор инструментов для предварительного обучения с открытым исходным кодом, основанный на PyTorch. Он является частью проекта OpenMMLab.

🖥 Github: https://github.com/open-mmlab/mmpretrain

📕 Paper: https://arxiv.org/abs/2308.00261v1

⭐️Project: mmpretrain.readthedocs.io/en/latest/

☑️ Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data

✅ LISA: Reasoning Segmentation via Large Language Model

New segmentation task -- reasoning segmentation. The task is designed to output a segmentation mask given a complex and implicit query text.

LISA раскрывает новые возможности сегментации мультимодальных LLM и позволяет решать сложные задачи рассуждения на знание реального мира.

🖥 Github: https://github.com/dvlab-research/lisa

📕 Paper: https://arxiv.org/abs/2308.00692v2

☑️ Dataset: https://github.com/dvlab-research/lisa#dataset

ai_machinelearning_big_data

🧍‍♂ Reconstructing Three-Dimensional Models of Interacting Humans

Tools to process and visualize the IMAR Vision Datasets: CHI3D, FlickrCI3D, HumanSC3D, FlickrSC3D and Fit3D.

Наборы инструментов и датасетов для задач 3d реконструкций, сегментации и обнаружения людей.

🖥 Github: https://github.com/sminchisescu-research/imar_vision_datasets_tools

📕 Paper: https://arxiv.org/abs/2308.01854v1

⭐️ Project: https://ci3d.imar.ro/

☑️ Dataset: https://paperswithcode.com/dataset/chi3d

ai_machinelearning_big_data

🎲 Anti-Exploration by Random Network Distillation, Tinkoff Research, ICML 2023

We propose a new ensemble-free offline RL algorithm called SAC-RND. We evaluate our method on the D4RL (Fu et al., 2020) benchmark, and show that SAC-RND achieves performance comparable to ensemble-based methods while outperforming ensemble-free approaches.

Ученые из Tinkoff Research открыли новый Offline-RL алгоритм, который показывает SOTA-результаты, сравнимые с ансамблевыми моделями (в некоторых случаях даже лучше), и при этом требует до 20 раз меньше времени на обучение.


🖥 Github: https://github.com/tinkoff-ai/sac-rnd

🤓 Paper: https://proceedings.mlr.press/v202/nikulin23a.html

ai_machinelearning_big_data

🚀 AgentBench: Evaluating LLMs as Agents.

AgentBench, a multi-dimensional evolving benchmark that currently consists of 8 distinct environments to assess LLM-as-Agent's reasoning and decision-making abilities in a multi-turn open-ended generation setting.

Комплексный бенчмарк для оценки работы LLM агентов.

🖥 Github: https://github.com/thudm/agentbench

📕 Paper: https://arxiv.org/abs/2308.03688v1

☑️ Dataset: https://paperswithcode.com/dataset/alfworld

ai_machinelearning_big_data