📌 SNARE (a multimodal alignment probing benchmark)

Scale multimodal alignment probing benchmark, to detect the vital linguistic components, e.g., lexical, semantic, and syntax knowledge,

Новый крупномасштабный мультимодальный бенчмарк, позволяющий обнаружить важные лингвистические компоненты в предварительно обученных моделях "vision-language ".

🖥 Github: https://github.com/wangfei-2019/snare

📕 Paper: https://arxiv.org/abs/2308.12898v2

⭐️ Dataset: https://paperswithcode.com/dataset/aro

ai_machinelearning_big_data

🧑 FaceChain

Deep-learning toolchain for generating your Digital-Twin.

FaceChain — это набор инструментов машинного обучения для создания собственного цифрового двойника.

Всего из одной портретной фотографию, вы можете создать своего собственного цифрового двойника и начать генерировать персональные портреты с различными настройками.

🖥 Github: https://github.com/modelscope/facechain

📕 Paper: https://arxiv.org/abs/2308.14256v1

🖥 Colab: https://colab.research.google.com/drive/1cUhnVXseqD2EJiotZk3k7GsfQK9_yJu_?usp=sharing

⭐️ Dataset: https://paperswithcode.com/dataset/fairface

ai_machinelearning_big_data

📖 LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding

LongBench includes 14 English tasks, 5 Chinese tasks, and 2 code tasks, with the average length of most tasks ranging from 5k to 15k, and a total of 4,750 test data.

LongBench - первый двуязычный, бенчмарк понимания длинных контекстов, позволяющий проводить тщательную оценку контекстов.
LongBench включает 21 датасет по 6 категориям задач на английском и китайском языках.

🖥 Github: https://github.com/thudm/longbench

📕 Paper: https://arxiv.org/abs/2308.14710v1

🤗 HF: https://huggingface.co/datasets/THUDM/LongBench

⭐️ Dataset: https://paperswithcode.com/dataset/youtube-vis-2021-validation

ai_machinelearning_big_data

🖥 When Do Program-of-Thoughts Work for Reasoning?

An Easy-to-use Instruction Generation Framework for LLMs.

EasyInstruct - это пакет Python для обучения больших языковых моделей (LLM), таких как GPT-3, Llama, ChatGLM, в ваших исследовательских экспериментах. Он прост в использовании и легко расширяемый.

pip install easyinstruct -i https://pypi.org/simple

🖥 Github: https://github.com/zjunlp/easyinstruct

📕 Paper: https://arxiv.org/abs/2308.15452v1

⭐️ Dataset:https://paperswithcode.com/dataset/svamp

ai_machinelearning_big_data

🔥 CRATE (Coding RAte reduction TransformEr)

CRATE (is a white-box transformer architecture, where each layer performs a single step of an alternating minimization algorithm to optimize the sparse rate reduction objective

Алгоритм оптимизации сегментации с помощью архитектуры white-box трансформеров.

🖥 Github: https://github.com/ma-lab-berkeley/crate

🖥 Colab: https://colab.research.google.com/drive/1rYn_NlepyW7Fu5LDliyBDmFZylHco7ss

📕 Paper: https://arxiv.org/abs/2308.16271v1

⭐️ Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data

SAM-Med2D ➕

SAM-Med2D, the most comprehensive studies on applying SAM to medical 2D images.

🏆 Самая большая на сегодняшний день база данных по сегментации медицинских изображений (4,6 млн. изображений и 19,7 млн. масок) для обучения моделей.
🏆 Модель файнтюнинга Segment Anything Model (SAM).
🏆 Бенчмарк SAM-Med2D на крупномасштабных наборах данных.

🖥 Github: https://github.com/uni-medical/sam-med2d

🖥 Colab: https://colab.research.google.com/github/uni-medical/SAM-Med2D/blob/main/predictor_example.ipynb

📕 Paper: https://arxiv.org/abs/2308.16184

⭐️ Dataset: https://paperswithcode.com/dataset/sa-1b

ai_machinelearning_big_data

✅️ Point-Bind & Point-LLM: Aligning 3D with Multi-modality

Point-Bind is a 3D multi-modality model with a joint embedding space among 3D point cloud, image, language, audio, and video.

Point-LLM - это первая мультимодальная большая языковая модель, которая не требует ввода трехмерных объектов и учитывает мультимодальный ввод для генерации🌟

🖥 Github: https://github.com/ziyuguo99/point-bind_point-llm

⏩ Demo: http://imagebind-llm.opengvlab.com/

📕 Paper: https://arxiv.org/abs/2309.00615v1

⭐️ Dataset: https://paperswithcode.com/dataset/esc-50

ai_machinelearning_big_data