📚 Large (Language) Models and Foundation Models (LLM, LM, FM) for Time Series and Spatio-Temporal Data

Профессионально курируемый список больших языковых моделей и базовых моделей (LLM, LM, FM) для темпоральных данных (временных рядов, пространственно-временных и событийных данных) с полезными ресурсами (статьи, код, датасеты и т.д.), целью которого является всестороннее обобщение последних достижений в этой области.

В Проекте собрана информацию о докладах, учебниках и обзорах по ИИ для временных рядов (AI4TS)с ведущих конференций и в журналов по ИИ.

🖥 Github: https://github.com/qingsongedu/awesome-timeseries-spatiotemporal-lm-llm

📝 AI4TS: https://github.com/qingsongedu/awesome-AI-for-time-series-papers

📕 Paper: https://arxiv.org/abs/2310.10196v1

ai_machinelearning_big_data

🖥 AutoGen

AutoGen provides multi-agent conversation framework as a high-level abstraction.

AutoGen - это фреймворк от Майкрософт, позволяющий разрабатывать LLM-приложения с использованием нескольких агентов, способных взаимодействовать друг с другом для решения задач. Агенты AutoGen настраиваются, общаются и легко допускают участие человека.

Агенту можно поручить действовать в качестве кодера, пишущего код на основе промыта. Второму агенту можно назначить роль ревьюера кода, который указывает на ошибки в коде. После обмена сообщениями агенты отдают пользователю финальный код с пояснениями.
Такой подход приводит к значительному повышению эффективности работы генеративных моделей – по данным Microsoft, AutoGen может ускорить написание кода в несколько раз.

🖥 Github: https://github.com/microsoft/autogen

📕 Project: https://microsoft.github.io/autogen/

🤗 FLAML.: https://github.com/microsoft/FLAML

ai_machinelearning_big_data

🔇 Efficient Large-Scale Audio Tagging

AudioSet pre-trained models ready for downstream training and extraction of audio embeddings.

Трансформеры доминируют в области по работе с адуио и заменили CNN в качестве современной нейросетевой архитектуры.

Трансформеры отлично справляются с огромными аудио датасетами и подходят для создания мощных предварительно обученных моделей.

Однако трансформеры являются сложными моделями и масштабируются квадратично по отношению к длине данных, что делает их медленными.

В данной модели используются динамические CNN, которые достигают лучшей производительности на задачах разметки аудио данных и хорошо масштабируются, достигая производительности трансформеров и даже превосходя их.

🖥 Github: https://github.com/fschmid56/efficientat

📕 Paper: https://arxiv.org/abs/2310.15648v1

⏩ Demo: https://21527a47f03813481c.gradio.live/

ai_machinelearning_big_data

🕵️ Detecting Pretraining Data from Large Language Models


Min-K% Prob, простой и эффективный метод, который позволяет определить, была ли LLM предварительно обучена на заданном тексте, а также для обнаружения защищенного авторским правом текста.

Датасет WikiMIA служит бенчмарком, предназначенным для обнаружения данных предварительного обучения.

🖥 Github: https://github.com/swj0419/detect-pretrain-code

📕 Paper: https://arxiv.org/pdf/2310.16789.pdf

📘 WikiMIA Benchmark:

⏩ Project: https://swj0419.github.io/detect-pretrain.github.io/

ai_machinelearning_big_data