#полезное
🤯 MLOps без воды: готовый пошаговый план

Готовый GitHub-репозиторий, который по шагам закрывает ключевые темы: от настройки проекта и контроля данных — до CI/CD, упаковки моделей и деплоя в AWS:

✅Неделя 0: Базовая настройка проекта

✅Неделя 1: Мониторинг моделей через Weights & Biases

✅Неделя 2: Конфигурации с Hydra

✅Неделя 3: Контроль версий данных с DVC

✅Неделя 4: Упаковка моделей в ONNX

✅Неделя 5: Упаковка моделей в Docker

✅Неделя 6: CI/CD через GitHub Actions

✅ Неделя 7: Хранение контейнеров в AWS ECR

✅ Неделя 8: Серверлесс-деплой на AWS Lambda

✅ Неделя 9: Мониторинг предсказаний через Kibana
Ссылка на репозиторий

👉Новости 👉База вопросов

#полезное
😇 TransPixar — новая нейросеть, способная генерировать видео с прозрачным фоном. Это идеально для создания спрайтов в видеоиграх!

Демо: *клик*
Гитхаб

👉Новости 👉База вопросов

#полезное
😱 llm-scraper — библиотека на языке TypeScript, предназначенная для извлечения структурированных данных с веб-страниц с использованием LLM!

Библиотека поддерживает различные провайдеры LLM, включая локальные модели (Ollama, GGUF), OpenAI и Vercel AI SDK. Для определения схем данных используется библиотека Zod, обеспечивая полную типизацию в TypeScript. В основе работы llm-scraper лежит фреймворк Playwright, который управляет взаимодействием с веб-страницами.
Гитхаб

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое TensorFlow Transform (tf. Transform) и какие проблемы он решает?

TensorFlow Transform (tf.Transform ) - это библиотека для предварительной обработки данных в TensorFlow. Она позволяет применять те же преобразования данных как во время обучения, так и при инференсе, что устраняет несоответствия между обработкой данных в разных этапах. tf.Transform особенно полезен при работе с большими наборами данных, так как выполняет масштабируемые преобразования, которые не помещаются в память. Основное преимущество - автоматическое включение предобработки в экспортированную модель, что делает её консистентной.

👉Новости 👉База вопросов

#полезное
😊 GPUStack — это менеджер кластеров GPU с открытым исходным кодом для запуска и масштабирования AI моделей.

🟠 Универсальность: Поддерживает работу на разных платформах, включая macOS, Windows и Linux.
🟠 Масштабируемость: Позволяет легко добавлять дополнительные GPU или узлы для увеличения вычислительных мощностей.
🟠 Широкий спектр моделей: Поддерживает запуск больших языковых моделей (LLM), диффузионных моделей, аудио-, embedding и reranker моделей.
🟠 Несколько бекендов: Использует такие решения, как llama-box, vLLM и vox-box для инференса.
🟠 OpenAI-совместимые API: Предоставляет API, совместимые с OpenAI, что облегчает интеграцию с различными приложениями и сервисами.
🟠 Мониторинг и управление: Включает инструменты для отслеживания производительности GPU, использования токенов и управления пользователями и API-ключами.
Гитхаб

👉Новости 👉База вопросов

#полезное
🫠 Внутренности PyTorch

Подробное руководство о том, как разобраться в кодовой базе PyTorch и начать вносить вклад в её развитие
Тык сюда

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как TensorFlow использует GPU и TPU для вычислений?

TensorFlow использует:
- GPU (через CUDA) для ускоренных матричных операций.
- TPU (специальные чипы от Google) для высокопроизводительных ML-задач.
- Динамическое распределение вычислений между устройствами.

👉Новости 👉База вопросов

#статьи
🛞 Огромная статья, которая посвящена оптимизации вывода (инференса) больших языковых моделей (LLM) с использованием одного графического процессора!

Автор делится опытом создания собственного движка для LLM на основе C++ и CUDA, фокусируясь на максимизации пропускной способности. Рассматриваются ключевые этапы, такие как загрузка модели, выполнение прямого прохода, использование кеша KV и многозадачность на CPU. Также подчеркивается важность пропускной способности памяти и квантования модели (например, FP16) для эффективного вывода. В статье приводятся бенчмарки и сравнение с другими фреймворками, такими как llama.cpp и Hugging Face, чтобы установить реалистичные цели по производительности.
Ссылка клик

👉Новости 👉База вопросов

#новости
😎 Мира Мурати получит 2 миллиарда долларов от крупнейшнего венчурного фонда a16z

Оценка при этом составит 10 миллиардов. Но самое занятное в этой сделке – ее условия, на которые чудом согласились инвесторы.

Дело в том, что Мира сохраняет за собой математическое абсолютное превосходство над советом директоров. Ее голос в совете равен (кол-во членов совета + 1), то есть он будет решающим в любом голосовании, даже если все остальные проголосуют иначе.

Кроме того, все учредители-основатели владеют акциями, повышающими их обычное количество голосов в 100 раз, а Мира может пользоваться этими голосами по доверенности. А значит, ей хватает прав в одиночку уволить или назначить кого угодно в совет.

👉Новости 👉База вопросов

#полезное
😵‍💫 PySpur

PySpur — это полезны и легкий инструмент для создания и управления рабочими процессами, с минимальным количеством зависимостей.

Он позволяет легко добавлять новые узлы через файл на Python и использует формат JSON для настройки графов.

Инструмент поддерживает асинхронное выполнение задач, работу с несколькими модальностями данных и оптимизацию конвейеров. Кроме того, он предоставляет возможность генерации узлов с использованием технологий искусственного интеллекта.
Гитхаб

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как развернуть модель TensorFlow в продакшене?

Развертывание модели TensorFlow включает:
- Обучение и сохранение модели ( SavedModel ).
- Загрузку в TensorFlow Serving для АР|-запросов.
- Интеграцию с клиентским приложением через REST или gRPC.
- Мониторинг и обновление модели при необходимости.

👉Новости 👉База вопросов

#полезное
😊 Один из лучших гайдов по выборке в больших языковых моделях (LLM Sampling) вышел, написанный создателем движка инференса Aphrodite (этот парень реально обожает сэмплеры)
Ссылка тут

👉Новости 👉База вопросов

#полезное
📞 Создание трансформера с нуля

Реализация и подробное объяснение трансформера, с расчётом на полное отсутствие предварительных знаний.

👉Новости 👉База вопросов

#полезное
❤️‍🔥 Cookiecutter Data Science v2: быстрый старт для ML-проектов

Cookiecutter Data Science — это шаблон проекта, который помогает быстро, логично и по best practices стартовать любой Data Science-проект.

Почему стоит попробовать:
🟠 Стандартизирует пайплайны и артефакты по всей команде
🟠 CLI ccds автоматизирует создание структуры: больше никакого «копипаста» старого проекта
🟠 Конфигурируется под стек: pip/conda, black/ruff, лицензии, S3/MLflow — всё на входе
🟠 Упор на воспроизводимость и читаемость (особенно при handover между командами)

Простая установка:

pipx install cookiecutter-data-science
ccds

Пример запуска:

ccds https://github.com/drivendataorg/cookiecutter-data-science

Дальше — просто отвечаете на вопросы. В результате получаете полностью готовую структуру: с README, тестами, логированием, конфигами и даже поддержкой MLflow.
Документация

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Какова роль TensorFlow Dataset AP| и как он улучшает производительность?

tf. data. Dataset предназначен для загрузки и предварительной обработки данных перед обучением моделей. Он:
- Позволяет работать с файлами (CSV, TFRecord).
- Загружает данные потоками, уменьшая потребление памяти.
- Поддерживает параллельную обработку, увеличивая скорость.
- Интегрируется с Eager Execution , упрощая отладку.

👉Новости 👉База вопросов

#видео
😇 Наткнулись тут на YouTube на речь Дженсена Хуанга в честь получения премии Эдисона

Оказывается, предприниматель выиграл ее еще в апреле, но вручение произошло только на днях. Премия Эдисона – это очень престижная награда за самые важные и влиятельные коммерческие изобретения и проекты в мире.

Ранее премию получали Стив Джобс, Илон Маск, Тед Тернер (основатель канала CNN) и другие.

Кстати, в этом году Nvidia исполняется 32 года. Но Хуанг говорит, что ключевым моментом для компании стала «ставка на ИИ, сделанная 15 лет назад».
📱 Смотреть видео

👉Новости 👉База вопросов

#полезное
😊 DocsGPT — открытый RAG-ассистент для работы с документами. Это не просто чат-бот, а целая экосистема, которая умеет извлекать информацию из PDF, DOCX, веб-страниц и даже GitHub-репозиториев, сохраняя привязку к исходным данным.

Что выделяет проект:
🟠Поддержка локальных моделей (Ollama, llama.cpp) и облачных API (OpenAI, Anthropic)
🟠Готовые интеграции для Discord, Telegram и веб-сайтов
🟠Возможность расширения функционала через инструменты и вебхуки

Для старта достаточно клонировать репозиторий и запустить setup-скрипт — через пару минут вы получите работающий инстанс с интерфейсом на localhost.
Гитхаб

👉Новости 👉База вопросов

#полезное
😊 Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine

Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот ⬇️

Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах.

Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи.

При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии.

Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации.

Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты.

И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты.

В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт

Код в опенсорсе

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как реализовать рекуррентную нейронную сеть (RNN) в TensorFlow?

Чтобы реализовать RNN в TensorFlow, необходимо:
- Импортировать библиотеки и определить гиперпараметры.
- Подготовить входные данные и создать слои сети, используя tf. keras. layers.SimpleRNN, LSTM ИЛИ GRU .
- Определить функцию потерь и оптимизатор, например Adam .
- Обучить модель, используя model. fit().
- Оценить качество на тестовых данных.

👉Новости 👉База вопросов