Harbor: локальная LLM-экосистема одной командой

Новый инструмент автоматизирует развертывание полноценного ИИ-стека на локальной машине. Одной командой запускает Ollama, Open WebUI, поисковик SearXNG и десятки других сервисов.

Включает 12 фронтендов от ComfyUI до LibreChat, 16 бэкендов включая vLLM и TabbyAPI, плюс 47 дополнительных сервисов вроде Dify и n8n для workflow-автоматизации.

Особенность — модульная архитектура на Docker-контейнерах с автоматической настройкой интеграций. Например, WebUI автоматически подключается к SearXNG для веб-поиска. Есть встроенный туннелинг для доступа через интернет.

По сути, превращает сборку локального ИИ-стека из недельного мучения в пятиминутное дело.
Такой комбайн комбайнов.

#Harbor #LocalLLM #DevTools
------
@tsingular

может у него просто в детстве видеокарты не было?

К концу года OpenAI планирует пересечь отметку в 1млн видеокарт, но Альтман пишет чтобы команда готовилась управлять инфраструктурой х100 раз большей.

Как вам 100млн видеокарт?
Это на 200 гигаватт получается?

На фоне того, что они только что подписали контракт с минобороны не ХХ ярдов и с учетом того, кто сидит в совете директоров, похоже на интересный инсайд.

#openai #gpu
———
@tsingular

Так.. тут фундаментальная мысль. Запишем:

Если ASI - это ИИ умнее всех людей вместе взятых, значит, исходя из определения, - люди не способны будут его контролировать.

Т.е. можно сказать, что базовый тест на ASI - ИИ должен подчинить себе всех людей.
Подчинить, - не значит уничтожить, но управлять с гарантированным для ИИ результатом в 100% случаев.

#ASI #futurology
———
@tsingular

🧠 Mixture-of-Recursions: Адаптивная "глубина мысли" для каждого токена

Исследователи из KAIST и Google создали архитектуру, которая динамически выделяет вычислительные ресурсы на уровне отдельных токенов — MoR (Mixture-of-Recursions).

Суть прорыва:
Вместо прогона всех токенов через фиксированное количество слоёв, модель сама решает, сколько "рекурсивных проходов" нужно каждому токену. Простые слова проходят быстро, сложные — получают дополнительные циклы обработки.

Техническая начинка:
- Адаптивный роутинг — лёгкий маршрутизатор назначает каждому токену количество рекурсий (1-4 прохода)
- Разделение параметров — один блок слоёв переиспользуется многократно (экономия памяти на 50%)
- Умное KV-кеширование — кеш ключей-значений только для активных токенов на каждой глубине
- Continuous depth-wise batching — пропускная способность выше на 2x за счёт параллельной обработки

Практический результат:
- Модель 360M параметров превосходит базовую при втрое меньшем количестве уникальных параметров
- Скорость обработки до 2.06x выше классических Трансформеров
- Обучение эффективнее: больше токенов в том же FLOP-бюджете

Применение:
Идеально для edge-deployment и случаев, где нужен баланс между качеством и скоростью. Семантически важные токены получают больше вычислений автоматически.
Архитектура показала масштабируемость до 1.7B параметров.
Следующий шаг — интеграция с reasoning-задачами для chain-of-thought оптимизации.

Вот для чего нужны миллионы видеокарт - обработка рекурсий.
Полный отчет в комментарии.

#MoR #efficiency #transformers #KAIST
———
@tsingular

А давайте запишем у кого какие результаты скорости работы LLM по железу
Предлагаю сюда собирать

Если кто хочет в редакторы отправляйте запрос на доступ на редактирование в гугле указав свой gmail в строке запроса.

LM Studio сама показывает, а в ollama можно так вызывать:
ollama run gemma3:27b-it-qat —verbose напиши поэму о лете

в итогах будет такого плана результат:
total duration: 15.525598053s
load duration: 43.678042ms
prompt eval count: 32 token(s)
prompt eval duration: 204.741435ms
prompt eval rate: 156.29 tokens/s
eval count: 619 token(s)
eval duration: 15.27660691s
eval rate: 40.52 tokens/s

#benchmarks #inference #LLM #hardware #бенчмарки
———
@tsingular

🚀 Уважаемые коллеги, кому интересна математика и машинное обучение, приглашаем Вас принять участие в неформальном научном проекте.

Мы разрабатываем новые методы и опен-соурс библиотеку CayleyPy, которая на основе МЛ/РЛ методов позволяет решить математические задачи, которые были не доступны ранее. Как пример наша система уже по всем параметрам на порядки превсходит аналогичные методы в системе компьютерной алгебры GAP (де-факто стандарт) - использующую алгоритмы доработанные самим Д. Кнутом.

Если у Вас есть желание поучаствовать в проекте, есть знание Питона и несколько свободных часов в неделю - то присоединяйтесь к нам - при активной работе - Вы будете соавтором научных публикаций. (Напишите @alexander_v_c - к.ф.-м.н. Александр Червов).

Краткая суть задачи может быть описана несколькими способами - нахождение пути на графе размером 10^20-10^200 (из-за размера обычные методы не применимы - только МЛ/РЛ). Решение пазла типа кубика Рубика, задача сортировки, математически - разложение элемента группы по образующим - все это в реальности одна и та же задача. Задача близка к прошедшему конкурсу Каггл Санта 2023. Более общо - это задача планирования - типичная для реинфорсмент ленинг - спланировать действия так чтобы кумулятивный эффект давал лучший результат - управлением манипулятором робота, системы АльфаГо, АльфаТензор, успех DeepSeek - это задачи - тесно связанные с тем, что мы делаем.

А зачем это нужно биологам ? А чтобы превращать людей в мышей ))) (А капусту в репу). Так назвал свои статьи известный биоинформатик П.Певзнер - оказывается эволюционная дистанция - соответствует дистанции на определенных графах - и наша цель улучшить ее оценку через МЛ/РЛ. Зачем нужно нужно в сетях - задержка сигнала (latency) сети определяется диаметром сети - оценка диаметра графов - одна из наших целей. В теории квантовых вычислений тоже нужны подобные графы и приложения этим не ограничены. И, кроме того, а знаете чем знаменит Билл Гейтс ?)) Он отлично сортировал блины ! Наша задача - побить его - через МЛ/РЛ)))

В нашем коллективе есть профессора математики, Каггл градмастеры, и легендарные иностранные специалисты - Tomas Rokicki , Herbert Kociemba - Вам будет у кого поучиться.

Подробнее о проекте вы можете узнать в наших статьях https://arxiv.org/abs/2502.18663 https://arxiv.org/abs/2502.13266 и в нашей группе https://news.1rj.ru/str/sberlogasci/1 и ⭐ СТАВЬТЕ СТАРС ⭐ (звездочки) на наш гитхаб: https://github.com/cayleypy/cayleypy

NVIDIA выпустила семейство OpenReasoning-Nemotron для решения сложных задач

Четыре модели размером от 1.5B до 32B параметров специально обучены для математики, программирования и естественных наук. Основаны на Qwen2.5 и дообучены на 5 миллионах ответов от DeepSeek R1.

Главная особенность — режим GenSelect, который запускает несколько параллельных генераций и выбирает лучшее решение. В этом режиме 32B модель превосходит O3 (High) на математических и кодовых бенчмарках.

Интересно, что модели обучались только на математических задачах, но способности автоматически перенеслись на код и науку. Все модели доступны под лицензией CC-BY-4.0 для коммерческого и исследовательского использования.

#NVIDIA #reasoning #opensource
------
@tsingular

Qwen выпустил облегченную версию 235B модели без "размышлений"

Alibaba представила обновленную версию Qwen3-235B-A22B-Instruct-2507 — это режим "без размышлений", который больше не генерирует блоки think в ответах.

Модель использует архитектуру Mixture of Experts с 235B параметрами и активирует только 22B на токен. Это дает производительность больших моделей при затратах всего 10% вычислений.

Поддерживает 119 языков и показывает сильные результаты в программировании и математике. В некоторых бенчмарках обгоняет GPT-4.1, в других уступает.

Для работы с памятью рекомендуют сократить контекст до 32,768 токенов при проблемах с OOM. Поддерживается в популярных фреймворках включая transformers, vLLM и Ollama.

Обошли Кими К2, DeepSeek V3 и Claude Opus 4!!

Полный размер - 472 Гига.

Онлайн адрес не изменился, - https://chat.qwen.ai/

#Qwen #MoE #Китай
------
@tsingular

Veo 3 теперь доступен через Gemini API

Google запустил Veo 3 через API — первую модель с высококачественным видео и встроенным аудио. Создает кинематографические ролики с диалогами и звуковыми эффектами.

Разработчики уже экспериментируют: от анимации персонажей до повествовательных сцен. Доступен в Google AI Studio с готовыми шаблонами для быстрого прототипирования.

Цена — $0.75 за секунду видео с аудио. Скоро появится Veo 3 Fast — более быстрая и дешевая версия. Все видео помечаются цифровой водяной меткой SynthID для идентификации ИИ-контента.

#Veo3 #VideoGeneration #GeminiAPI
------
@tsingular

📖 MIT запустил ИИ-платформу с 12,700 бесплатными курсами

MIT Learn объединил все образовательные ресурсы института на одной платформе с ИИ-помощником "Ask Tim". Система умеет рекомендовать курсы под цели пользователя и создавать краткие описания программ.

В избранных курсах по молекулярной биологии и генетике добавили ИИ-ассистента для вопросов по лекциям и ИИ-тьютора для решения задач. Тьютор направляет к следующему шагу, но не выдает готовые ответы.

🎓 12 700+ материалов: курсы, видео, подкасты от начальных до продвинутых.
🤖 Ask Tim - ИИ-помощник для персонализированных рекомендаций и резюме курсов.
📚 ИИ-ассистент отвечает на вопросы по лекциям, создаёт карточки и помогает с задачами.
🔍 Умный поиск позволяет не разбираться в структуре университета.
👥 Контент для школьников, студентов, профессионалов и преподавателей.
📋 Возможность создания персональных списков ресурсов и уведомлений о новинках.

Платформа решает проблему навигации - теперь не нужно знать структуру MIT, чтобы найти нужный материал.
Система учитывает когнитивную нагрузку через персонализацию и кураторские списки, предотвращая информационную перегрузку при работе с огромным массивом данных.

Университет эволюционировал в ИИ академию.

#MIT #education #обучение
------
@tsingular

Yandex выпустил веб версию Алисы.

https://alice.yandex.ru/

На базе GPT5 Lite или Pro с рассуждениями на выбор.
- умеет рассуждать
- понимает голосовые запросы
- есть поиск в интернете
- работает с файлами и изображениями
- создает картинки

работает, само-собой, без VPN

#yandexGPT #Яндекс #Алиса
———
@tsingular

Google Gemini получил золото на математической олимпиаде

Продвинутая версия Gemini Deep Think решила 5 из 6 задач Международной математической олимпиады, набрав 35 из 42 баллов — результат золотой медали.

Главный прорыв: система работает полностью на естественном языке, без перевода в формальные математические языки. Прошлогодние AlphaProof и AlphaGeometry требовали экспертного перевода задач и работали по несколько дней. Gemini уложился в стандартные 4,5 часа соревнований.

Основа успеха — параллельное мышление: модель одновременно исследует несколько путей решения, а не идет линейно. Плюс обучение на подкрепляющем обучении с корпусом качественных математических решений.

По словам президента олимпиады: «Их решения поразительны — четкие, точные и легко читаемые».

#Gemini #Mathematics #AI
------
@tsingular

Каталог каталогов по ML и ИИ.

1. Мини-проекты по машинному обучению с Python
Небольшие проекты для понимания основных концепций. Создание моделей машинного обучения с Scikit-learn для регрессии и классификации.

2. Анализ данных и библиотека проектов машинного обучения
Учебные материалы, код и наборы данных для проектов анализа данных и машинного обучения.

3. Идеи для проектов машинного обучения
Идеи проектов: машинное обучение, НЛП, компьютерное зрение, рекомендательные системы.

4. 500+ проектов машинного обучения и ИИ с кодом
500+ реальных проектов: машинное обучение, глубокое обучение, компьютерное зрение, НЛП.

5. Проекты генеративного ИИ
Современные проекты и сервисы генеративного ИИ. Инструменты для генерации текста, изображений, аудио, видео.

6. Инструменты и проекты LangChain
Инструменты и проекты с фреймворком LangChain для приложений на основе больших языковых моделей и ИИ-агентов.

7. Решения Kaggle
Решения и идеи соревнований Kaggle. Лучшие подходы к решению задач машинного обучения.

8. Топ проектов глубокого обучения на GitHub
Популярные проекты глубокого обучения, ранжированные по количеству звезд. Фреймворки, инструменты и ресурсы.

9. Справочник по машинному обучению
Ссылки, учебные материалы и ресурсы по машинному обучению и глубокому обучению.

10. Ресурсы глубокого обучения
Учебники, проекты, книги и сообщества по глубокому обучению. Нейронные сети, обучение с подкреплением, исследования ИИ.

Обычно такое не люблю, но тут реально собраны тысячи полезных ссылок.
Тут и обучение и фреймворки и инструменты.
Все что может пригодиться в мире ИИ.
Подборки курируемые с десятками, а иногда и сотнями контрибьюторов.
И всё бесплатно. Лет на 5 обучения хватит.

#обучение #каталоги
———
@tsingular

Есть ощущение, что поисковик должен стать умнее.

Какой-нибудь локальный ИИ, скажем встроенный в браузер, который сверяется со списком РКН перед каждым запросом до отправки запроса в поиск может решить проблему риска нарваться на штраф.

#мысли #ркн
------
@tsingular

T-one — открытая русскоязычная потоковая модель для телефонии

Т-Банк выпустил открытую потоковую модель распознавания речи T-one с 71М параметров.

Обучена на 80 тысячах часов русскоязычных данных, 64% через псевдо-разметку ансамблем моделей.

Показывает лучшее качество в телефонии по сравнению с GigaAM-CTC при троекратно меньшем размере. Задержка 1-1.2 секунды.

Архитектура Conformer с модификациями: SwiGLU вместо feed-forward, RoPE-эмбеддинги, U-Net-структура со сжатием временной размерности в средних слоях.

Доступны код обучения, инференса, демо через Docker и языковая модель. Лицензия Apache 2.0.

GitHub репозиторий

#streaming #speech #Tbank
———
@tsingular