🤖 Google Colab получил мощный ИИ-инструмент для анализа данных

Google наконец-то интегрировал Data Science Agent в Colab! Штука, которую показывали на I/O прошлого года, теперь доступна всем пользователям этой платформы для дата-сайентистов и разработчиков.

Что умеет:
- Автоматически чистит данные
- Строит визуализации и выявляет тренды
- Проводит статистический анализ
- Создает предиктивные модели
- Генерирует полноценный Python-код прямо в ноутбуке

Не нужно возиться с кодом самостоятельно — загружаешь датасет, формулируешь вопрос на человеческом языке, и агент сам пишет весь необходимый код.

Технические детали:
- Работает на Gemini 2.0 Flash
- Поддерживает CSV, JSON и TXT-файлы размером до 1ГБ
- Может обрабатывать около 120 000 токенов (примерно 480 000 слов)
- Встроенные инструменты "reasoning" для инженерии признаков
- Использует техники RL для улучшения работы

Базовая версия доступна бесплатно, но с ограничениями вычислительных ресурсов. Для серьезных задач придется оформить подписку (от $9.99).

#DataScienceAgent #Google #Colab #Gemini
———
@tsingular

Эта мысль кому-то может испортить настроение с утра.

... или наоборот вдохновить, как меня, например. :)

Поэтому поделюсь.

Итак.

Готовы?

Представьте как должна выглядеть RAG система, для ведения диалогов в реальном времени.

Т.е. не диалоговый режим - вопрос-ответ. Не псевдо-реальное время, как сейчас в голосовых ассистентах.
А именно RAG, который предвытягивает и фоном держит в актуальном состоянии RAG контекст, до того, как пользователь еще даже подумал задать вопрос.

И сколько для этого нужно ресурсов. Так что ASI еще долго не будет. Потому, что на каждом шаге - кратный рост ресурсного потребления.

У меня всё. Хорошего продуктивного дня всем :)

#LiveRAG #TimeMachine
———
@tsingular

Без комментариев.

P.S.: Я потом ещё посмотрел как это сделано- оказалось что это скрипт

Т.е. робот не принимает решение как именно двигаться.

Это предзаписанный танец.

#unitree #robots
———
@tsingular

🌐 Консорциум NextGenAI: OpenAI раздаёт $50М на образование и исследования

OpenAI запускает масштабный консорциум с 15 исследовательскими институтами — с громким названием NextGenAI.

Суть такая: они вкладывают $50 миллионов в гранты, вычислительные мощности и доступ к API. Всё это для исследователей, студентов и преподавателей.

В списке участников настоящие тяжеловесы мировой науки:
- Caltech
- MIT и Гарвард
- Оксфорд
- Университет Мичигана
- Бостонская детская больница
- И даже Бостонская публичная библиотека

На что потратят деньги?

🏥 Медицина: Гарвард вместе с Бостонской детской больницей будут использовать ИИ для ускорения диагностики редких заболеваний.

📚 Оцифровка знаний: Оксфордская библиотека Бодлиана начала оцифровывать редкие тексты и использует API OpenAI для их транскрипции — это сделает многовековые знания доступными для поиска.

🧪 Метанаука: В Университете Дьюка исследуют, где ИИ может принести наибольшую пользу науке — причём используют для этого сам ИИ. Мета-подход!

Зачем это OpenAI?
Очевидно, это не просто благотворительность. Тут сразу несколько выгод:

1. Выращивают будущие кадры под свои инструменты
2. Получают тестовые площадки для своих технологий
3. Доступ к реальным данным в области медицины, науки и образования
4. Создают экосистему вокруг своего API

Кстати, это продолжение их образовательной стратегии — в мае 2024 они уже запустили ChatGPT Edu для университетов.

Жду когда Яндекс достроит свой новый офис на Косыгина и возьмёт шефство над Дворцом Пионеров на Воробьёвых :)

#NextGenAI #OpenAI #образование
———
@tsingular

Ну, погнали что-ли :)

Самый главный тест, - венок сонетов в комментарии.

Ну, провал. Отстаёт от Claude Opus 3 годовалой давности. Не знаю уж как он будет по коду, но венок не дописывает до конца, куча не согласованных строк и магистрал - чистый рандом.

Ладно, - это Preview, может еще допилят напильником. Но потеря фокуса явно видна. И слабое следование инструкциям. Постоянно пишет,- вот я сделал, хотя буквально не сделал ничего.

#openai #GPT45
———
@tsingular

Как долго думать и НЕ РЕШИТЬ детскую задачку.

На книжной полке рядом стоят два тома Пушкина: первый и второй. Страницы каждого тома имеют вместе толщину 2 см, а обложка — каждая — 2 мм. Червь прогрыз (перпендикулярно страницам) от первой страницы первого тома до последней страницы второго тома. Какой путь он прогрыз?

В этом весь GPT 4.5 preview.

Возвращаемся на Sonnet 3.7 thinking без сожалений. :)

Ну и DeepSeek, кстати, ожил. Похоже его не хило проапгрейдили видеокартами.

#openai #gpt45
———
@tsingular

Сколько ясновидящих, видевших будущее во снах, были сожжены на кострах, когда пытались это описать.

https://news.1rj.ru/str/denissexy/9642

#tech #мода
------
@tsingular

QwQ-32B: Тихая революция в мире ИИ от команды Qwen

Qwen выпустили модель QwQ-32B, которая делает то, что раньше казалось невозможным: достигает производительности DeepSeek-R1 (с 671B параметров) всего при 32B параметров (контекст 131К).

Что интересно:
1. Масштабируемый Reinforcement Learning — ключевой прорыв. Вместо традиционных reward models используют:
- Верификаторы точности для математических задач
- Сервер выполнения кода для проверки работоспособности на этапе обучения.

2. Двухэтапный подход: сначала оптимизация для математики/кодинга, затем для общих способностей — без потери специализированных навыков.

3. Интеграция агентных возможностей — модель не просто рассуждает, но использует инструменты и адаптирует логику на основе обратной связи.

4. Открытые веса — распространяется под Apache 2.0, доступна через HuggingFace/ModelScope.

Производительность:
На A100 80GB — 14.6 токенов/с при квантизации до Int4 (AWQ).
Для контекста в 32K токенов требуется всего 31.56 GB памяти. (>32К включается отдельно в настройках)

HuggingFace

Demo

Фишка с проверкой кода на этапе обучения через обратную связь, - это интересно. Т.е. мы не просто кормим модель дистиллятом, - что тоже полезно и вкусно, как показывает опыт DeepSeek R1, но еще проверяем как она поняла и тут же исправляем по фактической проверке в исполняемой среде.

#Qwen #Китай #RL
———
@tsingular

🎮 Бенчмарки на Super Mario: когда AI начинает играть в платформеры

Результаты: Claude 3.7 показал себя лучше всех, за ним следует Claude 3.5. А вот "тяжеловесы" вроде Gemini 1.5 Pro от Google и GPT-4o от OpenAI серьезно отстали.

Для бенчей используется фреймворк GamingAgent, который специально разработан для проверки возможностей ИИ играть в игры ( там есть не только Марио)

1. AI получает скриншоты игры и базовые инструкции типа "если рядом препятствие или враг, прыгай влево чтобы уклониться"
2. Модель генерирует управляющие команды в виде Python-кода
3. Эти команды передаются в эмулятор, где запускается модифицированная версия оригинальной игры 1985 года

Самое неожиданное открытие: модели с "рассуждениями" (reasoning models) вроде OpenAI o1, которые должны быть мощнее обычных на большинстве бенчмарков, показали себя хуже!

Причина проста - скорость реакции. Пока модель с "рассуждениями" просчитывает оптимальное действие (на что уходят секунды), Марио падает в пропасть 💀

Зачем это нужно?
1. Реактивные системы. Тестирование в играх показывает, насколько AI готов работать в условиях быстрой реакции - важно для автономных систем в промышленности

2. Визуальное планирование. Способность анализировать визуальные данные и принимать решения на их основе критична для множества бизнес-сценариев: от беспилотников до систем видеонаблюдения

3. Балансировка скорости и точности. Этот тест наглядно показывает, что иногда быстрое "сносное" решение лучше медленного "идеального" - урок для многих бизнес-процессов

Для запуска собственных экспериментов доступны все необходимые компоненты. Фреймворк GamingAgent поддерживает ключевые модели от OpenAI, Anthropic и Google - достаточно клонировать репозиторий на GitHub и настроить API-ключи.

#benchmarks #SuperMario #Claude37
———
@tsingular

квака появилась в ollama

https://ollama.com/library/qwq

20 гигов - т.е. взлетит на 1 карте.
и есть режим tools - т.е. можно прикрутить к агентам!!

ещё есть 32b-fp16 на 66GB, но это уже для Nvidia digits или M3Ultra прибережём

#QwQ
———
#tsingular

⚡️ HF: Spark-TTS, модель преобразования текста в речь на базе LLM, которая выполняет клонирование голоса с нуля и создание голоса с высокой детализацией — все в одном потоке!

> Сделана на Qwen2.5
> Управляйте частотой тона, скоростью и стилем диктора непосредственно из текста.

Попробовать можно здесь: https://huggingface.co/spaces/Mobvoi/Offical-Spark-TTS
Paper: https://arxiv.org/pdf/2503.01710
Code: https://github.com/SparkAudio/Spark-TTS
Demo: https://sparkaudio.github.io/spark-tts/

QwQ локально. Очень неплохо рассуждает, на мой взгляд.

2046 токенов нагенерил. Все, как видно, аккуратно и по делу.
18 токенов в секунду на M4
58 токенов в секунду на 4090

Получается 4090 в 3 раза быстрее М4, кстати.

#QwQ
———
@tsingular