⚡️ OpenAI сегодня ВЕЧЕРОМ представит GPT-5 — новая модель уже прошла внутреннее тестирование и готова к релизу.

Главные изменения:

• Мультимодальность — GPT-5 сможет обрабатывать видео, аудио и изображения в реальном времени.
• Автономные действия — ИИ сможет выполнять задачи в интернете без запросов пользователя (платежи, бронирования и т. д.).
• Ограничения — некоторые функции будут доступны только по подписке Pro Max.

Что еще известно:
• Первыми доступ получат корпоративные клиенты и разработчики.
• Бесплатная версия останется, но с урезанными возможностями.

⚡️ Подробности — сегодня в 20:00 по МСК.

PS. Поздравляю с 1м апреля!

Решил на днях увеличить количество доступной постоянной памяти для локальных моделей на gpu01.

У меня как-раз был незадействованный nvme на 512гб, только вот без адаптера в сервер его не поставить, так что пару дней сидел выбирал адаптер, и тут вспомнил, что у меня уже есть такой на антресолях.

Полез, достал, собрал, пойду поставлю.

#server

RAG это call, теперь официально

При контексте 10M токенов есть мнение, что RAG (в классическом смысле: ретривер из векторной базы и ллм) в скором времени станет очень специализированной технологией для узкого спектра задач.

А учитывая тенденцию на постоянный рост максимального контекста вероятно и вовсе исчезнет из повестки.

Поставил плашку с NVME в материнку (зеленая лампочка справа снизу) и между делом докинул пару вентиляторов корпусных на 120мм, через реобас подтюнил скорость вращения чтобы не шумело и теперь полезу ставить эту коробку на антресоль.

А на следующей неделе запущу на нем один публичный проект, о чем отдельно сообщу.

#server

Запустить обучение Nvidia Canary 180M Flash на моей RTX 4090 было тем ещё приключением.

Причина: посредственная документация проекта NeMo, через который реализованы скрипты обучения.

Вывод: пишите документацию, будьте профессионалами.

Тут главное не перепутать #meme

Прослушал курс про LangGraph от создателей LangChain

Недавно завершил обучение по курсу "Introduction to LangGraph" от команды разработчиков LangChain. Это отличный ресурс для тех, кто хочет продавать свои флоу под видом модных агентских систем, но пока ещё не знает как их делать.

В курсе подробно рассматриваются следующие темы:
- Построение сложных структур с использованием множества инструментов.
- Реализация операций выбора для передачи данных.
- Работа с короткосрочной и долгосрочной памятью.
- Интеракция с пользователем.

Курс рассчитан на 6 часов, но если проходить его, как я, по часу в день, то можно управиться за неделю.

Поздравляю всех с Днём Космонавтики!

Про репозитории Nvidia CUDA

Не прошло и полгода, как принципиальная компания Nvidia, тихо и без лишнего шума, сняла блокировку с российских IP-адресов, поэтому теперь снова можно спокойно качать CUDA драйверы напрямую из репозиториев Nvidia.

Но я - калач тёртый, так что на всякий случай своё зеркало https://mirror.rpa.icu/ оставлю, просто отключу специальные методы обхода указанных ограничений, за ненадобностью.

Мой публичный API-сервер для распознавания речи

Рад представить мой первый публичный OpenAI-совместимый API-сервер, доступный по адресу: https://api.rpa.icu

В настоящее время сервер предоставляет функциональность автоматического распознавания речи (ASR), используя модель Whisper Large V3 Turbo, запущенную через docker-whisper-server и квантованную до q4_0.

Система распределяет нагрузку по трём видеокартам: двум Intel Arc A770 и одной NVIDIA RTX 3050, обеспечивая высокую производительность и точность распознавания.

🔧 Как использовать API

Вы можете бесплатно использовать данный API с любым клиентом OpenAI, например, через Python-библиотеку openai.

Для работы с сервером необходимо указать адрес сервера и токен:

OPENAI_BASE_URL=https://api.rpa.icu
OPENAI_API_KEY=https://news.1rj.ru/str/evilfreelancer

📄 Пример запроса с использованием `curl`

curl https://api.rpa.icu/audio/trannoscriptions \
  -H "Authorization: Bearer https://news.1rj.ru/str/evilfreelancer" \
  -F file=@your_audio_file.mp3 \
  -F model=large-v3-turbo \
  -F language=ru

Замените your_audio_file.mp3 на путь к вашему аудиофайлу, а в параметре language можно указать язык аудио (например, ru для русского, en для английского и т.д.), если ничего не указать, то язык будет определён автоматически.

У сервера есть ограничение на максимальный размер файла равный 50Мб.

🐍 Пример использования на Python

Пример скрипта на Python для взаимодействия с API доступен по ссылке: openai-asr.py. Скрипт позволяет передавать аудиофайл, указывать формат ответа (text, json, srt, verbose_json), модель и язык.

Если у вас возникнут вопросы или потребуется помощь, вы можете задать свой вопрос в чате канала Pavel Zloi.

#rpa

Добавил документацию в формате OpenAPI/Swagger и простенький UI.

Смотреть тут: https://api.rpa.icu/docs/

#rpa

Хозяйке на заметку:

git add . && git diff --cached | ollama run llama3.1:8b "Write a message based on the following changes, 
only describe what was changed, without quotes:\n\n$(cat)" | xargs -I {} git commit -m "{}" && git push

Очень интересную фишечку обнаружил в Google Таблицах, оказывается можно редактировать/анализировать таблицу общаясь в формате чатика с Gemini интегрированную прямо в редактор.

Но что-то не могу разобраться как это себе настроить, удалось ли кому попробовать эту штуку и если да, то что надо для этого сделать?

Посмотрел посты блогеров которые по инерции всё ещё следят за анонсами новых продуктов от OpenAI.

Вот краткий пересказ:

Новые революционные модели стали на сколько-то там процентов лучше предыдущих и по мнению экспертов ещё вкуснее умнее.

Они доступны только по API, так что вкусить их смогут только самые упрямые.

На всяких редитах основной вопрос это нейминг, релизить модель 4.1 после 4.5 идея странная.

Лично я надеялся на релиз опенсорс моделей, но видимо придется подождать ещё немного.

Fish Speech API

Представляю вашему вниманию кастомный OpenAI-подобный API-сервер для генерации голоса, основанный на fish-speech-1.5 от FishAudio.

Поддерживает как обычный text-to-speech (TTS), так и подмену голоса через референс-аудио.
Работает через REST, всё максимально похоже на формат OpenAI /v1/audio/speech, так что можно просто подменить endpoint и не менять клиент.

✅ Что умеет:
- Генерация речи на базе модели fish-speech-1.5
- Стилизация речи под голос из аудио
- Кастомные параметры: top_p, temperature, max_new_tokens и др.
- Работает в докере или вручную через Python 3.12

Работает только на Nvidia.

🛠 Быстрый старт:

git clone https://github.com/EvilFreelancer/docker-fish-speech-server
cd fish-speech-api
cp docker-compose.dist.yml docker-compose.yml
docker compose up -d

Пример запроса:

curl http://localhost:8000/audio/speech \
  -X POST \
  -F model="fish-speech-1.5" \
  -F input="Hello, this is a test of Fish Speech API" \
  --output "speech.wav"

🎧 Хотите "подменить" голос? Просто добавьте reference_audio.

🔗 Исходники тут: https://github.com/EvilFreelancer/docker-fish-speech-server

Если у вас возникнут вопросы или потребуется помощь, вы можете задать свой вопрос в чате канала Pavel Zloi.