Распаковка на видеокарту RTX 5090 🔥

#rtx5090 #nvidia

Факап

В общем дело было так:
привезли нам на сборку сервер. Карта RTX 5090, материнка ASRock серверная, память 128 GB, Процессор Xeon 8360. И все это уже в полусобранном состоянии, процессор наклеен на куллер, прикручена материнка, но не на все болты, какие-то провода воткнуты. Заказчику видимо очень хотелось приобщиться к сборке сервера.
Ну ладно, проверили все, развернули процессор, который был вклеен не верно.

Вот так вышло. Смотри фото.

Запускаем, не запускается.
…
Проходит 2 часа тырканий. Встраиваем сервер в локальную сеть, заходим на материнку через BMC. видим, что проц определяется как то криво, что то типо такого 0000$00&
Ну понятно, видимо драйверов нет. Ставим.
…
Рабочий день не заканчивается успехом
…
Утром продолжаем.
На свежую голову приходит идея посмотреть что же у нас за проц.
отклеиваем, стираем термопасту.. а там Intel Confidential, вместо Intel Xeon.
Это инженерная версия процессора, грубо говоря предсерийная версия, которая имеет баги ошибки и вообще не должна продаваться.
подробнее можно почитать тут

В общем ждем новый процессор. Можно было бы еще попробовать обновить Bios до более ранней версии, но заказчик отказался.

Вот такие сюрпризы бывают, когда тебе приносят подсобранный сервер, и ты начинаешь собирать его не с точки 0.

#IntelConfidential #Xeon #сборкасервера

21Cloud и OXYGEN заключили партнерский договор о сотрудничестве🤝

Теперь клиентам 21Cloud доступна аренда партнерских серверов OXYGEN в Москве, Казахстане, Узбекистане и Западной Европе.

Клиенты OXYGEN получат быстрый доступ и расширят перечень доступных GPU серверов за счет партнерства с 21Cloud.

#21Cloud #OXYGEN #датацентр

Как понять о чем говорит специалист по ИИ?

Вот реальный пример, ниже мы его переведем на доступный всем язык

«одна 80Gb H100 работает в 10 сессий на LLaMA-70B-AWQ моделях.

Qwen3-32B-AWQ, это сотни сессий на 8 GPU h100.

deepseek r1 685B - это 5-10 сессий на 8 H200.

зависит от того какая модификация и длина контекста

если awq обычную 7B - можно на одной карте запустить сотню. 33b - в два, три раза меньше. но все ровно больше чем 150 на предложенной конфигурации

по нормальному от типа данных смотреть. если это не длинный диалог с пользователем. то 33b-awq от deepseek или qwen - идеальный вариант на сегодняшний день. по 30-50 сессий на карточку будут работать.»

И так. О чем же речь?

Ключевые понятия простыми словами:

1. LLM (например, LLaMA, Qwen, DeepSeek) — это и есть "двигатель", большая языковая модель. Цифры (7B, 32B, 70B, 685B) — это количество параметров (миллиарды). Чем больше цифра, тем модель "умнее" и сложнее, но и тем больше ей нужно памяти и мощности.
* 7B = 7 миллиардов параметров.
* 685В = 685 миллиардов параметров — это настоящий монстр.

2. H100, H200 — это самые мощные и современные "машины" (видеокарты) от NVIDIA, специально созданные для ИИ. H200 еще новее и мощнее, чем H100.

3. AWQ — это техника "сжатия" модели. Представьте, что вы ужимаете большой файл в ZIP-архив, чтобы он меньше весил, но при распаковке вся информация остается. AWQ делает модель в 2-4 раза меньше почти без потери качества, что позволяет запускать её на менее мощном "железе" или запускать больше копий.

4. Сессия — это один разговор с моделью, один пользователь. Если у вас 10 сессий, значит 10 человек одновременно могут общаться с ИИ.

5. Контекст — это объем памяти модели, её "кратковременная память". Чем он длиннее, тем больше текста (или истории диалога) модель может "помнить" в рамках одного разговора. Длинная память требует больше ресурсов.

---

О чем весь этот разговор?

1. Инженер рассказывает, сколько одновременных пользователей (сессий) можно "впихнуть" на одну видеокарту или кластер из нескольких карт.

"одна 80Gb H100 работает в 10 сессий на LLaMA-70B-AWQ моделях. deepseek r1 685B - это 5-10 сессий на 8 H200."

Что происходит: Огромные модели (70B и особенно 685B) требуют так много памяти, что даже на сверхмощных картах (H100) или целых 8 картах (H200) можно запустить очень мало одновременных сессий.


2. Эффективный случай (много сессий):

"Qwen3-32B-AWQ, это сотни сессий на 8 GPU h100. ... 33b-awq от deepseek или qwen - идеальный вариант... по 30-50 сессий на карточку будут работать."

Что происходит: Модели среднего размера (32B-33B), сжатые с помощью AWQ, — это "золотая середина". Они достаточно умны для большинства задач, но при этом достаточно компактны.

Простая аналогия: Это как заменить 10 огромных грузовиков (моделей 70B) на 100 компактных и быстрых хэтчбеков (моделей 33B). На той же самой парковке (8 карт H100) вы сможете разместить гораздо больше машин и обслужить гораздо больше клиентов (сотни сессий).

---
Итог доступным языком:

Речь идет о балансе между "умностью" модели и количеством пользователей, которых она может обслуживать одновременно.

Вывод спикера: Для большинства практических задач модель размером 32B-33B — это идеальный выбор, который позволяет и хорошо отвечать, и обслуживать много людей без астрономических затрат.

Надеюсь, теперь стало понятнее! Это как раз та инженерная "кухня", которая стоит за любым популярным чат-ботом.

#ai #ии #нейросети

Сервер готов

Помните я рассказывал, что мы начали разрабатывать контент завод?

Так вот он готов)

Это первое видео, которое он произвел.

Алгоритм простой:
1. Нейронка составляет список тем для видео;
2. По каждой теме создается 3 хука;
4. Из их генерируется текст для видео;
5. На его основании создается аватар, который читает этот текст;
6. Создаются картинки на задний фон;
7. Все собирается в единое видео и выкладывается.

Принимаем заказы на настройку контент завода для вас.

Цена 1 видео выходит около 500 рублей.

#контентзавод #ии #ai #aigenerated

В процессе создания контента всплывают мелкие огрехи.

Например, послушайте, как она говорит VRAM😂

VR AM

Вылечили это вот таким промтом

Transliterate English abbreviations into Russian.
Transliteration only, no translation.

#контентзавод #нейросети #aicreator

Всем кажется что спикер реальный. это хороший результат)

Это топовый сервер на сегодняшний день в мире
8 штук Н200. Около 1.1 Тб быстрой памяти.

Давайте посмотрим что на нем можно запустить:

Мощный чат-бот / ассистент: Запустите Llama 3 70B Instruct в vLLM и обслуживайте десятки/сотни одновременных пользователей с низкой задержкой.

Пакетная обработка текстов: Суммаризация, перевод, извлечение информации из миллионов документов.

Собственный аналог Midjourney: Запустите кластер из инстансов Stable Diffusion 3 для генерации изображений по запросам.

RAG-система корпоративного уровня: Быстрый и точный поиск по внутренней базе знаний с помощью большой LLM.

#H200 #ai #21cloud

За эту неделю отточили ИИ-спикера.
Убрали мелкие баги.

Например, ему часто кажется, что он мужчина и он начинает говорить глаголами в прошедшем времени в мужском роде.

Иногда, он терялся во времени, и думал, что живет в 2024 году, соответственно это отражалось в его текстах.

В общем, в работе с нейросетями бывают загадочные вещи. Ведь мы не можем указать четкие параметры, а апеллируем только промтом.

Вот несколько рекомендаций, чтоб нейронка прислушивалась к промту:

- все самое важное пишите в конце промта;
- четко обозначайте все мелкие детали;
- добавляйте раздел « дополнительно» и пишите туда все, что не хотите, чтоб она делала.

Сегодня на Баркемп 20.35 Владимир Катцов представитель Росгидромета рассказал, как они исполузуют ИИ для прогнозирования погоды и изменения климата.
Вроде бы вполне логичное применение, но такое неожиданное.

Это второй вариант нашего ИИ-спикера. Теперь он еще более похож на живого человека.

И самое главное, его можно переодевать.

В этом видео мы рассказываем про транскрибацию записей с рабочих встреч и совещаний.

Расшифрованные записи всех совещаний легко поддаются работе с ИИ. Он делает выжимки и рассылает их по почте ключевым сотрудникам.

Так мы всегда знаем, что обсуждалось месяц назад и выполнены ли все задачи.

Но самая мощная вещь это аналитика, которую может сделать ИИ.

1. Вы можете знать эмоциональное состояние и вовлеченность всех сотрудников.
2. Через время
нейросеть считает эмоциональный портрет сотрудников и сможет подсказать, кто справится с задачей оптимально.
3. На базе этих архивов можно проводить онбординг новичков, которым проще будет вникнуть в проект.
4. И полная конфиденциальность коммерческой тайны, ведь данные не отдаются chat GPT, а хранятся на вашем сервере

🚀 Почему бизнес массово внедряет ИИ?
Мы выделили ТОП-9 запросов от корпоративных клиентов

Все уже поняли, что ИИ — не просто игрушка, а мощный инструмент для оптимизации затрат и роста. Мы проанализировали, какие именно ИИ-услуги компании заказывают чаще всего. Делимся списком и расшифровкой.

1. Обучение работе с ИИ
Что это: Не разовые лекции, а практические воркшопы для команд. Учим сотрудников использовать ChatGPT, Midjourney и другие нейросети в их ежедневных задачах: от написания коммерческих предложений до анализа данных.
Зачем нужно: Чтобы технологии не пылились в углу, а стали рабочим инструментом, который повышает производительность каждого сотрудника.

2. Генерация фото
Что это: Создание уникальных изображений для рекламы, сайтов, презентаций и соцсетей по текстовому описанию (prompt).
Зачем нужно: Экономия на стоковых фото и фотографах. Можно быстро получить картинку в нужном стиле, не нарушая авторские права. Идеально для креативов, упаковки и визуального контента.

3. Генерация видео
Что это: Создание коротких рекламных роликов, промо-материалов или обучающих видео из текста или по раскадровке.
Зачем нужно: Видеоконтент — король. Но его производство традиционными методами дорого и долго. ИИ позволяет делать его быстро, дешево и массово.

4. ИИ-спикеры для бизнеса
Что это: Цифровые аватары , которые могут рассказывать в видео роликах о продукте компании.
Зачем нужно: Автоматизация производства контента и снижение его себестоимости.

5. Приватный ChatGPT с базой знаний компании
Что это: Внутренний чат-бот, который обучен на вашей документации, регламентах, проектах и переписке. Сотрудники задают ему вопросы, а он ищет ответы внутри компании.
Зачем нужно: Новые сотрудники быстрее адаптируются, а опытные — не тратят часы на поиск информации в разных источниках. Знания компании структурируются и становятся доступными в один клик.

6. Транскрибация и аналитика совещаний
Что это: Автоматическое преобразование аудиозаписей митингов в текст с последующим анализом: выделение тезисов, задач, ответственных и даже эмоционального фона.
Зачем нужно: Больше никто не ведет протакол совещаний. Все договоренности и задачи фиксируются автоматически, что повышает дисциплину и исполнительскую дисциплину. А аналитика накопленной информации позволяет принимать бизнес решения.

7. Юридический ИИ-помощник
Что это: Специализированный ИИ, который помогает юристам проверять договоры, искать неточности, составлять типовые документы и отслеживать изменения в законодательстве.
Зачем нужно: Снижение нагрузки на дорогостоящих юристов, минимизация человеческих ошибок и рисков. Быстрое резюме договора для собственника.

8. Аренда серверного GPU-оборудования
Что это: Предоставление доступа к мощным видеокартам (GPU) для обучения собственных моделей ИИ или запуска ресурсоемких задач, вроде рендера или сложных вычислений.
Зачем нужно: Компаниям не нужно покупать дорогостоящее "железо", которое быстро устаревает. Можно арендовать мощности на время проекта, экономя капитальные расходы.

9. Ботофермы для ответов на комментарии
Что это: Настройка автоматизированных систем (на основе ИИ), которые могут модерировать комментарии в соцсетях, отвечать на частые вопросы или даже генерировать вовлекающие ответы от имени бренда.
Зачем нужно: Сохранение репутации, масштабирование общения с аудиторией и разгрузка SMM-отдела от рутины.



Бизнес перестал экспериментировать и начал системно внедрять ИИ в свои процессы. Главные драйверы — экономия времени, денег и масштабирование.
А ваша компания уже использует что-то из этого списка? Или, может, есть запрос, которого в нем нет? Пишите в комментарии! 👇

Последние две недели эксперементируем с нейросетями для генерации видео на публичных сервисах и на своем оборудовании.

Вот к каким выводам пришли:

1. Если нужно генерировать стандартные видео, то проще и выгоднее это делать на публичных сервисах, чем на собственном железе. Скорость и цена получаются выше.

2. если нужно добавить изображение реального товара в видео, то для этого нам понадобится добавить небольшой датасет в нейросеть, а это можно сделать только на своем сервере.

3. Голос крайне важен. Для генерации голоса лучше ипользовать специализированную нейронку.

4. Если нам нужно получить длинное видео, то лучше его генерировать из склеенных маленьких видео по 3-4 секунды, при этом последний кадр прошлого видео является первым кадром следующего

5. у каждой нейросети есть параметры разрешения экрана и длительности под которые она обучена. если мы выходим за эти приделы, то ошибок становится больше

Ваш компания — в одном чате: Зачем внедрять приватный AI-ассистента с базой знаний

Представьте, что у каждого вашего сотрудника есть личный консультант, который в курсе всех процессов, правил и проектов компании. Он не ходит в отпуск, не болеет и отвечает за секунды. Это не фантастика — это приватный ChatGPT, обученный на внутренней документации вашей компании.

Что это такое?

Это внутренний чат-бот с искусственным интеллектом, который развернут на ваших серверах или в защищенном облаке. Вы «скармливаете» ему всю корпоративную информацию:

• Базы знаний и Wiki: Онлайн-энциклопедии компании.
• Регламенты и инструкции: Как оформить отпуск, согласовать договор, получить доступ к системам.
• Внутренние проекты и документация: Технические задания, отчеты, презентации.
• Историческую переписку: (С соблюдением конфиденциальности) Решения по прошлым проектам, обсуждения задач.

В результате вы получаете единый интеллектуальный интерфейс для поиска информации. Сотрудники просто задают вопросы в чат, а AI находит и структурирует ответы, используя только внутренние источники.

Зачем это нужно? Решаем главные боли компаний

1. Для новичков: Адаптация за дни, а не за месяцы

Новый сотрудник тратит первые недели на то, чтобы просто понять, «где что лежит» и как все устроено. С AI-ассистентом этот процесс ускоряется в разы.
• Вопрос новичка: «Как подключиться к корпоративному VPN?»
• Обычный сценарий: Писать коллеге или HR, ждать ответа, искать ссылку в чатах.
• С AI-ассистентом: Мгновенный ответ с пошаговой инструкцией и ссылкой на нужный документ.

2. Для опытных сотрудников: Прекращаем «информационную охоту»

Даже senior-специалисты тратят до 20-30% рабочего времени на поиск информации: «А где тут последняя версия брифов?», «Какие были правки по проекту от клиента в прошлом квартале?», «Кто отвечает за согласование в отделе маркетинга?».
• Вопрос сотрудника: «Какие были ключевые требования по проекту «Альфа» от клиента?»
• Обычный сценарий: Рыться в почте, пролистывать десятки чатов, открывать кучу папок.
• С AI-ассистентом: Четкий, суммированный ответ, извлеченный из ТЗ, переписки и презентаций.

3. Для компании в целом: Знания не уходят вместе с сотрудниками

Люди увольняются, но их опыт и знания, оставшиеся в переписках и файлах, чаще всего навсегда теряются для компании. Приватный чат-бот аккумулирует этот массив данных, делая его активом компании, а не отдельного человека.
• Выгода: Ни один ценный инсайт или решение не пропадут в недрах личной почты уволившегося менеджера.

4. Структурирование хаоса

Во многих организациях информация разбросана по разным дискам, почте, мессенджерам и локальным компьютерам. Внедрение такой системы — это мощный стимул навести порядок в документах и создать единое источник истины.

Как это работает?

1 Загрузка данных: Вы подключаете все ваши источники информации — Google Drive, Confluence, SharePoint, Notion, корпоративную почту (с ограничениями доступа) и т.д.

2 Обучение модели: AI-модель индексирует и обрабатывает все документы, не запоминая их «наизусть», а создавая сложные связи между понятиями.

3 Вопрос-ответ: Сотрудник задает вопрос в простом чате. Система находит релевантные фрагменты во всех документах и генерирует связный, удобочитаемый ответ со ссылками на первоисточники.

Итог

Приватный ChatGPT с базой знаний компании — это не просто «еще один чат-бот». Это переход на новый уровень операционной эффективности. Это инвестиция в то, чтобы ваша команда меньше времени тратила на поиск информации и больше — на ее применение для достижения бизнес-результатов.
Знания вашей компании становятся не просто архивом, а активным инструментом, доступным в один клик.