Звонит и.о. главного инженера. Проблема!!! Я в лучших традициях it crowd - перезагружали? - ДА! Сегодня с утра!. Открываю время работы - 🤦🏼‍♂

Продолжаем рубрику #Hard2Skills: поговорим про ПК для работы с нейросетями. Прежде всего, нужно определиться с тем, будете ли вы работать с нейросетями локально (и с какими) или в облаке.

Если вы решили собрать рабочую станцию со своей нейросеткой, обратите внимание на следующие моменты:

• Первое, о чём стоит подумать, — видеокарта. Для работы с нейросетями оптимальны модели NVIDIA с технологией CUDA. Если есть возможность, можно рассмотреть их установку в паре. Большинство фреймворков позволяют работать с несколькими картами, при применении можно между ними раскидать разные слои или увеличить при обучении размер батча. Базовую современную LLM на такой системе целиком не обучишь, но для LoRA/QLoRA вполне подойдет.

• Что касается процессора, то для работы с нейросетями нужен многоядерный процессор с хорошими ядрами. Здесь AMD выигрывает у Intel. Обратите внимание на линейку Threadripper.

• Оперативной памяти должно быть много. В зависимости от модели обучения локальные нейросети могут загружать ее чуть более чем полностью. Рекомендуется DDR5 не менее 64ГБ. А вот частота не так критична, и вы можете выбрать подходящие для себя планки с 5400-6000Гц. Посмотреть подходящие модели Silicon Power можно по ссылке: https://vk.cc/cxTlWm

• Блок питания должен быть сертифицирован Gold и иметь мощность от одного киловатта.

• Основной накопитель- SSD M2 объемом от 2 ТБ и интерфейсом PCI-E Gen 4 например, SiliconPower XS70 со скоростью чтения 7300 MБ/с и записи 6800 МБ/с, другие характеристики и стоимость можно посмотреть по ссылке: https://vk.cc/cwNEaa
Для хранения данных можно использовать два жестких диска по четыре терабайта и объединить их в RAID.

• Охлаждение лучше делать водяным на три секции или же собрать кастомный вариант.

Мне осталась еще одна остановка...

Потом я возвращаюсь домой.

@itmemas