Сегодня впервые в жизни я стал обладателем профессиональной серверной двухпроцессорной материнской платы.

Раньше я сталкивался с подобным железом только по работе, но вот спустя столько лет смог завести столь прелестного питомца дома :)

Модель: Supermicro X9DRI-LN4F+
Процессоры: 2x Intel Xeon E5-2690 v2 - 10 ядер в каждом, частота 3Ггц
Оперативки: 128Гб, 16 модулей по 8Гб каждый

Пока что в этой крохе будет стоять RTX 3050, но лиха беда начало, платформа есть, а дальше просто буду докупать карточки.

PS. К сожалению материнская плата не влезает в мой корсаровcкий корпус, ибо она E-ATX, так что придется ещё немного потратиться на коробочку подходящую.

#server

Ну в общем удалось собрать сервер в одну коробочку, в качестве корпуса нашёл на Авито вариант для сбора майнинговой фермы (судя по всему это корпус Cryptone на 4x видеокарты, и судя по "качеству" производитель этого корпуса до майнинговой лихорадки выпускал жестяные мангалы), данный корпус мне понравился прежде всего тем, что я купил его за 2тр и что автор в довесок к нему отдал мне несколько райзеров (к сожалению с x16 на x1, так что для нейросетей не самый лучший вариант).

Сам по себе корпус имеет "два уровня", на первом должна по идее располагаться материнская плата, но к сожалению оказалось, что у моей материнки панель ввода-вывода для подключения периферии слегка сдвинута ближе к центру, но я бы закрыл на это глаза, выкрутил бы заднюю крышку да и дело с концом. Однако, оказалось, что технологические отверстия (куда вкручиваются болтики дабы закрепить материнку внутри) опять же рассчитаны на десктопные материнки, поэтому мать надо было двигать вглубь и заодно просверливать новые отверстия (чего прямо сейчас мне делать не хотелось, но этим я как-нибудь в другой раз займусь). Ну и самое главное, мне хотелось использовать мою малютку RTX 3050 через шину PCI-E x16, а при монтаже материнки на "первом этаже" крепления для видеокарт отсутствуют, так как в майнинговой ферме предполагается, что всё на райзерах, но как я упомянул выше разеры у меня только на x1.

Короче пришлось ставить материнку на "втором этаже", там отверстий тоже не было подходящих, так что я проклеил по периметру и по центру ножки от дивана :) чтобы материнка не соприкасалась с корпусом и лежала на нескользящей диэлектрической поверхности. Плюс на "втором этаже" получилось (после небольших модификаций) поставить видекарту напрямую в слот PCI-E и прикрутить к корпусной рейке.

#server

Всю прошлую неделю занимался вопросом сбора Parallel Corpora датасета специализированной технической тематики.

Моя идея крайне проста, хочу обучить модель-эмбеддер которая бы могла:
a) участвовать в пайплайне индексации чанков из текстов для векторного поиска, указанные тексты представляют из себя солянку документации на разные темы на русском и английском языках вперемешку
б) пользователь передавая фразы на русском или английском находил в векторной базе то что ему надо

Иными словами, чтобы можно было сказать "how create a helm chart?" или "как создать хельм чарт?", а векторный поиск вернул одни и те же чанки.

На данный момет мои эксперименты привели меня к следующей схеме:
1) берём базовую sentence transformer модель, в моём случае это Snowflake/snowflake-arctic-embed-xs так как я хочу потому использовать её в ollama
2) дообучаем её на домене технической литературы, на данный момент я собрал датасет только про PHP (2 тысячи пар текста), но хочу ещё сделать датасет по Python, Docker, Kubernets и GoLang
3) полученную модель обучить на Parallel Corpora из пар English<>Russian (сравнение выполняю через MSELoss)

Промежуточный результат на картинках, пока что всё очень плохо :)