Если вдруг вы задумались об аренде сервера или сборке своего собственного для запуска LLM, то у меня для вас кое-что есть

CPU inference == боль в попе

Даже 8 ядер и 16 гб ОЗУ дадут максимум 15 токенов в секунду, что можно сравнить со скоростью выполнения кода на джаве

А на GPU, ну...
просто смотреть дорого...

Для простого работяги цена ошибки - выкинутый месяц работы

Но какой-то китаец озаботился вопросом и погонял популярные модели на популярном железе
Так что держите мега ценную и мега полезную табличку

https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference

Даниил Пилипенко - основатель агентства по оценке айти специалистов SymbioWay

https://news.1rj.ru/str/SortedMapNotes

Встретился с Артёмом, автором канала Несерьёзный Шарпист

В Питере сейчас жесть как светло

Делаем подкаст?
Ставь ❤️

Был в книжном и видел «Чистый код» Мартина и «Совершенный код» Макконнелла

Брать не стал, так как засомневался в их актуальности

Как думаете, эти книги устарели?

Semantic Kernel

Это вторая после Roslyn плагинов технология, в которую надо инвестировать себя как шарписта, чтобы опережать 99% программистов на рынке труда

Этот фреймворк позволяет легко и непринуждённо интегрировать большие языковые модели и другие NLP инструменты в свой галерный кровавый ынтэрпрайз

В этот четверг, 19 июня в 19:15 проведу эфир про SK в Шарпизме

Думайте. Подписаться

Большой Шарпизм
- Карьерные советы по IT
- Технические эфиры про C#
- Экслюзивные материалы StepOne
- Консультации подписчиков
- Приглашённые эксперты
- Сообщество

Равенство строк и API

Как мы знаем в C# к строкам возможно применять сравнение через оператор:

"asf" == "asf"

А с введением System.Numerics такую возможность можно ожидать от типа, если он реализует IEqualityOperators

Однако, класс строки не реализует интерфейс IEqualityOperators<string, string, bool>

А почему? Да потому

Microsoft подумал, что такой API будет навязывать программистом сравнение строк не так, как они хотят

В результате имеем неполноценную совместимость. Грустно

Ну щас как напроектирую!

Прошёл курс Владимира Балуна по System Design и теперь советую своим СтепВанчикам

Что мне очень понравилось - курс полезен не только как инструмент для взлома сис диз собесов, но и как база знаний по бекенду

Внутри всё разложено по полочкам и систематизированно так, что чувствуешь - это делал инженер для других инженеров

Из минусов - темп очень быстрый, информации много, загруз плотный. Очень легко не успеть и забить

Особенно рекомендую выбить из жадного работодателя в рамках корп обучения, чтобы проходить в рабочее время, а не личное

Всем Большой Шарпизм