Подобные видосы уже не редкость на просторах интернетов, но каждый раз когда вижу такое, очень радуюсь. Ты просто нарисовал, а после написал железяке что хочешь от нее получить, а на выходе почти мгновенно получаешь исходники (и они даже работают). ПРЯМ МАГИЯ КАКАЯ-ТО!!!!

В удивительное время живём.

Да

А вот это реально крутое применение ИИ. Надеюсь, в скором времени поможет изжить магазинных воришек.

Только мне кажется, что первое время будет очень много ложных сработок. Но нейронки на то и нейронки, чтобы быстро дообучаться и становиться совершеннее.

Заметил, что стал часто использовать ChatGPT вместо привычного гугла. И дело не в том, что чатжпт сильно круче и технологичнее, а только в том, что блядские поисковики даже на самые простые запросы показывают на первых страницах какие-то мегаогромные статьи написанные SEO-дегенератами (лом им в сраку).

Пытаешься быстро посмотреть как на самсунге включить автозапуск приложения — вся первая страница гугла выдает ссылки на статьи из 39442632494876 слов с историей фирмы самсунг, ее плюсами и минусами, среди которых буквально пара строк имеют отношение к делу.

Алло, блядь, мне нужно быстро решить проблему, если бы я хотел читать десятки страниц нудной хуйни, я бы что-то из тензорной алгебры почитал.

Наконец-то нейронные видеомемы!

UPD: там в комменты еще накидали, посмотрите!

Про обучение LLMок и яндексовый опенсорс

Недавно постил вот такую картинку. Если поразмышлять, то вообще-то говоря, стоимость сильно зависит от географии. Железки и электричество стоят везде по-разному. А экономить можно ещё и на софте и оптимизациях.
То, что сегодня яндекс опенсорснул свою библиотеку YaFSDP, интересное событие с точки зрения новой эры в обучении моделей.

Основное из их новости:

– яндекс пишет, что решение позволяет ускорить до 25% обучение LLM с открытым исходным кодом
– обещают, что с YaFSDP экономия памяти GPU может достигать 20%
– ну и показывают результаты теста библиотеки на сторонних нейросетях (на примере модели LLaMA 2 этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней)
– исходный код уже есть на GitHub, посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — на Хабре.

Коллеги посчитали, реально ли с помощью решения можно сэкономить от $0.5M за месяц обучения модели, и соорудили формулу.

Стоимость аренды GPU в час * количество часов * количество дней * количество GPU * (коэффициент на сколько оптимизируем ресурсы) = экономия

Ну и проверили экономию на примере Google Cloud и Fluidstack:

Считаем у Гугла, параметры выходят такие:

1) 1312 H100
2) Месяц обучения
3) Цена за GPU: $3.98/h
4) Экономия 20% ресурсов

Общая экономия в месяц: 3.92*30*1312*(0.2/1.2)*24 = $601 тыс

Теперь у FluidStack:

1) 1312 H100
2) Месяц обучения
3) Цена за GPU: $3.75/h
4) Экономия 20% ресурсов

Общая экономия в месяц: 3.75*30*1312*(0.2/1.2)*24 = $566 тыс

Это я к чему: YaFSDP надо детальнее изучать, но возможно она будет полезна тем, кто не может позволить себе ацкого железа и для тех, кто использует ГПУ в облаке. А оптимизация идёт за счёт софта.