Во первых снова здраствуйте, накатывает меня любовь к работе с какой-то непостоянной преодичностью.

Во вторых, оказывается есть какой-то сайт Amazon Code Guru, что-то типа ответов мейл ру, но про программирование.

В третьих, я там нашел ответ на неочевидный вопрос.
Уже в нескольких проектах у себя наблюдал странное поведение памяти на машине, она росла линейно, пока не кончалась эпоха, после чего потребление падало, так эта пила шла до самого конца.
Я все не мог понять в чем дело, но было не так интересно, потому что у машины был почти терабайт памяти, смысла парится не было, а тут машиинка поменялась и я стал вылетать в OOM.

Оказалось дело в использовании питоновского List.

Using DataLoader with num_workers greater than 0 can cause increased memory consumption over time when iterating over native Python objects such as list or dict. Pytorch uses multiprocessing in this scenario placing the data in shared memory. However, reference counting triggers copy-on-writes which over time increases the memory consumption. This behavior resembles a memory-leak. Using pandas, numpy, or pyarrow arrays solves this problem

https://docs.aws.amazon.com/codeguru/detector-library/python/pytorch-data-loader-with-multiple-workers/#

Очень крутая статья разбора работы VLLM, очень не хватало такого, для общего понимания архитектуры VLLM, чтобы делать какие-то свои модификации, которые не предусмотренны изначальным фреймворком

https://www.aleksagordic.com/blog/vllm

Оказывается в приложении ютуба есть статистика и напоминания потрогать траву и поспать

Технический ютуб за последние время (года три) вырос каким-то невероятными темпами.
Возможно дело еще и в улучшенных рекомендациях.

Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.

https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL

Среди тонны булщита и бесполезных статей, где люди в общих чертах описывают какие-то технологии, о внутреннем устройстве которых не имеют ни малейшего, очень приятно встречать такое

https://www.cerebras.ai/blog/moe-guide-debug

Кажется в Telegram изобрели Vast.AI

Неожиданно для себя открыл notebooklm.google.com

Это чуть больше чем чат с моделью, скорее такой research scratchpad, куда можно накидать ссылки, документы и анализировать результат вместе с моделькой.
Вроде как есть колоборативный режим, но я не со всем до конца разобрался.

Закинул ссылку на доку pytorch про управление памятью и ради интереса нажал *Generate video*.

И на удивление вышло очень хорошо. Вашему вниманию обучающий ролик - что такое pined memory и как работает non blocking data transfer.