Очень крутая статья разбора работы VLLM, очень не хватало такого, для общего понимания архитектуры VLLM, чтобы делать какие-то свои модификации, которые не предусмотренны изначальным фреймворком
https://www.aleksagordic.com/blog/vllm
https://www.aleksagordic.com/blog/vllm
Aleksagordic
Inside vLLM: Anatomy of a High-Throughput LLM Inference System - Aleksa Gordić
From paged attention, continuous batching, prefix caching, specdec, etc. to multi-GPU, multi-node dynamic serving at scale.
🔥11😱3❤1
Технический ютуб за последние время (года три) вырос каким-то невероятными темпами.
Возможно дело еще и в улучшенных рекомендациях.
Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.
https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL
Возможно дело еще и в улучшенных рекомендациях.
Вот мне выпало очень хорошее видео с объяснением как работают диффузионные модели, для тех кому не достаточного простого объяснения о том, что они выучивают noise diff для каждого шага.
https://youtu.be/1pgiu--4W3I?si=pCoIjSkQOOw49PYL
YouTube
The Breakthrough Behind Modern AI Image Generators | Diffusion Models Part 1
Diffusion models are a key innovation with far-reaching impacts on multiple fields in machine learning, being the technology behind OpenAI's DALL-E and Sora, Google's Imagen, Stable Diffusion, Midjourney, and more. Developed initially for image generation…
👀12🔥5👍2
Среди тонны булщита и бесполезных статей, где люди в общих чертах описывают какие-то технологии, о внутреннем устройстве которых не имеют ни малейшего, очень приятно встречать такое
https://www.cerebras.ai/blog/moe-guide-debug
https://www.cerebras.ai/blog/moe-guide-debug
www.cerebras.ai
Cerebras is the go-to platform for fast and effortless AI training. Learn more at cerebras.ai.
🔥4🤔2
Какая умная штука (nano banana), можно адаптировать любой контент под юзера.
Столько кейсов можно придумать с рекламой и в целом генерацией контента
Попросил сделать такой же мем, но про альпинистов
Столько кейсов можно придумать с рекламой и в целом генерацией контента
Попросил сделать такой же мем, но про альпинистов
🔥14
Forwarded from Павел Дуров
В качестве логотипа сети
Please open Telegram to view this post
VIEW IN TELEGRAM
Cocoon
Confidential Compute Open Network
Cocoon connects GPU power, AI, and Telegram’s vast ecosystem – all built on privacy and blockchain.
🤣1
Media is too big
VIEW IN TELEGRAM
Неожиданно для себя открыл notebooklm.google.com
Это чуть больше чем чат с моделью, скорее такой research scratchpad, куда можно накидать ссылки, документы и анализировать результат вместе с моделькой.
Вроде как есть колоборативный режим, но я не со всем до конца разобрался.
Закинул ссылку на доку pytorch про управление памятью и ради интереса нажал *Generate video*.
И на удивление вышло очень хорошо. Вашему вниманию обучающий ролик - что такое pined memory и как работает non blocking data transfer.
Это чуть больше чем чат с моделью, скорее такой research scratchpad, куда можно накидать ссылки, документы и анализировать результат вместе с моделькой.
Вроде как есть колоборативный режим, но я не со всем до конца разобрался.
Закинул ссылку на доку pytorch про управление памятью и ради интереса нажал *Generate video*.
И на удивление вышло очень хорошо. Вашему вниманию обучающий ролик - что такое pined memory и как работает non blocking data transfer.
🗿13👎2❤1
Я обожаю горы, в целом рельеф земли это мое второе хобби.
И одна из самых прикольных штук, что есть рельефах - влияние ледников. Для человека не знающего - это просто кусок льда, но на деле этот кусок льда делает очень много интересных изменений в пейзаже, который цепляет человеческий взгляд.
Уэальс, англия и шотландия полны следов древних ледников, в виде больших U образных долин, по валийски - cwm.
И мне всегда было интересно увидеть как это выглядело, когда ледники еще не совсем расстаяли - 11 тысяч лет назад.
Теперь у нас есть нана банана, и это можно посмотреть своими глазами!
На картинке - Eryri (Wales) и High Cup Nick (England)
И одна из самых прикольных штук, что есть рельефах - влияние ледников. Для человека не знающего - это просто кусок льда, но на деле этот кусок льда делает очень много интересных изменений в пейзаже, который цепляет человеческий взгляд.
Уэальс, англия и шотландия полны следов древних ледников, в виде больших U образных долин, по валийски - cwm.
И мне всегда было интересно увидеть как это выглядело, когда ледники еще не совсем расстаяли - 11 тысяч лет назад.
Теперь у нас есть нана банана, и это можно посмотреть своими глазами!
На картинке - Eryri (Wales) и High Cup Nick (England)
🔥10🍌3