Новинка от Apple: как запускать LLM на устройствах с ограниченной памятью
Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:
1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.
2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.
Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.
Хороша работа, советуем прочитать полностью.
😻 #advice #news
Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:
1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.
2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.
Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.
Хороша работа, советуем прочитать полностью.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤46🔥16👍8🤓3❤🔥1
Как Netflix Prize изменил рекомендательные системы навсегда
Лестер Макки был старшим специалистом по информатике в Принстоне, когда его друг ворвался в его комнату в общежитии с этими словами. На дворе был 2006 год. Хотите знать, что было дальше? Поехали!
"НАМ НУЖНО ВЫИГРАТЬ МИЛЛИОН ДОЛЛАРОВ"
Лестер Макки был старшим специалистом по информатике в Принстоне, когда его друг ворвался в его комнату в общежитии с этими словами. На дворе был 2006 год. Хотите знать, что было дальше? Поехали!
❤🔥52🔥13👍9❤3🤯2
Завезли статью про Gemini от Google
Ну как статью, тех.репорт. В технические и архитектурные детали исследователи не вдавались, но упомянули, что вдохновлялись Flamingo, CoCa и PaLI, а для восприятия аудиосигналов используют технологию Universal Speech Model. Также хвастаются, что Gemini Nano стала best-in-class small language models за счет умной дестилляции и алгоритмов трейна.
Есть также некоторые детали по поводу обучения, датасетов и токенизатора, и конечно, огромная глава с тестами.
😻 #news
Ну как статью, тех.репорт. В технические и архитектурные детали исследователи не вдавались, но упомянули, что вдохновлялись Flamingo, CoCa и PaLI, а для восприятия аудиосигналов используют технологию Universal Speech Model. Также хвастаются, что Gemini Nano стала best-in-class small language models за счет умной дестилляции и алгоритмов трейна.
Есть также некоторые детали по поводу обучения, датасетов и токенизатора, и конечно, огромная глава с тестами.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23🔥7👍4🎉4🤯2
Популярность песни “All I want for Christmas is you” с алгоритмом SARIMA
Тут у исследователей появилось новогоднее настроение, и они решили предсказать популярность хита Марайи Кэри с помощью алгоритма SARIMA (тоже в каком-то смысле хита).
Собрали данные с YouTube, провели EDA, применили SARIMAX и выяснили, что популярность песни будет на уровне 58% от исходной.
Ну что же, 1 января проверим!
Тут у исследователей появилось новогоднее настроение, и они решили предсказать популярность хита Марайи Кэри с помощью алгоритма SARIMA (тоже в каком-то смысле хита).
Собрали данные с YouTube, провели EDA, применили SARIMAX и выяснили, что популярность песни будет на уровне 58% от исходной.
Ну что же, 1 января проверим!
🔥34🎅11😁7👍5❤2❤🔥1
Зарелизили новую MidJourney 6
Все ждали, что «ну уж к этой версии они точно прикрутят LLM». Но нет. Ребята просто изменили структуру запроса к сервису и рекомендуют ее придерживаться, чтобы получать хорошие генерации. Хотя и без этого в обновлении модель все-таки понимает промпты чуть лучше.
А что до качества – тут все как всегда на высоте, картинки не отличишь от фотографий. Максимальное разрешение увеличилось почти вдвое и стало 2048 × 2048. А еще появилась возможность создания 3D-моделей.
Пробовать тут
Все ждали, что «ну уж к этой версии они точно прикрутят LLM». Но нет. Ребята просто изменили структуру запроса к сервису и рекомендуют ее придерживаться, чтобы получать хорошие генерации. Хотя и без этого в обновлении модель все-таки понимает промпты чуть лучше.
А что до качества – тут все как всегда на высоте, картинки не отличишь от фотографий. Максимальное разрешение увеличилось почти вдвое и стало 2048 × 2048. А еще появилась возможность создания 3D-моделей.
Пробовать тут
❤34🔥14👏8👍1🆒1
Кроссворд для истинных знатоков Deep Learning
Должно быть не сложно, но интересно. Все ответы на русском языке.
По горизонтали:
1. У LSTM она и долгосрочная, и краткосрочная
4. Лучше, чем CPU
5. Лучше, чем Keras
6. Без нее все было бы линейно
8. Сжатое представление чего-нибудь
10. Танос в мире нейросетей
11. Нет ничего круче для CV
По вертикали:
2. Иногда затухает, а бывает взрывается
3. Не Оптимус Прайм, но тоже мощно
7. … – is all you need
9. Когда на трейне ты Лев Толстой, а на тесте…
12. С ними главное не переборщить
Должно быть не сложно, но интересно. Все ответы на русском языке.
По горизонтали:
1. У LSTM она и долгосрочная, и краткосрочная
4. Лучше, чем CPU
5. Лучше, чем Keras
6. Без нее все было бы линейно
8. Сжатое представление чего-нибудь
10. Танос в мире нейросетей
11. Нет ничего круче для CV
По вертикали:
2. Иногда затухает, а бывает взрывается
3. Не Оптимус Прайм, но тоже мощно
7. … – is all you need
9. Когда на трейне ты Лев Толстой, а на тесте…
12. С ними главное не переборщить
👍41🔥15❤6🦄4
Forwarded from XOR
Для тех, кто залетел в IT ради денег печальные факты: выгоднее не данные обрабатывать, а землю под дата-центры продавать.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁102👍12❤8🤯6
Угадайте, сколько получают исследователи в OpenAI в месяц?
Anonymous Quiz
6%
1 000$
15%
10 000$
20%
15 000 - 20 000$
12%
30 000 - 40 000$
21%
50 000 - 70 000$
25%
100 000$
🤯91👍12👻5🎄2☃1❤1😁1
Инженеры в OpenAI действительно получают до 67$ тыс. в месяц
Это подтверждает недавнее исследование Bloomberg. На веб-сайте OpenAI зарплаты на инженерные должности составляет 200.000 – 370.000$ в год, но, учитывая бонусы и премии, средняя зарплата приближается к 800.000 долларов США.
Это, кстати, примерно на 12% выше, чем получают инженеры, не владеющие знаниями ИИ. К тому же, оказалось, что OpenAI является "зарплатным лидером" в секторе ИИ. В NVIDIA, например, получают в два раза меньше.
Что тут скажешь, спрос и предложение.
Это подтверждает недавнее исследование Bloomberg. На веб-сайте OpenAI зарплаты на инженерные должности составляет 200.000 – 370.000$ в год, но, учитывая бонусы и премии, средняя зарплата приближается к 800.000 долларов США.
Это, кстати, примерно на 12% выше, чем получают инженеры, не владеющие знаниями ИИ. К тому же, оказалось, что OpenAI является "зарплатным лидером" в секторе ИИ. В NVIDIA, например, получают в два раза меньше.
Что тут скажешь, спрос и предложение.
❤50🔥17👍10🤯6🤪3⚡1🤩1
Воскресная задача
Простая, но не слишком. Придется показать знания теории и опыт:
Если на кросс-валидации одна модель показывает скор 0.8, а другая 0.85, означает ли это, что вторая модель лучше? Почему?
Простая, но не слишком. Придется показать знания теории и опыт:
Если на кросс-валидации одна модель показывает скор 0.8, а другая 0.85, означает ли это, что вторая модель лучше? Почему?
❤14🤪5
Расходимся, AGI в 2024 не завезут
Об этом сообщил Сэм Альтман в своем твите. Жаль, конечно, но ничего: зато CEO намекнул на множество других крутых релизов.
Кстати, недавно Альтман выкатил список life-советов (Durov’s moment). Читаем, вдохновляемся, настраиваемся на продуктивную, а главное последнюю (!) рабочую неделю в этом году.
Об этом сообщил Сэм Альтман в своем твите. Жаль, конечно, но ничего: зато CEO намекнул на множество других крутых релизов.
Кстати, недавно Альтман выкатил список life-советов (Durov’s moment). Читаем, вдохновляемся, настраиваемся на продуктивную, а главное последнюю (!) рабочую неделю в этом году.
⚡25😁11🌚5👍4❤1
То, что все пропустили
На днях мы писали о новом исследовании от Apple про развертывание LLM на устройствах с ограниченной памятью. Как оказалось, это не единственная их работа за последнее время. Компания также выпустила статью, в которой предлагает HUGS (Human Gaussian Splats) для генерации анимированных 3D-аватаров из коротких видео. HUGS оказался в 100 раз быстрее в обучении и инференсе, чем все предшествующие методы. Получается фотореалистично и бодро.
Казалось бы, ничего особенного. Но! Незамеченным также оказался октябрьский выпуск мультимодальной LLM от Apple и Колумбийского университета. Самое удивительное – работа опенсорсная (хотя обычно компания не отличается открытостью). Многие в сообществе отметили неожиданный выход Apple на LLM-сцену и их мощный потенциал.
Похоже, 16 айфон будет ИИнтересным
На днях мы писали о новом исследовании от Apple про развертывание LLM на устройствах с ограниченной памятью. Как оказалось, это не единственная их работа за последнее время. Компания также выпустила статью, в которой предлагает HUGS (Human Gaussian Splats) для генерации анимированных 3D-аватаров из коротких видео. HUGS оказался в 100 раз быстрее в обучении и инференсе, чем все предшествующие методы. Получается фотореалистично и бодро.
Казалось бы, ничего особенного. Но! Незамеченным также оказался октябрьский выпуск мультимодальной LLM от Apple и Колумбийского университета. Самое удивительное – работа опенсорсная (хотя обычно компания не отличается открытостью). Многие в сообществе отметили неожиданный выход Apple на LLM-сцену и их мощный потенциал.
Похоже, 16 айфон будет ИИнтересным
👍30❤4🔥4❤🔥2
Министерство обороны России требует запрета ChatGPT
По их мнению, модель воспроизводит мнения своих создателей. Это когнитивная ловушка (нейросеть сравнили с Википедией), которая может заставить молодых россиях хотеть жить в США.
Чиновники также отметили, что такие алгоритмы не выдают объективного результата и могут быть использованы для сбора разведывательной информации.
Под раздачу также попали MidJourney, Dall-e, StableDiffusion и др. модели, которые способны генерировать контент различных форматов.
По их мнению, модель воспроизводит мнения своих создателей. Это когнитивная ловушка (нейросеть сравнили с Википедией), которая может заставить молодых россиях хотеть жить в США.
Чиновники также отметили, что такие алгоритмы не выдают объективного результата и могут быть использованы для сбора разведывательной информации.
Под раздачу также попали MidJourney, Dall-e, StableDiffusion и др. модели, которые способны генерировать контент различных форматов.
🤯97😁62🗿29🤪12🫡8👍7🌭3❤2🤔1😐1