Forwarded from эйай ньюз
LLaMa 30B на 6GB RAM
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit кввнтизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все жезакрытому AI OpenAI у себя в закромах держать.
@ai_newz
Блин, как здорово, когда что-то в опен-соурсе допиливается коллективным разумом до невероятных результатов.
Чел отимизировал загрузку весов в LLaMa.cpp с помощью mmap, и теперь инференс 30B модели можно гонять на CPU на Линуксе, используя меньше 6 GB RAM 🤯. Скорость холодного запуска модели тоже серьезно возросла.
Сами веса 4-bit кввнтизованной LLaMa 30B занимают 20 GB на диске, но после оптимизации, со слов автора пул-реквеста, при загрузке модель дает всего 4GB футпринт в RAM. Всё благодаря ленивому чтению с помощью mmap, который подгружает с диска в RAM только нужные в текущий момент страницы памяти.
Каждый день мы видим новые оптимизации и трюки. Модели становятся меньше, быстрее и мощнее, что расширяет их область применения и доступность. Это не может не радовать. Не все же
@ai_newz
👍12🔥1
У Бурна на аукционе на полное прохождение игры победили игрв майлюру с чатом (Дурак Онлайн, Русский бильярд, домино и т.д.). 30 часов топ контента. Лейся годнота. Начало уже завтра на https://www.twitch.tv/unclebjorn .
😁9👍1
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
С прошедшим днём Смеха, и с ещё одним днём без AGI 😁.
Забыл только stackoverflow дать по щам.
@ai_newz
Забыл только stackoverflow дать по щам.
@ai_newz
❤9
Forwarded from Джимми Нейрон 🚀
Возможно вы уже видели капсульную коллекцию одежды от Яндекс Маркета «Садо-ботанический панк»?
Опытные любители нейроарта конечно же сразу распознали, что это была шутка! Вместе с ребятами из Маркета мы придумали и сгенерировали эти образы, вдохновленные забавными названиями семян. А кто из нас не смеялся в отделе семян в ботаническом магазине?
Короче говоря получился вот такой перформанс к первому апреля! Всех с праздником✨
В комментах еще куча безумных вариантов
Опытные любители нейроарта конечно же сразу распознали, что это была шутка! Вместе с ребятами из Маркета мы придумали и сгенерировали эти образы, вдохновленные забавными названиями семян. А кто из нас не смеялся в отделе семян в ботаническом магазине?
Короче говоря получился вот такой перформанс к первому апреля! Всех с праздником✨
В комментах еще куча безумных вариантов
💩10👍4😁2