Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥42🎉1
FlexGen - движок для запуска AI-ботов, похожих на ChatGPT, на системах с одним GPU
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами.
Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
В состав входит пример скрипта для создания ботов, позволяющего загрузить одну из публично доступных языковых моделей и сразу начать общение (например, выполнив команду "python apps/chatbot.py --model facebook/opt-30b - -percent 0 100 100 0 100 0"). В качестве базовой предлагается использовать опубликованную Facebook крупную языковую модель, обученную на коллекциях BookCorpus (10 тысяч книг), CC-Stories, Pile (OpenSubnoscripts, Wikipedia, DM Mathematics, HackerNews и т.п.), Pushshift.io (на основе данных Reddit) и CCNewsV2 (архив новостей). Модель охватывает около 180 миллиардов токенов (800 ГБ данных). На тренировку модели было потрачено 33 дня работы кластера с 992 GPU NVIDIA A100 80GB.
При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ) движок FlexGen продемонстрировал производительность до 100 раз опережающую ранее предлагавшиеся решения, что делает использование крупных языковых моделей более доступными и позволяет запускать их на системах без специализированных ускорителей. При этом FlexGen может масштабироваться для распараллеливания вычислений при наличии нескольких GPU. Для сокращения размерам модели дополнительно применяется собственная схема сжатия параметров и механизм кэширования моделей.
В настоящее время FlexGen поддерживает только языковые модели OPT, но в дальнейшем разработчики также обещают добавить поддержку моделей BLOOM (176 миллиардов параметров, поддерживает 46 языков и 13 языков программирования), CodeGen (может генерировать код на 22 языках программирования) и GLM. Пример диалога с ботом на базе FlexGen и модели OPT-30B:
Human: What is the name of the tallest mountain in the world?
Assistant: Everest.
Human: I am planning a trip for our anniversary. What things can we do?
Assistant: Well, there are a number of things you can do for your anniversary. First, you can play cards. Second, you can go for a hike. Third, you can go to a museum.
Группа исследователей из Стендфордского университета, Калифорнийского университета в Беркли, Швейцарской высшей технической школы Цюриха, Высшей школы экономики, университета Карнеги — Меллона, а также компаний Yandex и Meta, опубликовала исходные тексты движка для выполнения крупных языковых моделей на системах с ограниченными ресурсами.
Например, движок предоставляет возможность создания функциональности, напоминающей ChatGPT и Copilot, через выполнение готовой натренированной модели OPT-175B, охватывающей 175 миллиардов параметров, на обычном компьютере с игровой видеокартой NVIDIA RTX3090, оснащённой 24GB видеопамяти. Код написан на языке Python, использует фреймворк PyTorch и распространяется под лицензией Apache 2.0.
В состав входит пример скрипта для создания ботов, позволяющего загрузить одну из публично доступных языковых моделей и сразу начать общение (например, выполнив команду "python apps/chatbot.py --model facebook/opt-30b - -percent 0 100 100 0 100 0"). В качестве базовой предлагается использовать опубликованную Facebook крупную языковую модель, обученную на коллекциях BookCorpus (10 тысяч книг), CC-Stories, Pile (OpenSubnoscripts, Wikipedia, DM Mathematics, HackerNews и т.п.), Pushshift.io (на основе данных Reddit) и CCNewsV2 (архив новостей). Модель охватывает около 180 миллиардов токенов (800 ГБ данных). На тренировку модели было потрачено 33 дня работы кластера с 992 GPU NVIDIA A100 80GB.
При выполнении модели OPT-175B на системе с одним GPU NVIDIA T4 (16ГБ) движок FlexGen продемонстрировал производительность до 100 раз опережающую ранее предлагавшиеся решения, что делает использование крупных языковых моделей более доступными и позволяет запускать их на системах без специализированных ускорителей. При этом FlexGen может масштабироваться для распараллеливания вычислений при наличии нескольких GPU. Для сокращения размерам модели дополнительно применяется собственная схема сжатия параметров и механизм кэширования моделей.
В настоящее время FlexGen поддерживает только языковые модели OPT, но в дальнейшем разработчики также обещают добавить поддержку моделей BLOOM (176 миллиардов параметров, поддерживает 46 языков и 13 языков программирования), CodeGen (может генерировать код на 22 языках программирования) и GLM. Пример диалога с ботом на базе FlexGen и модели OPT-30B:
Human: What is the name of the tallest mountain in the world?
Assistant: Everest.
Human: I am planning a trip for our anniversary. What things can we do?
Assistant: Well, there are a number of things you can do for your anniversary. First, you can play cards. Second, you can go for a hike. Third, you can go to a museum.
👍9👎2
Командную оболочку Fish планируют переписать на языке Rust 👣
Петер Аммон, лидер команды разработчиков интерактивной командной оболочки Fish, опубликовал план перевода разработки проекта на язык Rust. Оболочку планируют не переписать с нуля, а постепенно, модуль за модулем, переводить с C++ на язык Rust.
➡️ По мнению разработчиков Fish, применение Rust позволит решить проблемы с многопоточностью, получить более современный и качественно выявляющий ошибки инструментарий, повысить безопасность работы с памятью и избавиться от ошибок.
Инструментарий для языка C++ рассматривается разработчиками как устаревающий, и есть опасения, что при продолжении использования C++ в дальнейшем будут усиливаться трудности с поиском новых участников проекта. Язык Rust рассматривается как более перспективный и активно развивающийся язык с активным и растущим сообществом.
В переходный период сосуществование кода на С++ и Rust будет обеспечиваться при помощи привязок FFI (Foreign Function Interface). В конечном счёте в следующем значительном выпуске планируют полностью перевести проект на язык Rust.
Петер Аммон, лидер команды разработчиков интерактивной командной оболочки Fish, опубликовал план перевода разработки проекта на язык Rust. Оболочку планируют не переписать с нуля, а постепенно, модуль за модулем, переводить с C++ на язык Rust.
Инструментарий для языка C++ рассматривается разработчиками как устаревающий, и есть опасения, что при продолжении использования C++ в дальнейшем будут усиливаться трудности с поиском новых участников проекта. Язык Rust рассматривается как более перспективный и активно развивающийся язык с активным и растущим сообществом.
В переходный период сосуществование кода на С++ и Rust будет обеспечиваться при помощи привязок FFI (Foreign Function Interface). В конечном счёте в следующем значительном выпуске планируют полностью перевести проект на язык Rust.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22🤡21🔥1
Опубликован план продвижения в ядро Linux драйвера Xe для GPU Intel
Дэниел Веттер, инженер из Intel и один из сопровождающих подсистему DRM, опубликовал в списке рассылки разработчиков ядра Linux план продвижения патчей с реализацией драйвера Xe, предназначенного для использования с GPU на базе архитектуры Intel Xe, которая используется в видеокартах семейства Arc и интегрированной графике, начиная с процессоров Tiger Lake.
Драйвер Xe позиционируется как основа для обеспечения поддержки новых чипов, не привязанная к коду для поддержки старых платформ. В течение 2023 года патчи планируется довести до пригодности тестирования энтузиастами, а также по возможности провести рецензирование разработчиками, не связанными с компанией Intel. При оптимистичном сценарии драйвер будет принят в основной состав ядра в конце года.
В настоящее время включению в основной состав ядра мешает то, что код изначально был разработан за закрытыми дверями в отдельной ветке ядра и теперь необходимо провести дополнительную работу по его интеграции с актуальной кодовой базой.
➡️ Драйвер Xe построен с использование новой архитектуры, в которой более активно используются уже существующие компоненты подсистемы DRM (Direct Rendering Manager), а также типовые компоненты драйвера i915, не привязанные к конкретным GPU. В драйверах Xe и i915 планируется обеспечить совместное использование общего кода чтобы избежать дублирования типовых компонентов. В Mesa работа OpenGL и Vulkan поверх драйвера Xe реализована на уровне изменений, внесённых в существующие Mesa-драйверы Iris и ANV.
Дэниел Веттер, инженер из Intel и один из сопровождающих подсистему DRM, опубликовал в списке рассылки разработчиков ядра Linux план продвижения патчей с реализацией драйвера Xe, предназначенного для использования с GPU на базе архитектуры Intel Xe, которая используется в видеокартах семейства Arc и интегрированной графике, начиная с процессоров Tiger Lake.
Драйвер Xe позиционируется как основа для обеспечения поддержки новых чипов, не привязанная к коду для поддержки старых платформ. В течение 2023 года патчи планируется довести до пригодности тестирования энтузиастами, а также по возможности провести рецензирование разработчиками, не связанными с компанией Intel. При оптимистичном сценарии драйвер будет принят в основной состав ядра в конце года.
В настоящее время включению в основной состав ядра мешает то, что код изначально был разработан за закрытыми дверями в отдельной ветке ядра и теперь необходимо провести дополнительную работу по его интеграции с актуальной кодовой базой.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13🔥1🤔1
Филипп Кевиш из Canonical объявил о решении не предоставлять возможность установки пакетов в формате Flatpak в конфигурации по умолчанию официальных редакций Ubuntu. Решение согласовано с разработчиками имеющихся официальных редакций Ubuntu,. Желающим использовать формат Flatpak потребуется отдельно установить пакет для его поддержки из репозитория (deb-пакет flatpak) и при необходимости активировать поддержку каталога Flathub.
Начиная с Ubuntu 23.04 из базовой поставки всех официальных редакций Ubuntu будет исключён deb-пакет flatpak, а также пакеты для обеспечения работы с форматом Flatpak в Центре установки приложений. Пользователи ранее установленных систем, в которых использовались пакеты Flatpak, сохранят возможность использования данного формата после обновления до Ubuntu 23.04. Пользователи не применявшие Flatpak после обновления по умолчанию будут иметь только доступ к Snap Store и штатным репозиториям дистрибутива.
Начиная с Ubuntu 23.04 из базовой поставки всех официальных редакций Ubuntu будет исключён deb-пакет flatpak, а также пакеты для обеспечения работы с форматом Flatpak в Центре установки приложений. Пользователи ранее установленных систем, в которых использовались пакеты Flatpak, сохранят возможность использования данного формата после обновления до Ubuntu 23.04. Пользователи не применявшие Flatpak после обновления по умолчанию будут иметь только доступ к Snap Store и штатным репозиториям дистрибутива.
👎23🤬11🤯7👍3🎉1
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥29😁9❤1👍1👎1
В кодовую базу композитного сервера Mutter, которая будет использована в выпуске GNOME 44, внесены изменения, убирающие поддержку старых версий OpenGL.
Для работы Mutter будут необходимы драйверы с поддержкой как минимум OpenGL 3.1. При этом в Mutter будет сохранена поддержка OpenGL ES 2.0, что позволит сохранить возможность работы на старых видеокартах и на GPU, применяемых на ARM-платах.
Предполагается, что удаление кода для поддержки устаревших версий OpenGL упростит сопровождение кодовой базы и высвободит ресурсы при тестировании новой функциональности.
Для работы Mutter будут необходимы драйверы с поддержкой как минимум OpenGL 3.1. При этом в Mutter будет сохранена поддержка OpenGL ES 2.0, что позволит сохранить возможность работы на старых видеокартах и на GPU, применяемых на ARM-платах.
Предполагается, что удаление кода для поддержки устаревших версий OpenGL упростит сопровождение кодовой базы и высвободит ресурсы при тестировании новой функциональности.
😭11👍2🤡1
В обновление включены изменения, связанные с улучшением поддержки оборудования, обновлением ядра Linux и графического стека, исправлением ошибок в инсталляторе и загрузчике. В состав также включены актуальные обновления для нескольких сотен пакетов, связанные с устранением уязвимостей и проблем, влияющих на стабильность.
➡️ В состав выпуска включены некоторые улучшения, бэкпортированные из выпуска Ubuntu 22.10:
- Предложены пакеты с ядром Linux версии 5.19 (базовое ядро Ubuntu 22.04 - 5.15).
- Обновлены компоненты графического стека, включая Mesa 22.2, которые были протестированы в выпуске Ubuntu 22.10. Добавлены свежие версии видеодрайверов для чипов Intel, AMD и NVIDIA.
- Обновлены версии некоторых пакетов, таких как ceph 17.2.0, PostgreSQL 14.4, cloud-init 22.2, snapd 2.55.3, LibreOffice 7.3.4, GNOME 42.1, gtk4 4.6.5, gstreamer 1.20.3.
- Улучшена поддержка платформы RISC-V, сформированы сборки для плат LicheeRV и PolarFire Icicle Kit.
- В thermald добавлена поддержка CPU Intel Raptor Lake.
- Предложены пакеты с ядром Linux версии 5.19 (базовое ядро Ubuntu 22.04 - 5.15).
- Обновлены компоненты графического стека, включая Mesa 22.2, которые были протестированы в выпуске Ubuntu 22.10. Добавлены свежие версии видеодрайверов для чипов Intel, AMD и NVIDIA.
- Обновлены версии некоторых пакетов, таких как ceph 17.2.0, PostgreSQL 14.4, cloud-init 22.2, snapd 2.55.3, LibreOffice 7.3.4, GNOME 42.1, gtk4 4.6.5, gstreamer 1.20.3.
- Улучшена поддержка платформы RISC-V, сформированы сборки для плат LicheeRV и PolarFire Icicle Kit.
- В thermald добавлена поддержка CPU Intel Raptor Lake.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🤡2
❤11🤔3🌚3👍1🤬1
Доступен релиз редактора дисковых разделов Gparted 1.5 (GNOME Partition Editor), поддерживающего большинство файловых систем и типов разделов, применяемых в Linux.
Кроме функций управления метками, редактирования и создания разделов, GParted позволяет уменьшать или увеличивать размер существующих разделов без потери размещённых на них данных, проверять целостность таблиц разделов, восстанавливать данные с потерянных разделов и выравнивать начало раздела по границе цилиндров.
В новой версии реализовано восстановление информации при проверке файловой системы ExFAT. Исправлена ошибка, приводившая к аварийному завершению при копировании NTFS в разделы, размером больше 2 ТБ. Устранены проблемы с выбором каталога при изменении размера Btrfs.
Одновременно сформирован релиз Live-дистрибутива GParted LiveCD 1.5.0, ориентированного на восстановление системы после сбоя и работу с дисковыми разделами при помощи редактора разделов GParted.
Размеры загрузочных образов составляют: 511 МБ (amd64) и 460 МБ (i686). Дистрибутив сформирован на пакетной базе Debian Sid по состоянию на 22 февраля и включает новый выпуск редактора дисковых разделов GParted 1.5.0, а также обновление ядра Linux 6.1.12.
Кроме функций управления метками, редактирования и создания разделов, GParted позволяет уменьшать или увеличивать размер существующих разделов без потери размещённых на них данных, проверять целостность таблиц разделов, восстанавливать данные с потерянных разделов и выравнивать начало раздела по границе цилиндров.
В новой версии реализовано восстановление информации при проверке файловой системы ExFAT. Исправлена ошибка, приводившая к аварийному завершению при копировании NTFS в разделы, размером больше 2 ТБ. Устранены проблемы с выбором каталога при изменении размера Btrfs.
Одновременно сформирован релиз Live-дистрибутива GParted LiveCD 1.5.0, ориентированного на восстановление системы после сбоя и работу с дисковыми разделами при помощи редактора разделов GParted.
Размеры загрузочных образов составляют: 511 МБ (amd64) и 460 МБ (i686). Дистрибутив сформирован на пакетной базе Debian Sid по состоянию на 22 февраля и включает новый выпуск редактора дисковых разделов GParted 1.5.0, а также обновление ядра Linux 6.1.12.
👍19
💡 Изменение размера физического тома
Развернуть
pvresize изменяет размер физического тома, если изменился размер блочного устройства в его основе.Развернуть
PV на /dev/sda1 после увеличения раздела с помощью fdisk:pvresize /dev/sda1Уменьшить
PV на /dev/sda1 до сжатия раздела с помощью fdisk:pvresize --setphysicalvolumesize 40G /dev/sda1👍16😍2
почти 70-летняя бабушка рассказывает о своем опыте использования Linux на протяжении десятилетий
https://www.youtube.com/watch?v=qRhJQn28m7M
https://www.youtube.com/watch?v=qRhJQn28m7M
YouTube
Desperately Seeking Software Freedom - Christine Hall, FOSS Force, Software Freedom
Christine Hall gives Doc Searls and Simon Phipps a tour of the glorious past, troubling present, and uncertain future of free software and open source, which makes both as well as a discussion on the GPL.
Hosts: Doc Searls and Simon Phipps
Guest: Christine…
Hosts: Doc Searls and Simon Phipps
Guest: Christine…
❤20👍6😱2
Для включения в основной состав Wine предложен первый набор патчей, развиваемых проектом Wine-wayland для предоставления возможности использовать Wine в окружениях на базе протокола Wayland без применения XWayland и компонентов X11.
Так как объём изменений достаточно велик для упрощения рецензирования и интеграции наработки Wine-wayland планируют переносить постепенно, разбив этот процесс на несколько этапов.
На первом этапе для включения в Wine предложен код, охватывающий драйвер winewayland.drv и компоненты unixlib, а также подготовку к обработке системой сборки файлов с определениями протокола Wayland. На втором этапе планируется передать изменения, обеспечивающие вывод в окружении Wayland.
После завершения передачи изменений в основной состав Wine пользователи получат возможность использовать чистое Wayland-окружение c поддержкой запуска Windows-приложений, не требующее установки пакетов, связанных с X11.
Так как объём изменений достаточно велик для упрощения рецензирования и интеграции наработки Wine-wayland планируют переносить постепенно, разбив этот процесс на несколько этапов.
На первом этапе для включения в Wine предложен код, охватывающий драйвер winewayland.drv и компоненты unixlib, а также подготовку к обработке системой сборки файлов с определениями протокола Wayland. На втором этапе планируется передать изменения, обеспечивающие вывод в окружении Wayland.
После завершения передачи изменений в основной состав Wine пользователи получат возможность использовать чистое Wayland-окружение c поддержкой запуска Windows-приложений, не требующее установки пакетов, связанных с X11.
😍21👍8
Сотрудники Canonical раскрыли информацию о проекте ubuntu-mini-iso, развивающем новую минималистичную сборку Ubuntu, размером около 140 МБ. Главная идея нового установочного образа в том, чтобы сделать его универсальным и представляющим возможность установки выбранной версии любой официальной сборки Ubuntu.
Проект развивает Дэн Бунгерт, сопровождающий инсталлятор Subiquity. На данном этапе уже подготовлен и протестирован рабочий прототип сборки, ведётся работа по задействованию для сборки официальной инфраструктуры Ubuntu. Новую сборку предполагается опубликовать вместе с весенним выпуском Ubuntu 23.04. Сборку можно будет использовать для записи на CD/USB или для динамической загрузки через UEFI HTTP.
Сборка предоставляет текстовое меню, при помощи которого можно выбрать интересующую редакцию Ubuntu, установочный образ для которой будет загружен в оперативную память. Данные о доступных сборках будут загружаться динамически при помощи simplestreams.
Проект развивает Дэн Бунгерт, сопровождающий инсталлятор Subiquity. На данном этапе уже подготовлен и протестирован рабочий прототип сборки, ведётся работа по задействованию для сборки официальной инфраструктуры Ubuntu. Новую сборку предполагается опубликовать вместе с весенним выпуском Ubuntu 23.04. Сборку можно будет использовать для записи на CD/USB или для динамической загрузки через UEFI HTTP.
Сборка предоставляет текстовое меню, при помощи которого можно выбрать интересующую редакцию Ubuntu, установочный образ для которой будет загружен в оперативную память. Данные о доступных сборках будут загружаться динамически при помощи simplestreams.
👍27👎2