AMD has joined the game.
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор операторов пока очень ограничен, но это отличный вектор развития.
Юзается легко - просто ставите пакет и заменяете device с 'cuda' на 'dml'.
А всего месяц назад вариацию этого бэкенда для tensorflow/AMD ускорили аж в 4.4 раза. В логове красных перемножателей матриц снова праздник!
гит
пост
Microsoft вместе с PyTorch выкатили новый бэкенд - DirectML.
Позволяет крутить эти ваши нейронки на любых DirectX12-совместимых девайсах и в WSL, без танцев с CUDA.
Наконец-то AMD сможет полноценно ворваться в гонку, хоспаде.
Набор операторов пока очень ограничен, но это отличный вектор развития.
Юзается легко - просто ставите пакет и заменяете device с 'cuda' на 'dml'.
А всего месяц назад вариацию этого бэкенда для tensorflow/AMD ускорили аж в 4.4 раза. В логове красных перемножателей матриц снова праздник!
гит
пост
"a black and white abstract geometric painting resembling a tiger by Greg Rutkowski" VQGAN+CLIP
Погенерить самим - колаб тут
Погенерить самим - колаб тут
Forwarded from AI для Всех
Вышел большой обзор про ML в науке
В этом обзорном докладе обсуждаются приложения и методы быстрого машинного обучения (БМО) в науке - концепцию интеграции мощных методов БМО в цикл обработки экспериментальных данных в реальном времени для ускорения научных открытий.
Обзор охватывает три основных направления: приложения быстрого ML в ряде научных областей; методы обучения и реализации производительных и ресурсоэффективных алгоритмов ML; вычислительные архитектуры, платформы и технологии для развертывания этих алгоритмов.
Этот обзор призван продемонстрировать множество примеров и вдохновить на научные открытия с помощью ML.
📎 Статья
#ScientificML #physics
В этом обзорном докладе обсуждаются приложения и методы быстрого машинного обучения (БМО) в науке - концепцию интеграции мощных методов БМО в цикл обработки экспериментальных данных в реальном времени для ускорения научных открытий.
Обзор охватывает три основных направления: приложения быстрого ML в ряде научных областей; методы обучения и реализации производительных и ресурсоэффективных алгоритмов ML; вычислительные архитектуры, платформы и технологии для развертывания этих алгоритмов.
Этот обзор призван продемонстрировать множество примеров и вдохновить на научные открытия с помощью ML.
📎 Статья
#ScientificML #physics
Forwarded from Мишин Лернинг
📣🤗 T0 — Быстрее, умнее и легче GPT-3 в 16 раз + собрал Colab | Zero-Shot NLP
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасетов дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал для вас colab (3B, 100ms) для решения многих nlp задач. T0 и GPT-3 — NLP нейросети, которые не нужно дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Объясню разницу между T0 и GPT-3 через аналогию:
▪️ GPT-3 — ребенка заперли в большой библиотеке и сказали: читай. GPT-3 училась предсказывать следующие слова в текстах.
▪️ T0 — ребенка помладше посадили в библиотеку, но уже с преподавателем, который натаскивал его к олимпиадам. Взяв 62 датасетов дообучили T5 (11B) на специальных задачах.
T0 в 16x меньше GPT-3 и обходит GPT-3 на 9 из 11 сетах!
Создал для вас colab (3B, 100ms) для решения многих nlp задач. T0 и GPT-3 — NLP нейросети, которые не нужно дообучать!
▫️Суммаризация начала “Generation П”:
“In the seventies, the Soviet Union was a country of children who drank Pe”
▫️Суммаризация абстракта DALL·E:
“A computer program has been trained to create a wide range of images from text”
▫️“Самое большое здание в мире?”:
“The Burj Khalifa”
▫️“А - сын дяди Б. Каковы семейные отношения между А и Б?”:
“B is A's cousin.”
📰 Paper 🤗 demo 🔮 T0 Colab от @mishin_learning
Тем временем я в очередной раз тюню основную нейронку из алгоритма face2comics.
Слева (сверху) результат старой версии с апскейлерами и энхансерами. Справа (внизу) - без них, но уже с новой версией. Выигрыш во времени - х10 раз! Не говоря уже про затраты VRAM. Да, на совсем ушатанных картинках все равно придется юзать апскейлеры, но это малая часть. А главное, решена основная боль старой модели - мутные красные цвета и боязнь тумана :) Ну и, в целом, стало четче и контрастнее.
В бота @face2comicsbot планирую добавить уже в следующем месяце. Запасаемся терпением :)
Слева (сверху) результат старой версии с апскейлерами и энхансерами. Справа (внизу) - без них, но уже с новой версией. Выигрыш во времени - х10 раз! Не говоря уже про затраты VRAM. Да, на совсем ушатанных картинках все равно придется юзать апскейлеры, но это малая часть. А главное, решена основная боль старой модели - мутные красные цвета и боязнь тумана :) Ну и, в целом, стало четче и контрастнее.
В бота @face2comicsbot планирую добавить уже в следующем месяце. Запасаемся терпением :)