Представлен алгоритм, позволяющий ускорить работу нейросетей в 100 раз.
О да, детка.
Как известно, в deep learning львиная доля вычислений - перемножение матриц (да-да, именно оно и отбирает у кожаных мешков работу). И вот выкатили алгоритм аппроксимации этой операции, который обещает х10 прирост по сравнению с остальными алгоритмами аппроксимации, и х100 по сравнению с "честным" перемножением. Х100, Карл.
Все пока очень сырое, кое-как завернуто в питон, не работает нормально на cuda и так далее, но даже в таком виде очень круто.
Подробнее Доклад Гитхаб
О да, детка.
Как известно, в deep learning львиная доля вычислений - перемножение матриц (да-да, именно оно и отбирает у кожаных мешков работу). И вот выкатили алгоритм аппроксимации этой операции, который обещает х10 прирост по сравнению с остальными алгоритмами аппроксимации, и х100 по сравнению с "честным" перемножением. Х100, Карл.
Все пока очень сырое, кое-как завернуто в питон, не работает нормально на cuda и так далее, но даже в таком виде очень круто.
Подробнее Доклад Гитхаб
MarkTechPost
MIT Researchers Open-Sourced ‘MADDNESS’: An AI Algorithm That Speeds Up Machine Learning Using Approximate Matrix Multiplication…
Matrix multiplication is one of the essential operations in machine learning (ML). However, these operations are extensively computationally costly due to the extensive use of multiply-add instructions. Therefore, many studies have focused on estimating matrix…
Forwarded from Мишин Лернинг
🦑 Полезные ссылки для старта в Quantum Machine Learning
💡Концепция квантового машинного обучения
🔢 Туториал по quantum neural network (QNN) упрощенного MNIST + colab
🏞 Quantum Convolutional Neural Network: туториал + colab
📰 Paper: Classification with Quantum Neural Networks on Near Term Processors
📄 Paper: TensorFlow Quantum:
A Software Framework for Quantum Machine Learning
📚TensorFlow Quantum TFQ
📼 YouTube: TensorFlow Quantum hybrid quantum-classical machine learning
💡Концепция квантового машинного обучения
🔢 Туториал по quantum neural network (QNN) упрощенного MNIST + colab
🏞 Quantum Convolutional Neural Network: туториал + colab
📰 Paper: Classification with Quantum Neural Networks on Near Term Processors
📄 Paper: TensorFlow Quantum:
A Software Framework for Quantum Machine Learning
📚TensorFlow Quantum TFQ
📼 YouTube: TensorFlow Quantum hybrid quantum-classical machine learning
Forwarded from Reddit
This media is not supported in your browser
VIEW IN TELEGRAM
r/ #nextfuckinglevel
Итальянские математики сделали невозможное: они изучили два миллиона мемов с Reddit и выяснили, что с годами они становятся всё сложнее
Согласно публикации Scientific Reports, учёные выгрузили мемы с четырёх сообществ реддита: r/AdviceAnimals, r/memes, r/CemeteryComed, r/dankmemes. На первом этапе учёные с помощью нейросети поделили все мемы на четыре больших группы: два набора с животными, один с людьми и всё остальное. После этого другой алгоритм сгруппировал мемы в кластеры: изображения в пределах одного кластера похожи на исходный шаблон. Благодаря этому математики смогли увидеть, как появляются новые шаблоны и новые мемы в пределах каждого кластера.
В итоге выяснилось, что число новых шаблонов для мемов со временем экспоненциально растёт два раза за каждые полгода. Среднегодовая сложность мемов также значительно увеличивается из-за формирования диалектов, понятных только внутри отдельных сообществ.
Итальянские математики сделали невозможное: они изучили два миллиона мемов с Reddit и выяснили, что с годами они становятся всё сложнее
Согласно публикации Scientific Reports, учёные выгрузили мемы с четырёх сообществ реддита: r/AdviceAnimals, r/memes, r/CemeteryComed, r/dankmemes. На первом этапе учёные с помощью нейросети поделили все мемы на четыре больших группы: два набора с животными, один с людьми и всё остальное. После этого другой алгоритм сгруппировал мемы в кластеры: изображения в пределах одного кластера похожи на исходный шаблон. Благодаря этому математики смогли увидеть, как появляются новые шаблоны и новые мемы в пределах каждого кластера.
В итоге выяснилось, что число новых шаблонов для мемов со временем экспоненциально растёт два раза за каждые полгода. Среднегодовая сложность мемов также значительно увеличивается из-за формирования диалектов, понятных только внутри отдельных сообществ.
Новая модель от Google бьет все рекорды GPT-3
Совсем недавно умные товарищи из Гугла выкатили свою новую языковую модель FLAN (Fine-tuned LAnguage Net), которая превосходит GPT-3 во всех Zero-shot задачах (без тюна под конкретную задачу), а где-то даже бьет few-shot GPT-3 (т.е. которую тюнили на эту задачу пару итераций).
Новый подход назвали Instruction Tuning. В отличие от сырой GPT-3, которая генерит предсказание из текстового ввода в свободной форме, в Instruction Tuning модель дообучают на наборе инструкций в четкой форме:
Задача - аргументы - варианты ответов (если есть)
Это позволяет модели превосходить сырые языковые модели вроде GPT-3 на типах задача, с которыми они обе до этого не сталкивались.
Претрейна нет, но ничего не мешает дообучить таким же способом GPT-3, и получить такие же или лучшие результаты.
🐈 Код
📜 Публикация
📒 Подробнее
Совсем недавно умные товарищи из Гугла выкатили свою новую языковую модель FLAN (Fine-tuned LAnguage Net), которая превосходит GPT-3 во всех Zero-shot задачах (без тюна под конкретную задачу), а где-то даже бьет few-shot GPT-3 (т.е. которую тюнили на эту задачу пару итераций).
Новый подход назвали Instruction Tuning. В отличие от сырой GPT-3, которая генерит предсказание из текстового ввода в свободной форме, в Instruction Tuning модель дообучают на наборе инструкций в четкой форме:
Задача - аргументы - варианты ответов (если есть)
Это позволяет модели превосходить сырые языковые модели вроде GPT-3 на типах задача, с которыми они обе до этого не сталкивались.
Претрейна нет, но ничего не мешает дообучить таким же способом GPT-3, и получить такие же или лучшие результаты.
🐈 Код
📜 Публикация
📒 Подробнее
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
HeadGAN визуальный редактор.
CLIP Guided Diffusion 512 Russian Edition
По просьбам трудящихся запилил ру верcию колаба для CLIP Guided Diffusion 512x512
Прикрепил результаты с теми настройками, что сейчас стоят в блокноте.
Картинка скачается автоматически, либо можно сохранить по правой кнопке из блокнота.
Развлекайтесь на здоровье! :D
-> Колаб <-
По просьбам трудящихся запилил ру верcию колаба для CLIP Guided Diffusion 512x512
Прикрепил результаты с теми настройками, что сейчас стоят в блокноте.
Картинка скачается автоматически, либо можно сохранить по правой кнопке из блокнота.
Развлекайтесь на здоровье! :D
-> Колаб <-
Абстракционисты, не расслабляемся. Перемножение матриц скоро доберется и до вас :D
VQGAN + CLIP
VQGAN + CLIP
Народ требует хайрезов из этого поста на обои. Держите архив!
Telegram
Derp Learning
Абстракционисты, не расслабляемся. Перемножение матриц скоро доберется и до вас :D
VQGAN + CLIP
VQGAN + CLIP
Forwarded from Denis Sexy IT 🤖
Наткнулся на интересную нейронку, которая, исходя из типа помещения и плана этажа, правдоподобно расставляет в ней мебель.
Модель последовательно генерирует стулья, шкафы, кровати в различных помещениях, при этом сохраняет свойства объектов (не поставит шкафчик так, чтобы ящики в нём открывались в рядом стоящую кровать).
Начинается всё с пустой комнаты, в которую добавляется какая-нибудь тумбочка. Далее, учитывая что на этой тумбочке может стоять телек, модель добавляет напротив неё кровать (на гифке видно), к кровати уже логично добавляются прикроватные тумбочки, шкаф и т.д. со множеством вариаций. Еще классный редим – предложение объектов: пользователь говорит, мол хочу поместить в этой области объект, а модель предлагает объекты, которые в ней могут поместиться и лаконично вписаться.
В общем даже полезная штука для дизайнеров интерьеров, быстро накидать вариации и дальше с ними работать.
Модель последовательно генерирует стулья, шкафы, кровати в различных помещениях, при этом сохраняет свойства объектов (не поставит шкафчик так, чтобы ящики в нём открывались в рядом стоящую кровать).
Начинается всё с пустой комнаты, в которую добавляется какая-нибудь тумбочка. Далее, учитывая что на этой тумбочке может стоять телек, модель добавляет напротив неё кровать (на гифке видно), к кровати уже логично добавляются прикроватные тумбочки, шкаф и т.д. со множеством вариаций. Еще классный редим – предложение объектов: пользователь говорит, мол хочу поместить в этой области объект, а модель предлагает объекты, которые в ней могут поместиться и лаконично вписаться.
В общем даже полезная штука для дизайнеров интерьеров, быстро накидать вариации и дальше с ними работать.
Forwarded from Мишин Лернинг
Media is too big
VIEW IN TELEGRAM
🎴 NVIDIA выкатили StyleGAN3
Как и планировалось сегодня NVIDIA выложила в доступ (код и модели) StyleGAN3, который описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.
Имя StyleGAN3 планировали дать в день публикации кода и моделей.
p.s.: думаю, что на днях мы увидим колаб и поиск в латентщине CLIP’ом
🤖сайт проекта 💻 код 📰 paper
Как и планировалось сегодня NVIDIA выложила в доступ (код и модели) StyleGAN3, который описали 23 июня 2021 в пейпере Alias-Free Generative Adversarial Networks.
Имя StyleGAN3 планировали дать в день публикации кода и моделей.
p.s.: думаю, что на днях мы увидим колаб и поиск в латентщине CLIP’ом
🤖сайт проекта 💻 код 📰 paper
Forwarded from я обучала одну модель
This media is not supported in your browser
VIEW IN TELEGRAM
У Rivers Have Wings как всегда нерельно красивый AI art, это вот только что вышедший StyleGAN3