How to train a new language model from scratch using Transformers and Tokenizers
https://huggingface.co/blog/how-to-train
https://huggingface.co/blog/how-to-train
huggingface.co
How to train a new language model from scratch using Transformers and Tokenizers
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
The Annotated GPT-2
https://amaarora.github.io/2020/02/18/annotatedGPT2.html
https://amaarora.github.io/2020/02/18/annotatedGPT2.html
Committed towards better future
The Annotated GPT-2
Introduction Prerequisites Language Models are Unsupervised Multitask Learners Abstract Model Architecture (GPT-2) Model Specifications (GPT) Imports Transformer Decoder inside GPT-2 CONV1D Layer Explained FEEDFORWARD Layer Explained ATTENTION Layer Explained…
Смитсонианский институт (США) предоставил для свободного доступа почти 3 млн изображений. На самом деле, выложено больше, но примерно столько имеют пометку «свободное использование», есть и 3D-изображения, и платформа для доступа к ним.
https://www.smithsonianmag.com/smithsonian-institution/smithsonian-releases-28-million-images-public-domain-180974263/
https://www.smithsonianmag.com/smithsonian-institution/smithsonian-releases-28-million-images-public-domain-180974263/
Smithsonian Magazine
Smithsonian Releases 2.8 Million Images Into Public Domain
The launch of a new open access platform ushers in a new era of accessibility for the Institution
8 Creators and Core Contributors Talk About Their Model Training Libraries From PyTorch Ecosystem
https://neptune.ai/blog/model-training-libraries-pytorch-ecosystem
https://neptune.ai/blog/model-training-libraries-pytorch-ecosystem
neptune.ai
8 Creators and Core Contributors Talk About Their Model Training Libraries From PyTorch Ecosystem
Insights from core contributors on leveraging model training libraries in the PyTorch ecosystem, with an in-depth analysis
Отличная возможность заняться практикой по машинному обучению под руководством Артура Кадурина, эксперта по ML, CEO Insilico Taiwan, Chief AI Officer Insilico Medicine, автора научных публикаций.
Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».
Приходите, будет очень интересно и профессионально: https://otus.pw/wjxx/
Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».
Приходите, будет очень интересно и профессионально: https://otus.pw/wjxx/
NLP newsletter #6
https://medium.com/dair-ai/nlp-newsletter-bertology-primer-fastpages-t5-data-science-education-pytorch-notebooks-slow-8ae5d499e040
https://medium.com/dair-ai/nlp-newsletter-bertology-primer-fastpages-t5-data-science-education-pytorch-notebooks-slow-8ae5d499e040
Medium
NLP Newsletter: BERTology Primer, fastpages, T5, Data Science Education, PyTorch Notebooks, Slow Science in ML,…
This issue covers topics that range from extending the Transformer model to slowing publication in ML to a series of ML and NLP books and…
More Efficient NLP Model Pre-training with ELECTRA
https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html
https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html
Googleblog
More Efficient NLP Model Pre-training with ELECTRA
Zoom In: An Introduction to Circuits
https://distill.pub/2020/circuits/zoom-in/
https://distill.pub/2020/circuits/zoom-in/
StyleGAN2 Distillation for Feed-forward Image Manipulation
https://github.com/EvgenyKashin/stylegan2-distillation
https://github.com/EvgenyKashin/stylegan2-distillation
GitHub
GitHub - EvgenyKashin/stylegan2-distillation
Contribute to EvgenyKashin/stylegan2-distillation development by creating an account on GitHub.
19 марта в 11.00 по московскому времени мы в NVIDIA проведем вебинар на русском языке, посвященный контейнерам NVIDIA GPU Cloud (NGC).
В рамках вебинара мы расскажем и продемонстрируем best practices по настройке окружения для deep learning - как для обучения, так и для инференса нейросетей. Вы узнаете, какие задачи решает NGC, как docker влияет на производительность и насколько можно увеличить производительность только за счёт софтверных оптимизаций. Мы также на практике измерим производительность GPU на одной из DL задач и сравним с ожидаемой.
Спикер - Дмитрий Миронов, NVIDIA Solutions Architect AI for Russia & CIS
Для участия в вебинаре, пожалуйста, зарегистрируйтесь: https://vk.cc/arbYsg
В рамках вебинара мы расскажем и продемонстрируем best practices по настройке окружения для deep learning - как для обучения, так и для инференса нейросетей. Вы узнаете, какие задачи решает NGC, как docker влияет на производительность и насколько можно увеличить производительность только за счёт софтверных оптимизаций. Мы также на практике измерим производительность GPU на одной из DL задач и сравним с ожидаемой.
Спикер - Дмитрий Миронов, NVIDIA Solutions Architect AI for Russia & CIS
Для участия в вебинаре, пожалуйста, зарегистрируйтесь: https://vk.cc/arbYsg
Рубрика «Читаем статьи за вас». Январь — Февраль 2020
https://habr.com/ru/company/ods/blog/493016/
https://habr.com/ru/company/ods/blog/493016/
Хабр
Рубрика «Читаем статьи за вас». Январь — Февраль 2020
Привет, Хабр! Продолжаем публиковать рецензии на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество !...