BERT, ELMo, & GPT-2: How contextual are contextualized word representations?
https://kawine.github.io/blog/nlp/2020/02/03/contextual.html
https://kawine.github.io/blog/nlp/2020/02/03/contextual.html
Kawin Ethayarajh
BERT, ELMo, & GPT-2: How contextual are contextualized word representations?
Incorporating context into word embeddings - as exemplified by BERT, ELMo, and GPT-2 - has proven to be a watershed idea in NLP. Replacing static vectors (e.g., word2vec) with contextualized word representations has led to significant improvements on virtually…
5 New Features in pandas 1.0 You Should Know About
https://towardsdatascience.com/5-new-features-in-pandas-1-0-you-should-know-about-fc31c83e396b
https://towardsdatascience.com/5-new-features-in-pandas-1-0-you-should-know-about-fc31c83e396b
Medium
5 New Features in pandas 1.0 You Should Know About
Dynamic window functions, faster apply and more.
Natural Language Processing. Итоги 2019 и тренды на 2020
https://habr.com/ru/company/huawei/blog/487730/
https://habr.com/ru/company/huawei/blog/487730/
Хабр
Natural Language Processing. Итоги 2019 и тренды на 2020
Всем привет. С некоторым запозданием я решил опубликовать эту статью. Каждый год я стараюсь подвести итоги произошедшего в области обработки естественного языка (natural language processing). Не стал...
Growing Neural Cellular Automata
Differentiable Model of Morphogenesis
https://distill.pub/2020/growing-ca/
Differentiable Model of Morphogenesis
https://distill.pub/2020/growing-ca/
Distill
Growing Neural Cellular Automata
Training an end-to-end differentiable, self-organising cellular automata model of morphogenesis, able to both grow and regenerate specific patterns.
How to train a new language model from scratch using Transformers and Tokenizers
https://huggingface.co/blog/how-to-train
https://huggingface.co/blog/how-to-train
huggingface.co
How to train a new language model from scratch using Transformers and Tokenizers
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
The Annotated GPT-2
https://amaarora.github.io/2020/02/18/annotatedGPT2.html
https://amaarora.github.io/2020/02/18/annotatedGPT2.html
Committed towards better future
The Annotated GPT-2
Introduction Prerequisites Language Models are Unsupervised Multitask Learners Abstract Model Architecture (GPT-2) Model Specifications (GPT) Imports Transformer Decoder inside GPT-2 CONV1D Layer Explained FEEDFORWARD Layer Explained ATTENTION Layer Explained…
Смитсонианский институт (США) предоставил для свободного доступа почти 3 млн изображений. На самом деле, выложено больше, но примерно столько имеют пометку «свободное использование», есть и 3D-изображения, и платформа для доступа к ним.
https://www.smithsonianmag.com/smithsonian-institution/smithsonian-releases-28-million-images-public-domain-180974263/
https://www.smithsonianmag.com/smithsonian-institution/smithsonian-releases-28-million-images-public-domain-180974263/
Smithsonian Magazine
Smithsonian Releases 2.8 Million Images Into Public Domain
The launch of a new open access platform ushers in a new era of accessibility for the Institution
8 Creators and Core Contributors Talk About Their Model Training Libraries From PyTorch Ecosystem
https://neptune.ai/blog/model-training-libraries-pytorch-ecosystem
https://neptune.ai/blog/model-training-libraries-pytorch-ecosystem
neptune.ai
8 Creators and Core Contributors Talk About Their Model Training Libraries From PyTorch Ecosystem
Insights from core contributors on leveraging model training libraries in the PyTorch ecosystem, with an in-depth analysis
Отличная возможность заняться практикой по машинному обучению под руководством Артура Кадурина, эксперта по ML, CEO Insilico Taiwan, Chief AI Officer Insilico Medicine, автора научных публикаций.
Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».
Приходите, будет очень интересно и профессионально: https://otus.pw/wjxx/
Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».
Приходите, будет очень интересно и профессионально: https://otus.pw/wjxx/
NLP newsletter #6
https://medium.com/dair-ai/nlp-newsletter-bertology-primer-fastpages-t5-data-science-education-pytorch-notebooks-slow-8ae5d499e040
https://medium.com/dair-ai/nlp-newsletter-bertology-primer-fastpages-t5-data-science-education-pytorch-notebooks-slow-8ae5d499e040
Medium
NLP Newsletter: BERTology Primer, fastpages, T5, Data Science Education, PyTorch Notebooks, Slow Science in ML,…
This issue covers topics that range from extending the Transformer model to slowing publication in ML to a series of ML and NLP books and…
More Efficient NLP Model Pre-training with ELECTRA
https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html
https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html
Googleblog
More Efficient NLP Model Pre-training with ELECTRA
Zoom In: An Introduction to Circuits
https://distill.pub/2020/circuits/zoom-in/
https://distill.pub/2020/circuits/zoom-in/
StyleGAN2 Distillation for Feed-forward Image Manipulation
https://github.com/EvgenyKashin/stylegan2-distillation
https://github.com/EvgenyKashin/stylegan2-distillation
GitHub
GitHub - EvgenyKashin/stylegan2-distillation
Contribute to EvgenyKashin/stylegan2-distillation development by creating an account on GitHub.
19 марта в 11.00 по московскому времени мы в NVIDIA проведем вебинар на русском языке, посвященный контейнерам NVIDIA GPU Cloud (NGC).
В рамках вебинара мы расскажем и продемонстрируем best practices по настройке окружения для deep learning - как для обучения, так и для инференса нейросетей. Вы узнаете, какие задачи решает NGC, как docker влияет на производительность и насколько можно увеличить производительность только за счёт софтверных оптимизаций. Мы также на практике измерим производительность GPU на одной из DL задач и сравним с ожидаемой.
Спикер - Дмитрий Миронов, NVIDIA Solutions Architect AI for Russia & CIS
Для участия в вебинаре, пожалуйста, зарегистрируйтесь: https://vk.cc/arbYsg
В рамках вебинара мы расскажем и продемонстрируем best practices по настройке окружения для deep learning - как для обучения, так и для инференса нейросетей. Вы узнаете, какие задачи решает NGC, как docker влияет на производительность и насколько можно увеличить производительность только за счёт софтверных оптимизаций. Мы также на практике измерим производительность GPU на одной из DL задач и сравним с ожидаемой.
Спикер - Дмитрий Миронов, NVIDIA Solutions Architect AI for Russia & CIS
Для участия в вебинаре, пожалуйста, зарегистрируйтесь: https://vk.cc/arbYsg