Лаборатория Математики и Программирования Сергея Бобровского – Telegram
Лаборатория Математики и Программирования Сергея Бобровского
1.3K subscribers
1.19K photos
24 videos
933 links
ЛаМПовое с Бобровским
Download Telegram
Свежее интервью с Барбарой Лисков на Гейдельбергском форуме лауреатов (людей, получавших самые престижные премии в computer science и математике -- Филдса, Абеля, Тьюринга).
https://www.quantamagazine.org/barbara-liskov-is-the-architect-of-modern-algorithms-20191120/

Основополагающие её принципы (в частности, LSP), правильное использование абстракций и спецификаций, ставшие классикой ООАП, проходим на моём новом курсе по объектно-ориентированному проектированию. Порекомендую соответственно классическую книгу Лисков "Использование абстракций и спецификаций при разработке программ" (1989).

"Что такое вычислительное мышление? Я представляю абстрактную машину с теми типами данных и операциями, которые мне наиболее подходят для решения задачи. Если бы такая машина существовала, я сразу бы могла легко написать нужную мне программу. Но такой машины нету. Поэтому я ввожу ряд подзадач -- типы данных и операции -- и мне нужно разобраться, как их реализовывать. Я выполняю такие итерации снова и снова, пока не доберусь до реальной вычислительной машины и существующего языка программирования.
Это и есть искусство проектирования".
Простой пример, как правильно выстроить свою карьеру, от студента Вологодского университета до разработчика компиляторов C++ в Intel, всего за 9 лет.

Денис Бахвалов: "Никакого секрета у меня нет, я просто пахал. Я бы сказал, что это занимает 80% от успеха. Если мы будем только говорить и ничего не делать, то ничего хорошего не произойдет. И наоборот: если мы будем только делать, и никто об этом не узнает, эффекта также не будет".
http://fresh35.com/rubrics/%D0%B7%D0%B0-%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B0%D0%BC%D0%B8-%D0%B2%D0%BE/%D0%B4%D0%B5%D0%BD%D0%B8%D1%81-%D0%B1%D0%B0%D1%85%D0%B2%D0%B0%D0%BB%D0%BE%D0%B2,-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82,-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80%D0%BE%D0%B2-%D1%81

Эталонная статья Дениса про оптимизацию кода:
https://www.bfilipek.com/2019/11/perfguidecpu.html
Often changing one line in the program source code can yield 2x performance boost.
Performance analysis is all about how to find and fix this line! Missing such opportunities can be a big waste.

Вообще, рекомендую периодически читать блог Бахвалова
https://easyperf.net/notes/

Принципиальный тут момент, что в Интел и подобные топчики никогда не попасть, если, во-первых, изучать веб-фреймворки а не computer science, и во-вторых, не прокачивать параллельно и софт-скиллы (личный бренд разработчика).
Серьёзное исследование министерства труда США по поводу самых перспективных профессий в грядущем десятилетии, а также про перспективные специальности, которых пока ещё не существует.
https://cacm.acm.org/blogs/blog-cacm/241947-computing-continues-to-dominate-stem-career-opportunities/fulltext

Самый топчик, как вы наверное догадались, это программирование :)

И все пять наиболее популярных профессий связаны с ИТ. В два(!) раза от девелоперов по количеству незанятых вакансий отстают некие абстрактные специалисты по компьютерному сопровождению (племянники директора :), в три раза -- ИТ-аналитики, далее (4-5 раз) следует техподдержка и сисадмины. А по темпам роста вакансий программисты вообще заоблачно оторвались от племянников, в 3-4 раза.

Более того, в STEM 40+% всех новых рабочих мест будет приходиться на программную инженерию (доля традиционных инженерных отраслей лишь 12%)! Вакансий для программистов будет больше, нежели во всех других отраслях, вместе взятых!

Отмечу пару важных трендов:
1) Мобильная разработка развивается очень бурно, и я вообще на курсе в профессию рекомендую специализироваться в ней, если не очень понятно с чего начинать. Потому что веб-клиенты в эпоху тотальной мобильности уже совсем не катят.

2) Рядом с этим и Internet of Things, embedding computing, смарт-утюги, смарт-кофеварки, которые уже реально умнее твоего соседа, вот это всё.

Эти два пункта конечно неявно подразумевают и знание бэкенда.

И такие тренды ещё совершенно не означают, что будет легко :) Наоборот, специализации усиливаются, темки углубляются, и количество возможных направлений только растёт. Поэтому особо важно сегодня не зубрёжка сотен нюансов фреймворков и языков программирования, а развитие универсальных навыков разработки.
В машинном обучении периодически проявляются странные явления, которые стандартными математическими теориями не объяснить. Из последних, это Deep Double Descent
https://openai.com/blog/deep-double-descent/

Эффект, который обнаружили опытные специалисты-практики ML. Оказывается, чем крупнее модель, тем лучшие результаты она выдаёт, хотя по всем классическим схемам ожидается, что чем крупнее модель, тем просто больше она склонна к переобучению. Более того, этот процесс нелинейный -- был обнаружен т.н. порог интерполяции, до которого при увеличении модели лосс растёт, а после которого вдруг начинает понижаться.

Общая идея видимо в том, что чем крупнее модель, тем больше шансов, что удастся найти подходящие функции интерполяции под конкретную задачку. До этого порога у нас была одна модель, которая как-то (слабо) подходит под результат, и чем больше мы пытаемся из неё выжать, тем быстрее наступит оверфит. Однако после порога происходит внезапное зарождение в нейросетке множества хороших моделей, и даже небольшие корректировки SGD быстро дают правильные результаты.

Точные причины этого всего пока неизвестны :)

Возможно, так получается потому, что SGD хорошо находит неглубокие и неострые минимумы -- а именно эти минимумы чаще всего и бывают генерализованными моделями). Есть ещё и совсем примитивное объяснение -- при случайном создании нейросеть содержит много подсетей, и некоторые из них уже весьма близки к хорошим решениям (ну или что как минимум их можно неплохо дообучить), и вот SGD на первых порах находит лишь ближайшую к нему, а за порогом вынужден бродить уже по всему пространству нейросети.

Мне лично ближе парадигма, по которой нейронная сеть на самом деле реализует байесовские рассуждения (не исключено даже, что и математически эквивалентна им), отличная тренировка в которых -- паззлы из книг Смаллиана например.
Это просто присущее нейросеткам свойство "от природы", которое они пока умело от нас маскируют.
Десятилетиями одни люди ноют, что в ИТ-бизнесе давно все ниши заняты, а другие что-то начинают делать, и внезапно обнаруживают, что конкуренции вообще нету, если стараешься делать хоть немного качественно. "Нормально делай -- нормально будет" действительно прекрасно работает. Не надо начинать с "ниши" фейсбука или доты, сперва достаточно совсем крохотной, буквально микроскопической нишечки.

1) https://getcssscan.com
Объём продаж -- $1000/месяц.
Решает классическую проблемку, с которой мучаются фронтендеры: the fastest and easiest way to check, copy and edit CSS.

2) https://burnermail.io
Объём продаж -- $1400/месяц.
Решение проблемы с приватностью почты.

3) https://solidbook.io
How to write testable, flexible, and maintainable code with Node.js and TypeScript. Интересно, кстати, про serverless JAMStack.
Объём продаж -- $2000/месяц.

4) https://pqina.nl/doka/
Объём продаж -- $6000/месяц.
High-performance JavaScript Image Editing in the Browser.

===

Я всё время говорю на курсе в профессию, что занимайтесь специализацией, долгосрочно развивайте блог эксперта — но это совсем не про то, что надо становиться каким-то супер-пупер спецом-архитектором, а ровно наоборот -- выбираете узенькую сферу, конкретную маленькую проблему, которую именно вы решаете лучше всех. Например, крайне специфичный курс, как правильно использовать React с D3, ежемесячно продаётся на 1600 долларов (при том, что статей на эту тему можно нагуглить без проблем). Тут тысячи самых разных инженерных темок, на которых конечно не выстроить стартап, и никогда не будет конкуренции сверху -- но зато для самозанятого индивидуального предпринимательства безграничные возможности, особенно сегодня, когда количество новых сложных технологий стремительно растёт.

Деньги лежат у вас перед клавиатурой.
👍1
Специфическая особенность машинного обучения в том, что тренды задаются совсем небольшим количеством крупных корпораций, схантивших себе всех топовых специалистов в мире. Отрасль эта наукоёмкая, подразумевает большой объём научных исследований. Лидеры тут Amazon, Google, Facebook, IBM, Microsoft, и довольно неожиданно догнавшая их Uber. В этом январе Uber анонсировала мощный релиз своего стека машинного обучения Manifold для визуальной отладки, тюнинга и масштабирования моделек ML.
https://github.com/uber/manifold

В Manifold входят:
-- https://uber.github.io/ludwig/
удобный визуальный инструмент для TensorFlow;

-- http://pyro.ai/
язык дифференциального программирования для PyTorch
https://vk.com/wall-152484379_1085

-- https://github.com/uber-research/plato-research-dialogue-system
платформа для создания и обучения разговорных ботов;

-- https://github.com/horovod/horovod :)
интеграционный фреймворк для создания распределенных ML-систем на базе TensorFlow, Keras, PyTorch и Apache MXNet.
👍1
В декабре 2019-го выпущена спецификация свободной архитектуры набора RISC-команд RISC-V
https://riscv.org

Что это
https://habr.com/ru/post/454208/

Идея -- создать свободный аналог проприетарным моделям Intel и дорогущим лицензиям ARM. Официально RISC-V поддерживают Google, Samsung, Alibaba, Qualcomm, Nvidia, на подходе Western Digital.

Подробное описание инструкций
https://github.com/riscv/riscv-isa-manual

Критики давят на то, что нужен не просто instruction set, а развитая экосистема проектирования чипов, поддержка и т. д., и вряд ли в итоге получится сэкономить. Сторонники же RISC-V справедливо отмечают, что главное тут не бесплатное пиво, а сотрудничество лидеров и свобода в самом прямом смысле.

Стартапчик "Риск файв" уже проектирует чипы на заказ, "Design RISC-V CPUs in an hour" (!)
https://www.sifive.com/
Из нового в машинном обучении, это разрекламированное решение "сложных" математических выражений через символический вывод. Т.е. нейросетка пытается "рассуждать" рационально:
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
Такие решалки, только чисто формальные конечно, придумывались ещё 50 лет назад.
С массивом алгебраических задачек классические солверы справились в среднем даже похуже нейросетки. "model demonstrated 99.7 percent accuracy when solving integration problems". Но если солверы в итоге заявляли, что не смогли решить задачу, нейросеть ведь всё равно видимо всегда выдаёт какое-то решение, которое однако может быть неправильным :) 99.7% точность, ну и зачем это надо?

Вообще, очень субъективно конечно, но этот чёрный ящик глубокого обучения нейросетей напоминает какой-то гигантский фейк :) Он очень наукообразный, и чем дальше, тем больше смахивает на шаманство. Наука прежде всего объясняет, а сегодняшний AI/ML это мутный феноменологический подход, подразумевающий вдобавок огромный объём ручной работы по подготовке и очистке датасетов, огромные требования к вычислительным ресурсам (кому выгодно? производителям графический плат, миллиардные прибыли :), и эмпирическое гадание на коэффициентах, правильно в итоге ли обучится модель.

Но это наша жизнь, которую обязательно надо принимать во внимание. В целом, за 2019-й AI-стартапы заработали 18,5 млрд. долл., поэтому фейк не фейк, но в плане профессии очень хороший :)

PyTorch 1.4 вышел, распределённое обучение, биндинг с Java, а главное, расширена поддержка мобильных разработчиков -- вот ещё один тренд:) Встраивание моделей в мобильный и встраиваемый софт. Реально мощное направление: Apple например купила стартап xnor.ai за 200 млн. долл.! А занимается он как раз оптимизацией запуска моделей на всяческих гаджетах, камерах, IoT-устройствах, радиоуправляемых вертолётиках и машинках.
Немного странно, но факт -- айтишный скилл в блокчейнах остаётся самым востребованным в 2020-м в США, Англии, Австралии, Франции и Германии, сообщил LinkedIn. Он обошёл по популярности и искусственный интеллект, и облачные вычисления.
https://learning.linkedin.com/blog/top-skills/the-skills-companies-need-most-in-2020and-how-to-learn-them

Сегодня это уже давно не криптовалюта, а например стандартное бизнес-решение в финтехе и корпоративной разработке, и LinkedIn настоятельно рекомендует его освоить, чтобы оставаться в тренде.

Для примера, будет сложно попасть на хорошую программистскую позицию в IBM, Oracle, JPMorgan, Microsoft, Amazon или American Express без знания блокчейна. Попутно очень рекомендуется знать С++. Более того, несколько парадоксально, сами программисты значительно меньше стали упоминать этот навык в своих резюме, и меньше ищут непосредственно блокчейн-ориентированную работу, а вот сами работодатели наоборот заметно увеличили количество блокчейн-вакансий.
🤔1
Популярность виртуальных помощников Алисы или Олега велика, однако пока ботов такого уровня маловато, и они слабенько общаются "на любые темы". Гугл разработал крутую нейронку Meena
https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html

которая была натренирована на минимизацию неопределённости в предсказании следующего слова на 341 гигабайте текстов, отфильтрованных из соцсетей -- это почти в 10 раз больше, чем объём, на котором обучалась OpenAI GPT-2. Meena по показателю Sensibleness and Specificity Average продемонстрировала 79% -- у людей 86%, а у ближайшего бота Mitsuku -- 56%, то есть уровень Meena уже совсем близок к человеческому.

Такие темпы развития AI в международных спрутах Google, Microsoft, Facebook, Amazon уже столь круты, что Евросоюз постановил создать единый маркетплейс для торговли данными, и намерен следить, чтобы цифровая информация не уплывала без официального разрешения за его физические границы )))

Кстати, во-первых, на эту тему обработки естественных текстов (предсказание следующих слов) на моём курсе по машинному обучению уже совсем скоро будет новый ноутбук, и во-вторых, OpenAI официально объявила, что стандартизует все свои технологии на основе PyTorch , и планирует дальше развивать многие свои AI-фреймворки и технологии именно на торче
https://openai.com/blog/openai-pytorch/
Так что я полгода назад совершенно правильно сделал на курсе ставку на PyTorch:)

В тему порекомендую мощный бесплатный курс Deep Learning in NLP от физтеха, уже с 11 февраля, он очный, но судя по всему на гитхабе и ютубе будет по нему много доступной инфы, в посте интересные ссылочки: https://habr.com/ru/company/ods/blog/487172/
В мире продолжается взрывной рост технологий, спецов для которых катастрофически не хватает. В США финансирование военному агентству передовых исследований DARPA по теме искусственного интеллекта на очередной финансовый год увеличено с 50 до 250 млн. долл., а AI в рамках Национального научного фонда NSF будет развиваться не на нынешние 500, а уже на 800 млн. долл. Кроме того, на гражданские проекты до 2022 г. будет удвоено финансирование по направлениям AI и квантовых вычислений ($25 млн. выделено на создание национального квантового интернета).

Но, где на это всё взять разработчиков? :) NSF выделил на подготовку AI-специалистов 50 млн. долл., и на фоне вот таких всплесков финансирования постоянно возникают новые тренды на рынке труда. Свежачок -- это рост в 2019-м в 14(!!!) раз спроса на программистов виртуальной и дополненной реальности, по данным Hired.com. Зарплаты скакнули с 135 до 150 тыс. долл./год. А я ведь всем рекомендую входить в IT через мобильную разработку, это всё идеологически близкие темы -- мобилки, гаджеты, AR/VR, IoT. Интересно, что несмотря на многолетние жалобы на кризис рынка игр, количество вакансий в геймдеве увеличилось в полтора раза. И на 90% вырос спрос на специалистов машинного обучения.
👍1
В группе по машинному обучению я выложил очередной ноутбук, по классификации текстов, тема в тренде: в феврале Microsoft шокировала AI-коммьюнити выпуском языковой модели Turing Natural Language Generation (T-NLG) с 17 миллиардами параметров. По качеству она превосходит и Google BERT, и OpenAI GPT-2, демонстрирует человеческий уровень и в генерации текстов, и в ответах на вопросы. Пока стоимость её эксплуатации высока, но пройдут считанные годы...
https://www.microsoft.com/en-us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-microsoft/

Интересные рассказываются в посте нюансы оптимизации нейросеток, в частности, выложены в опенсорс ZeRO optimizer и библиотечка DeepSpeed , совместимая с PyTorch
https://github.com/microsoft/DeepSpeed
Тренировали модельку на NVIDIA DGX-2.

Интересующимся этой темой порекомендую свежачок -- датасет TyDi QA , набор из 200 тысяч вопросов-ответов на 11 языках, включая русский
https://ai.google.com/research/tydiqa
Какая самая популярная айтишная работа сегодня? По данным Dice.com за 2019-й год, по количеству вакансий топчик это абстрактный Software developer в вакууме (ну, кто бы сомневался). Более конкретный Senior software developer, наша стратегическая цель, на четвёртом месте.
https://spectrum.ieee.org/view-from-the-valley/at-work/tech-careers/whats-the-hottest-job-in-tech

Самой быстрорастущей специальностью стал Data engineer (рост на 50%), на втором месте бэкендер +38%.

Наконец, в плане конкретных скиллов, чаще всего упоминается SQL , потом Java, JavaScript, управление проектами, Python, Linux, Oracle, C#, Scrum (аджайл) и QA. А самыми быстрорастущими скиллами стали Kubernetes +82% (это тоже понятно), Docker, Azure (немного неожиданно, Microsoft напирает), DevOps.
👍1
Отрыв США и Китая от остального мира в области искусственного интеллекта продолжает расти, и это уже совершенно реальная угроза. Евросоюз выработал ряд стратегий, призванных поддержать европейский AI-бизнес, но уже несомненный факт, что конкурировать в сфере AI сегодня стало тяжело уже даже хорошо развитым странам, и дальше будет только сложнее, потому что все ведущие умы давно разобраны по корпорациям с космическими зарплатами.
https://techcrunch.com/2020/02/19/europe-sets-out-plan-to-boost-data-reuse-and-regulate-high-risk-ais/

Это ведь не программирование, где научить кодить можно почти любого, в AI/ML всё же математика нужна. Да и самих программистов, начиная с джунов, постепенно будут заменять боты: свежак от Microsoft (посмотрите на фамилии, ага), модель CodeBERT, обученная поиску и генерации "документации" не только для естественных языков, но и для языков программирования.
https://arxiv.org/pdf/2002.08155.pdf
Интересная заметка, в которой Бертран Мейер рассуждает о двух подходах к подготовке программистов: классическом академическом, и на всевозможных частных школах и курсах.

https://cacm.acm.org/blogs/blog-cacm/242741-there-is-more-than-one-way-to-become-a-good-programmer/fulltext

Альтернативные сервисы заполняют потребности, которые университеты никак не могут удовлетворить. Как оказалось например, невозможно разработать такую схему подготовки программистов в государственных университетах Швейцарии, чтобы ежегодно выпускать не тысячи, а десятки тысяч специалистов. И пусть далеко не у каждого будет возможность учиться computer science в Стэнфорде, однако это совсем не конец света, остаётся множество других отлично работающих альтернатив. Например, для довольно многих инженерных ИТ-проектов подготовка специалистов через computer science далеко не лучший путь.

there are excellent programmers out there who may not know the difference between PSPACE and EXPSPACE but still churn out efficient, well-structured and bug-free code day in and day out.

Более того, даже многолетнее обучение в университете имеет ряд недостатков (например, непосредственно программированием там занимаются не так уж и много, да и слишком энергичное следование ИТ-трендам не поощряется, что в общем-то и правильно). И кстати, на различные онлайн-курсы приходит довольно много ребят с университетскими дипломами, по сути как на курсы повышения квалификации, потому что одна из самых лучших схем подготовки -- это "intensive hands-on program with personal coaching".

Да, далеко не каждый может стать хорошим программистом, однако раньше многие способные люди даже и не мечтали об этом. Университеты работают на некоторых, но не на всех. И поэтому для многих других, ярких и амбициозных личностей, чей внутренний программист жаждет выхода на свет, всевозможные онлайн-школы и курсы по программированию вполне могут стать как раз тем самым катализатором, который им нужен.
Вернёмся немного в прошлое (которого как оно было последнюю десятилетку, уже больше никогда не будет), всего на месяц назад, пока вот это вот всё ещё не началось: в начале 2020-го огромный и постоянно растущий спрос на айтишников оставался уникальным на фоне всего остального рынка труда, где работодатели обычно размещали в январе-феврале ощутимо меньше вакансий. А вот спрос на программистов продолжал бить рекорды удивительным образом: в начале каждого года количество вакансий ежегодно достигало пика, начиная с 2014-го года!
https://fortune.com/2020/01/22/new-year-january-job-hunt-how-to-succeed/

7 из 10 компаний планируют схантить разработчика в первое полугодие, акцент на облачных вычислениях, базах данных и кибербезопасности; при этом в 75% случаев предлагаются очень хорошие дополнительные бонусы.
http://rh-us.mediaroom.com/2020-01-14-Survey-75-Of-Tech-Leaders-Say-Their-Company-Offers-Extra-Perks-Or-Benefits-To-Sweeten-Pot-For-IT-Pros

Ну а типичная трудность поиска в том, что количество и скорость изменения хард-скиллов постоянно растут, поэтому попасть точно под свой набор навыков тоже становится сложнее.

Основная масса вакансий (11% от вообще всех вакансий, включая и нетехнические!) приходятся на программиста-миддла и программиста-сеньора. Список языков типичен: Java, Python, JavaScript, C#, Си/C++.

Tim Tully, CTO Splunk, отмечает, что самая важная черта, которой подчас не хватает многим кандидатам -- это сильное желание учиться.

Tully называет пять важных навыков для современных highload-проектов:
-- управление данными в реальном времени;
-- думать над проектом не просто как кодировщик, а как проектировщик;
-- мобильная разработка (все дружно захотели мобильные версии своих веб-систем);
-- AI / ML;
-- мета-навык (ага, я только вчера об этом говорил!) -- умение правильно комбинировать и развивать эти четыре навыка.

А что же будет дальше? Ну, с учётом того, что миллиарды людей по всему миру массово загоняются по домам, цифровой мир ждёт невиданный доселе мега-эпичнейший бум развития )))
Рекомендации по выходу на апворк:

1) подробнейший гайд вообще по всем сопутствующим темам
http://odeskconf.github.io/guide/

Из литературы по развитию карьеры кстати рекомендуются три американские книги (на русский не переводились), именно на которых я сейчас и развиваю бесплатный курс карьеры для тех, кто "на сервере".

2) хороший блог о фрилансе, рекомендую всё изучить
https://zen.yandex.ru/id/5a8801bdc89010921435fddd

3) ещё отличное руководство для начинающих на апворке
https://jff.name/how-to-upwork/

а в целом сам jff.name это эталонный пример того, как долгосрочное развитие блога эксперта приводит в итоге к собственному успешному делу, к чему я всех регулярно призываю.

"c 2013 года работаю удаленно, в тоже время начал писать блог jff.name про фриланс и Upwork. С течением времени благодаря блогу появились и другие проекты связанные с фрилансом: книга, slack чат, подкаст, группы в социальных сетях"
На фоне всей этой мутной шелухи ещё более незаметно подкрадывается очередная технологическая революция, которая судя по всему окажется ещё круче, нежели машинное обучение, которое и так даёт удивительные результаты. Вы наверняка периодически читаете новости про квантовые вычисления (quantum computing) с невероятным вычислительным потенциалом, и вот они следом за ML тоже весьма сильно пошатают самый фундамент computer science.
В частности, большие надежды на QC возлагаются конечно применительно в первую очередь к AI/ML, где процессорные ресурсы очень важны. Но для этого предстоит эпическая работа по перепроектированию нынешних алгоритмов и фреймворков под квантовые калкулусы. Кто тут в первых рядах, понятно: Google AI в марте анонсировала релиз TensorFlow Quantum для работы в квантовых архитектурах.
https://ai.googleblog.com/2020/03/announcing-tensorflow-quantum-open.html

"Nature isn’t classical, damnit, so if you want to make a simulation of nature, you’d better make it quantum mechanical” Richard Feynman

Для PyTorch квантовая надстройка вот тут: https://pennylane.ai/

Из других полезняшек, Google Cloud AI Platform -- очень классная вещь, когда надо быстро спроектировать ML-прототип, но возможностей обычных ноутбуков не хватает, нужно всё же что-то приближенное к реальной архитектуре. Жаль, что только TF поддерживается, ну это понятно, ведь торч это фаворит фейсбука, гугловского соперника.

Ну и при желании можно потренироваться в прогнозировании эпидемии коронавируса :)
https://www.kaggle.com/sudalairajkumar/novel-corona-virus-2019-dataset/tasks

P.S. Я выложил кстати вчера новый нотубук по free.ai, определение позиции лица на изображении с тренировкой по аугментации данных.
The Coronavirus Quarantine Developer Skill Handbook
рекомендации от Quincy Larson, создателя freeCodeCamp.org

Что сейчас делать? Скачать новый сериальчик? Установить новую игру? Выглянуть в окно на пустую улицу, допить всё что осталось и завалиться спать?

Или всё же стать чуточку взрослее?

Если вы хотите развивать успешную карьеру программиста в этом дивном новом мире, то вам потребуются три ключевые вещи:

-- развивать свои скиллы (онлайн-обучение)
-- строить свою репутацию (блог и гитхаб)
-- взращивать сеть полезных социальных контактов (нетворкинг)

Из хард-скиллов Quincy Larson в 2020-м рекомендует подналечь на фронтенд (JavaScript, ...), Computer Science, Python и его библиотечки применительно к data science, командную строку (линукс, git, bash).

A lot of people freak out about computer science because they "suck at math" or because they took some Java course 10 years ago and hated it. Well I've got good news for you all – computer science doesn't have to be a grind. It can be quite fun.

Много подробных рекомендаций и ссылочки на полезные ресурсы, включая сотни бесплатных университетских курсов:
https://www.freecodecamp.org/news/coronavirus-academy/