В 2017-м Китай тратил 17 млрд. долл. на искусcтвенный интеллект, а в 2020-м потратит уже $70 млрд. Причём китайцы опережают США уже не только по общему объёму AI-исследований, но и по специализированным военным AI-проектам. Однако в ближайшие годы Китай основные средства направит на разработку фундаментальных алгоритмов, робототехнику и интеллектуальные инфраструктуры, а вот США усилит военные акценты.
В США 5 из 10 топовых университетов, где ведутся наиболее мощные разработки по AI, в Китае их три. Ещё по одному в Индии и Канаде.
Amazon выпустила полноценную IDE для ML-проектов с поддержкой полного цикла и ноутбуков
https://aws.amazon.com/sagemaker/
=== материалы Школы за 28 ноября -- 9 декабря 2019 г. ===
Какая сегодня ситуация в суровом энтерпрайзе?
https://vk.com/wall-152484379_2318
Стоит ли сегодня ставить на Rust?
https://vk.com/wall-152484379_2327
Заключительный 6-й уровень аутентичной математики
и про альтернативный путь
https://vk.com/wall-152484379_2338
Алгоритм саморазвития
https://vk.com/wall-152484379_2329
+ и ещё про это же
https://vk.com/wall-152484379_2303
В США 5 из 10 топовых университетов, где ведутся наиболее мощные разработки по AI, в Китае их три. Ещё по одному в Индии и Канаде.
Amazon выпустила полноценную IDE для ML-проектов с поддержкой полного цикла и ноутбуков
https://aws.amazon.com/sagemaker/
=== материалы Школы за 28 ноября -- 9 декабря 2019 г. ===
Какая сегодня ситуация в суровом энтерпрайзе?
https://vk.com/wall-152484379_2318
Стоит ли сегодня ставить на Rust?
https://vk.com/wall-152484379_2327
Заключительный 6-й уровень аутентичной математики
и про альтернативный путь
https://vk.com/wall-152484379_2338
Алгоритм саморазвития
https://vk.com/wall-152484379_2329
+ и ещё про это же
https://vk.com/wall-152484379_2303
Пятёрка самых быстрорастущих ИТ-профессий 2020-го года по отчёту Мирового экономического форума https://www.weforum.org/reports/the-future-of-jobs
Из-за быстрого развития ИТ работу потеряют 7 миллионов человек, в основном из административного и офисного секторов, и прочие белые воротнички.
А в самом айти быстрее всего увеличивается спрос на такие специальности:
1) Инженер по кибербезопасности. Нюанс в том, что почти на все такие вакансии будет нужен официальный университетский диплом;
2) Инженер по искусственному интеллекту и машинному обучению. Тут рулит прежде всего знание алгоритмов ML и программирования;
3) Data scientist. Ну это понятно :)
4) Фуллстек-разработчик веб-приложений. Это топ в плане доступности для самоучек, причём и оклады тоже очень приличные, и в целом перспективы тут остаются весьма стабильными. Минус, что и проекты обычно довольно рутинные, и придётся зубрить скучные веб-фреймворки;
5) Инженер DevOps.
В целом, эксперты WEF эти специальности даже называют долгосрочно доминирующими трендами, и грани между ними достаточно условные.
Из-за быстрого развития ИТ работу потеряют 7 миллионов человек, в основном из административного и офисного секторов, и прочие белые воротнички.
А в самом айти быстрее всего увеличивается спрос на такие специальности:
1) Инженер по кибербезопасности. Нюанс в том, что почти на все такие вакансии будет нужен официальный университетский диплом;
2) Инженер по искусственному интеллекту и машинному обучению. Тут рулит прежде всего знание алгоритмов ML и программирования;
3) Data scientist. Ну это понятно :)
4) Фуллстек-разработчик веб-приложений. Это топ в плане доступности для самоучек, причём и оклады тоже очень приличные, и в целом перспективы тут остаются весьма стабильными. Минус, что и проекты обычно довольно рутинные, и придётся зубрить скучные веб-фреймворки;
5) Инженер DevOps.
В целом, эксперты WEF эти специальности даже называют долгосрочно доминирующими трендами, и грани между ними достаточно условные.
World Economic Forum
The Future of Jobs
Skills and jobs displacement will affect every industry and geographical region, but losses can be offset by job growth in key areas.
Сейчас классические стеки наподобие LAMP быстро становятся легаси, я сам не очень сперва доверял этому тренду (это же Facebook, Wordpress, phpBB и тысячи их), но энтерпрайзных подтверждений всё больше, вот например:
https://habr.com/ru/post/479694/
Куда же это всё идёт? Что грядёт на замену хотя бы классическому веб-мэйнстриму?
во-первых, заканчивается эпоха REST API, да, причём довольно странно: заменой на GraphQL (на хабре как раз об этом);
во-вторых, забываем про классические серверы, включая и виртуалки -- новая волна это serverless (ну это нормально);
в-третьих, забываем про CSS, вместо них будут так называемые design systems, что это:
https://css-tricks.com/who-are-design-systems-for/
в-четвёртых, вместо одностраничников SPA приходят прогрессивные веб-приложения PWA (с качественной поддержкой оффлайна);
в-пятых, классический фуллстек умирает -- вместо него достаточно знания чистого JavaScript, конструируем фронт в визуальной design system, на бэке добавляем небольшой набор js-функций, а всю серверную возню делегируем провайдеру.
В чём главная фишка такого стека? В том, что это реальная суперсила :) в одиночку за несколько часов на React/Gatsby например можно сделать то, что ещё 2-3 года назад коллектив пилил неделями. Работающий прототип стартапа можно сегодня собрать за один день!
https://habr.com/ru/post/479694/
Куда же это всё идёт? Что грядёт на замену хотя бы классическому веб-мэйнстриму?
во-первых, заканчивается эпоха REST API, да, причём довольно странно: заменой на GraphQL (на хабре как раз об этом);
во-вторых, забываем про классические серверы, включая и виртуалки -- новая волна это serverless (ну это нормально);
в-третьих, забываем про CSS, вместо них будут так называемые design systems, что это:
https://css-tricks.com/who-are-design-systems-for/
в-четвёртых, вместо одностраничников SPA приходят прогрессивные веб-приложения PWA (с качественной поддержкой оффлайна);
в-пятых, классический фуллстек умирает -- вместо него достаточно знания чистого JavaScript, конструируем фронт в визуальной design system, на бэке добавляем небольшой набор js-функций, а всю серверную возню делегируем провайдеру.
В чём главная фишка такого стека? В том, что это реальная суперсила :) в одиночку за несколько часов на React/Gatsby например можно сделать то, что ещё 2-3 года назад коллектив пилил неделями. Работающий прототип стартапа можно сегодня собрать за один день!
Andrew Ng прорекламировал новый цикл курсов по ML / TensorFlow, на курсере:
"Courses 1 & 2 of deeplearningai_‘s newest Specialization is now available on Coursera. Training a model is only one step in building a working AI system. These courses teach you how to navigate some key deployment scenarios."
https://www.coursera.org/specializations/tensorflow-data-and-deployment
Этот цикл про то, how to get your machine learning models into the hands of real people on all kinds of devices.
"Courses 1 & 2 of deeplearningai_‘s newest Specialization is now available on Coursera. Training a model is only one step in building a working AI system. These courses teach you how to navigate some key deployment scenarios."
https://www.coursera.org/specializations/tensorflow-data-and-deployment
Этот цикл про то, how to get your machine learning models into the hands of real people on all kinds of devices.
Coursera
TensorFlow: Data and Deployment
Offered by DeepLearning.AI. Enroll for free.
Читал на днях кого-то из гуру по экстремальному программированию XP, и интересную фичу запомнил. Она хорошо известна в программной инженерии, но в форме мягкой рекомендации, а аджайлы по своему хороши тем, что такие рекомендации превращают в жёсткие обязательные требования, от которых уже не отмажешься, и добиваются правильного результата.
Речь о классическом планировании проекта, когда у нас есть сроки, бюджет и объём работ. Текущее состояние проекта -- точка внутри треугольника с такими вершинами, и когда она слишком смещается к одному из углов (например, приближается к "сроку", что означает, что нехватка времени становится критичной, а бюджет не освоен), надо срочно тянуть эту точку к двум другим углам. В данном случае надо быстро расходовать бюджет, например, привлекая новых программистов, и быстро реализовывать приоритетные фичи.
И вот фишка в том, что гуру предложил вообще отказаться от критерия сроков -- а ведь это практически для всех тимлидов, ит-менедежеров священная корова. Первое, о чём программистов спрашивают, это обычно "ну когда??".
И вот принцип, что программисты вообще не должны ничего знать о сроках. Более того, высокое качество становится абсолютным приоритетом -- потому что, множество исследований было, которые доказывали, что акцент на качестве практически всегда ощутимо экономит и бюджет, и время работы над проектом в целом, за счёт существенного снижения объёмов отладки и дорогого фикса багов в продакшене.
Просто этот момент неочевиден, объяснения и ссылки на исследования не помогают, поэтому и приходится превращать его в незыблемый принцип.
Речь о классическом планировании проекта, когда у нас есть сроки, бюджет и объём работ. Текущее состояние проекта -- точка внутри треугольника с такими вершинами, и когда она слишком смещается к одному из углов (например, приближается к "сроку", что означает, что нехватка времени становится критичной, а бюджет не освоен), надо срочно тянуть эту точку к двум другим углам. В данном случае надо быстро расходовать бюджет, например, привлекая новых программистов, и быстро реализовывать приоритетные фичи.
И вот фишка в том, что гуру предложил вообще отказаться от критерия сроков -- а ведь это практически для всех тимлидов, ит-менедежеров священная корова. Первое, о чём программистов спрашивают, это обычно "ну когда??".
И вот принцип, что программисты вообще не должны ничего знать о сроках. Более того, высокое качество становится абсолютным приоритетом -- потому что, множество исследований было, которые доказывали, что акцент на качестве практически всегда ощутимо экономит и бюджет, и время работы над проектом в целом, за счёт существенного снижения объёмов отладки и дорогого фикса багов в продакшене.
Просто этот момент неочевиден, объяснения и ссылки на исследования не помогают, поэтому и приходится превращать его в незыблемый принцип.
На конференции по Neural Information Processing Systems https://nips.cc/ на прошедшей неделе затусило 13,000 специалистов по AI.
Yoshua Bengio, один из единичных топовых учёных в этой сфере, которые пока не перешли в гуглы-фейсбуки и остаются верными академизму, отметил, что пока многие подходы к машинному обучению чрезмерно специфичны, из-за чего обмен полезными знаниями между AI-системами сильно затруднён.
Blaise Aguera y Arcas, архитектор AI-проектов в Microsoft и Google, посоветовал не забывать о "биологической" природе интеллектуальных систем и призвал активнее внедрять соответствующие механизмы в глубокое обучение. В целом был отмечен большой прогресс, однако особо подчёркивались призывы к прагматичной оценке этого прогресса. Пока все успехи весьма относительны.
-- Microsoft продолжает исследования по формализации ML-систем и повышения их прозрачности. Новая архитектура neurosymbolic AI models подразумевает синтез символических и нейронных алгоритмов. Введено понятие tensor product representation (TPR) -- нейросимволы, паттерны активации сетей со специфической внутренней структурой, которые предложено трактовать с прозрачных символических позиций, то есть ими можно формально манипулировать, как принято в классических AI-системах. В частности, удалось с помощью TPR решать математические и программистские задачи, сформулированные на естественном языке (генерировался Лисп-код решения).
https://www.microsoft.com/en-us/research/blog/next-generation-architectures-bridge-gap-between-neural-and-symbolic-representations-with-neural-symbols/
-- Как Uber с помощью ML анализирует огромные датасеты, полезная статья в плане построения соответствующей технической архитектуры:
https://eng.uber.com/productionizing-distributed-xgboost/
-- MIT и IBM создали датасет ObjectNet, заточенный на понимание сложных и неоднозначных моментов распознавания изображений. Людям понятно, а машинам очень тяжело. Вдобавок в нём нету обучающей выборки! :)
http://objectnet.dev/
-- NASA совместо с Intel, IBM и Google внедряет AI-технологии поиска инопланетян. Когда каждые 10 секунд приходит очередной гигабайт сырых данных, вручную изучать это всё давно уже немыслимо.
https://www.space.com/artificial-intelligence-tech-aid-exoplanet-asteroid-detection.html
Yoshua Bengio, один из единичных топовых учёных в этой сфере, которые пока не перешли в гуглы-фейсбуки и остаются верными академизму, отметил, что пока многие подходы к машинному обучению чрезмерно специфичны, из-за чего обмен полезными знаниями между AI-системами сильно затруднён.
Blaise Aguera y Arcas, архитектор AI-проектов в Microsoft и Google, посоветовал не забывать о "биологической" природе интеллектуальных систем и призвал активнее внедрять соответствующие механизмы в глубокое обучение. В целом был отмечен большой прогресс, однако особо подчёркивались призывы к прагматичной оценке этого прогресса. Пока все успехи весьма относительны.
-- Microsoft продолжает исследования по формализации ML-систем и повышения их прозрачности. Новая архитектура neurosymbolic AI models подразумевает синтез символических и нейронных алгоритмов. Введено понятие tensor product representation (TPR) -- нейросимволы, паттерны активации сетей со специфической внутренней структурой, которые предложено трактовать с прозрачных символических позиций, то есть ими можно формально манипулировать, как принято в классических AI-системах. В частности, удалось с помощью TPR решать математические и программистские задачи, сформулированные на естественном языке (генерировался Лисп-код решения).
https://www.microsoft.com/en-us/research/blog/next-generation-architectures-bridge-gap-between-neural-and-symbolic-representations-with-neural-symbols/
-- Как Uber с помощью ML анализирует огромные датасеты, полезная статья в плане построения соответствующей технической архитектуры:
https://eng.uber.com/productionizing-distributed-xgboost/
-- MIT и IBM создали датасет ObjectNet, заточенный на понимание сложных и неоднозначных моментов распознавания изображений. Людям понятно, а машинам очень тяжело. Вдобавок в нём нету обучающей выборки! :)
http://objectnet.dev/
-- NASA совместо с Intel, IBM и Google внедряет AI-технологии поиска инопланетян. Когда каждые 10 секунд приходит очередной гигабайт сырых данных, вручную изучать это всё давно уже немыслимо.
https://www.space.com/artificial-intelligence-tech-aid-exoplanet-asteroid-detection.html
Основные тренды искусственного интеллекта 2019 по ежегодному стэнфордскому исследованию AI Index https://hai.stanford.edu/ai-index/2019
-- в период 1998-2018 количество научных работ по AI выросло на 300%;
-- очень высок интерес к теме обучения AI. Например, AI/ML сегодня самая популярная специализация среди выпускников факультетов computer science в Северной Америке. Также, 21% PhD в cs специализируется сегодня на AI, на втором месте с большим провалом (10%) темка кибербезопасности;
-- США пока лидеры по научной деятельности в сфере AI (40%), но вплотную за ними Китай и Япония;
-- скорость AI-алгоритмов, учитывая прогресс и железа и софта, стабильно растёт. Время для обучения типичной модели на ImageNet сократилось с трёх часов в октябре 2017-го до 88 секунд в июле 2019-го. Стоимость такого обучения упала с тысяч долларов до менее чем ста долларов;
-- в прикладных сферах максимальные инвестиции в AI приходятся на беспилотные автомобили ($7,7 млрд.), медицина и распознавание лиц по $4,7 млрд., и робототехника $1 млрд.
И вот мнение отечественных экспертов про это всё (+ PyTorch рулит!)
https://habr.com/ru/post/480348/
Короче говоря, больше игнорировать этот тренд невозможно, поэтому с января 2020-го оживляю и далее развиваю мой курс по машинному обучению :)
-- в период 1998-2018 количество научных работ по AI выросло на 300%;
-- очень высок интерес к теме обучения AI. Например, AI/ML сегодня самая популярная специализация среди выпускников факультетов computer science в Северной Америке. Также, 21% PhD в cs специализируется сегодня на AI, на втором месте с большим провалом (10%) темка кибербезопасности;
-- США пока лидеры по научной деятельности в сфере AI (40%), но вплотную за ними Китай и Япония;
-- скорость AI-алгоритмов, учитывая прогресс и железа и софта, стабильно растёт. Время для обучения типичной модели на ImageNet сократилось с трёх часов в октябре 2017-го до 88 секунд в июле 2019-го. Стоимость такого обучения упала с тысяч долларов до менее чем ста долларов;
-- в прикладных сферах максимальные инвестиции в AI приходятся на беспилотные автомобили ($7,7 млрд.), медицина и распознавание лиц по $4,7 млрд., и робототехника $1 млрд.
И вот мнение отечественных экспертов про это всё (+ PyTorch рулит!)
https://habr.com/ru/post/480348/
Короче говоря, больше игнорировать этот тренд невозможно, поэтому с января 2020-го оживляю и далее развиваю мой курс по машинному обучению :)
Stanford Institute for Human-Centered Artificial Intelligence
AI Index 2019
-- Как lego.com переходит на serverless и functionless
https://www.serverlesschats.com/20
functionless -- очередной сильный less-тренд, идея которого, что мы теперь даже не пишем конкретные функции-обработчики событий, а работаем с облаком как с единой многофункциональной панелью, связывая входы и выходы с помощью конфигурационных настроек и единичных строчек кода, крохотных скриптов. А первый шаг к безфункциональности -- писать поменьше функций и по максимуму использовать стандартные возможности облачной системы.
+ развитие темы про functionless и Lambda Nirvana (не зря я когда-то назвал паблик lambda_brain :)
https://medium.com/lego-engineering/dont-wait-for-functionless-write-less-functions-instead-8f2c331cd651
-- Какой невероятно сложной в инженерном плане оказалась задача организации киберсоревнований по League of Legends, куча увлекательных технических подробностей
https://technology.riotgames.com/news/engineering-esports-tech-powers-worlds
https://www.serverlesschats.com/20
functionless -- очередной сильный less-тренд, идея которого, что мы теперь даже не пишем конкретные функции-обработчики событий, а работаем с облаком как с единой многофункциональной панелью, связывая входы и выходы с помощью конфигурационных настроек и единичных строчек кода, крохотных скриптов. А первый шаг к безфункциональности -- писать поменьше функций и по максимуму использовать стандартные возможности облачной системы.
+ развитие темы про functionless и Lambda Nirvana (не зря я когда-то назвал паблик lambda_brain :)
https://medium.com/lego-engineering/dont-wait-for-functionless-write-less-functions-instead-8f2c331cd651
-- Какой невероятно сложной в инженерном плане оказалась задача организации киберсоревнований по League of Legends, куча увлекательных технических подробностей
https://technology.riotgames.com/news/engineering-esports-tech-powers-worlds
Искусственный интеллект быстро становится топовой специальностью, это происходит буквально за один год! Конечно, под тему AI сегодня подгоняется много всякого разного, и тем не менее, хотя бы скилл такой в своём резюме указывать сегодня очень важно, иначе ваши cv даже по ключевым словам не пройдут фильтры хороших вакансий. Для начала желательно пройти что-то вроде моего курса по машинному обучению, чтобы научиться распознавать котиков и познакомиться с азами data science и фреймворка pytorch.
Потому что в США специалист по AI -- самая быстрорастущая специальность по критерию размера зарплат (среди всех профессии вообще!), как на неделе сообщил LinkedIn. А вот краткосрочный спрос на спецов по блокчейну вполне ожидаемо сильно спал. Вторыми по росту зарплат стали инженеры по робототехнике, и третьими -- data scientists.
Bye bye blockchain developer, hello artificial intelligence specialist.
https://fortune.com/2019/12/10/artificial-intelligence-hottest-job/
С AI такого спада точно не случится, но конечно будет ещё много шума, когда каждый начинает вписывать в свои навыки "data scientist" и "data engineer" и т. п., а на каждом собеседовании будут задавать вопрос про навыки в сфере AI. Поэтому сегодня особо важно быть в этой теме, уметь выделяться своими реальными умениями. "Навыки AI/ML" становятся таким же мастхэвом, как и SQL или ООП.
Потому что в США специалист по AI -- самая быстрорастущая специальность по критерию размера зарплат (среди всех профессии вообще!), как на неделе сообщил LinkedIn. А вот краткосрочный спрос на спецов по блокчейну вполне ожидаемо сильно спал. Вторыми по росту зарплат стали инженеры по робототехнике, и третьими -- data scientists.
Bye bye blockchain developer, hello artificial intelligence specialist.
https://fortune.com/2019/12/10/artificial-intelligence-hottest-job/
С AI такого спада точно не случится, но конечно будет ещё много шума, когда каждый начинает вписывать в свои навыки "data scientist" и "data engineer" и т. п., а на каждом собеседовании будут задавать вопрос про навыки в сфере AI. Поэтому сегодня особо важно быть в этой теме, уметь выделяться своими реальными умениями. "Навыки AI/ML" становятся таким же мастхэвом, как и SQL или ООП.
Пять прогнозов по облачным вычислениям на 2020-й от Forrester.
https://www.techrepublic.com/article/forrester-the-5-ways-cloud-computing-will-change-in-2020/
1) Сегодня 75% облачного рынка контролируют AWS, Google, Microsoft и Alibaba.
IBM и Oracle уже объявили, что не будут претендовать на передел этого рынка, а сосредоточатся на более специфических нишах. Поэтому сегодня можно смело ставить на один из этих четырёх массовых облачных стеков.
2) Соответственно, многие Software as a Service - поставщики полностью переползают на эти платформы. CloudSuite на AWS, Office 365, естественно, на Azure, Salesforce на Alibaba.
3) Объём высокопроизводительных вычислений (HPC; всевозможные нагрузочные проекты вроде прогнозов погоды) в этих публичных облаках вырастет на 40%, и провайдеры уже предлагают новые виды инстансов под такие проекты (AWS's C5/P2/P3/G3, Azure's H-/NC-/ND-/NV-, Google's V100/P100/K80). Поэтому можно смело закладываться и на отличную масштабируемость в этих стеках.
4) Продолжится конкуренция между классической нативной разработкой в виртуалках, и serverless. На эту тему в паблике на днях напишу пост.
5) Обеспечение безопасности в public clouds продолжит стабильно усиливаться, и это хорошо.
https://www.techrepublic.com/article/forrester-the-5-ways-cloud-computing-will-change-in-2020/
1) Сегодня 75% облачного рынка контролируют AWS, Google, Microsoft и Alibaba.
IBM и Oracle уже объявили, что не будут претендовать на передел этого рынка, а сосредоточатся на более специфических нишах. Поэтому сегодня можно смело ставить на один из этих четырёх массовых облачных стеков.
2) Соответственно, многие Software as a Service - поставщики полностью переползают на эти платформы. CloudSuite на AWS, Office 365, естественно, на Azure, Salesforce на Alibaba.
3) Объём высокопроизводительных вычислений (HPC; всевозможные нагрузочные проекты вроде прогнозов погоды) в этих публичных облаках вырастет на 40%, и провайдеры уже предлагают новые виды инстансов под такие проекты (AWS's C5/P2/P3/G3, Azure's H-/NC-/ND-/NV-, Google's V100/P100/K80). Поэтому можно смело закладываться и на отличную масштабируемость в этих стеках.
4) Продолжится конкуренция между классической нативной разработкой в виртуалках, и serverless. На эту тему в паблике на днях напишу пост.
5) Обеспечение безопасности в public clouds продолжит стабильно усиливаться, и это хорошо.
Мнения ведущих экспертов по AI (уровня OpenAI, DeepMind, Google, IBM) в плане прогнозов на 2020-й и ближайшие годы схожи в первую очередь в том, что обещается сильный акцент на упрощении прикладных технологий AI/ML/DS. Потому что найти спецов с хорошими университетскими знаниями по математике (и при этом приличных программистов), вообще нереально, а количество проектов быстро растёт. Ситуацию ещё усложняют совсем ещё молодые и довольно необычные ML-фреймворки, отсутствие стандартов на сырые данные, на разметку датасетов, почти нулевой опыт в обеспечении дорогого жизненного цикла AI-проектов...
Я этот тренд учитываю :) С января возобновляется мой курс по машинному обучению, в новом формате. Продолжим изучать новый фреймворк fast.ai, надстройку над PyTorch, который разработал бывший архитектор Kaggle, сам очень успешно участвовавший в соревнованиях. Фреймворк очень удобный и простой: загрузка датасета, обучение и визуализация результата требуют буквально 3-5 строчек на питоне. Первый ноутбук уже готов :)
В научном плане конец года отметился очередным трендом автоматизации ML.
Uber тестирует систему, в которой с помощью так называемых Generative Teaching Networks генерируются автоматически не только обучающие данные, но и вся инфраструктура обучения, что должно существенно ускорить и улучшить тренировку моделей. Выигрыш получился в девять раз. Понятно, что возникает вопрос, а насколько при этом искусственные датасеты адекватны реальным? об этом в статье
https://eng.uber.com/generative-teaching-networks/
Схожая тема от Microsoft: как RL-агентам автоматически выбирать наилучшие цели для обучения (на практике 55 игр для Атари):
https://www.microsoft.com/en-us/research/blog/finding-the-best-learning-targets-automatically-fully-parameterized-quantile-function-for-distributional-rl/
Япония решила сделать AI обязательным предметом для изучения в колледжах:
https://www.nasdaq.com/articles/softbanks-son-says-japan-should-make-ai-mandatory-subject-for-college-students-2019-12-16
Нешаблонная, но весьма актуальная задачка для AI: как выявлять отсутствие объектов :) Если на изображении имеется какая-то шумовая фигня, то классические алгоритмы пытаются классифицировать всё что хоть как-то "похоже" распозналось, относя каждый объект к "ближайшей" категории, что некорректно.
https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/the-next-frontier-in-ai-nothing
Я этот тренд учитываю :) С января возобновляется мой курс по машинному обучению, в новом формате. Продолжим изучать новый фреймворк fast.ai, надстройку над PyTorch, который разработал бывший архитектор Kaggle, сам очень успешно участвовавший в соревнованиях. Фреймворк очень удобный и простой: загрузка датасета, обучение и визуализация результата требуют буквально 3-5 строчек на питоне. Первый ноутбук уже готов :)
В научном плане конец года отметился очередным трендом автоматизации ML.
Uber тестирует систему, в которой с помощью так называемых Generative Teaching Networks генерируются автоматически не только обучающие данные, но и вся инфраструктура обучения, что должно существенно ускорить и улучшить тренировку моделей. Выигрыш получился в девять раз. Понятно, что возникает вопрос, а насколько при этом искусственные датасеты адекватны реальным? об этом в статье
https://eng.uber.com/generative-teaching-networks/
Схожая тема от Microsoft: как RL-агентам автоматически выбирать наилучшие цели для обучения (на практике 55 игр для Атари):
https://www.microsoft.com/en-us/research/blog/finding-the-best-learning-targets-automatically-fully-parameterized-quantile-function-for-distributional-rl/
Япония решила сделать AI обязательным предметом для изучения в колледжах:
https://www.nasdaq.com/articles/softbanks-son-says-japan-should-make-ai-mandatory-subject-for-college-students-2019-12-16
Нешаблонная, но весьма актуальная задачка для AI: как выявлять отсутствие объектов :) Если на изображении имеется какая-то шумовая фигня, то классические алгоритмы пытаются классифицировать всё что хоть как-то "похоже" распозналось, относя каждый объект к "ближайшей" категории, что некорректно.
https://spectrum.ieee.org/tech-talk/robotics/artificial-intelligence/the-next-frontier-in-ai-nothing
Свежее интервью с Барбарой Лисков на Гейдельбергском форуме лауреатов (людей, получавших самые престижные премии в computer science и математике -- Филдса, Абеля, Тьюринга).
https://www.quantamagazine.org/barbara-liskov-is-the-architect-of-modern-algorithms-20191120/
Основополагающие её принципы (в частности, LSP), правильное использование абстракций и спецификаций, ставшие классикой ООАП, проходим на моём новом курсе по объектно-ориентированному проектированию. Порекомендую соответственно классическую книгу Лисков "Использование абстракций и спецификаций при разработке программ" (1989).
"Что такое вычислительное мышление? Я представляю абстрактную машину с теми типами данных и операциями, которые мне наиболее подходят для решения задачи. Если бы такая машина существовала, я сразу бы могла легко написать нужную мне программу. Но такой машины нету. Поэтому я ввожу ряд подзадач -- типы данных и операции -- и мне нужно разобраться, как их реализовывать. Я выполняю такие итерации снова и снова, пока не доберусь до реальной вычислительной машины и существующего языка программирования.
Это и есть искусство проектирования".
https://www.quantamagazine.org/barbara-liskov-is-the-architect-of-modern-algorithms-20191120/
Основополагающие её принципы (в частности, LSP), правильное использование абстракций и спецификаций, ставшие классикой ООАП, проходим на моём новом курсе по объектно-ориентированному проектированию. Порекомендую соответственно классическую книгу Лисков "Использование абстракций и спецификаций при разработке программ" (1989).
"Что такое вычислительное мышление? Я представляю абстрактную машину с теми типами данных и операциями, которые мне наиболее подходят для решения задачи. Если бы такая машина существовала, я сразу бы могла легко написать нужную мне программу. Но такой машины нету. Поэтому я ввожу ряд подзадач -- типы данных и операции -- и мне нужно разобраться, как их реализовывать. Я выполняю такие итерации снова и снова, пока не доберусь до реальной вычислительной машины и существующего языка программирования.
Это и есть искусство проектирования".
Quanta Magazine
The Architect of Modern Algorithms
Barbara Liskov pioneered the modern approach to writing code. She warns that the challenges facing computer science today can’t be overcome with good design alone.
Простой пример, как правильно выстроить свою карьеру, от студента Вологодского университета до разработчика компиляторов C++ в Intel, всего за 9 лет.
Денис Бахвалов: "Никакого секрета у меня нет, я просто пахал. Я бы сказал, что это занимает 80% от успеха. Если мы будем только говорить и ничего не делать, то ничего хорошего не произойдет. И наоборот: если мы будем только делать, и никто об этом не узнает, эффекта также не будет".
http://fresh35.com/rubrics/%D0%B7%D0%B0-%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B0%D0%BC%D0%B8-%D0%B2%D0%BE/%D0%B4%D0%B5%D0%BD%D0%B8%D1%81-%D0%B1%D0%B0%D1%85%D0%B2%D0%B0%D0%BB%D0%BE%D0%B2,-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82,-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80%D0%BE%D0%B2-%D1%81
Эталонная статья Дениса про оптимизацию кода:
https://www.bfilipek.com/2019/11/perfguidecpu.html
Often changing one line in the program source code can yield 2x performance boost.
Performance analysis is all about how to find and fix this line! Missing such opportunities can be a big waste.
Вообще, рекомендую периодически читать блог Бахвалова
https://easyperf.net/notes/
Принципиальный тут момент, что в Интел и подобные топчики никогда не попасть, если, во-первых, изучать веб-фреймворки а не computer science, и во-вторых, не прокачивать параллельно и софт-скиллы (личный бренд разработчика).
Денис Бахвалов: "Никакого секрета у меня нет, я просто пахал. Я бы сказал, что это занимает 80% от успеха. Если мы будем только говорить и ничего не делать, то ничего хорошего не произойдет. И наоборот: если мы будем только делать, и никто об этом не узнает, эффекта также не будет".
http://fresh35.com/rubrics/%D0%B7%D0%B0-%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B0%D0%BC%D0%B8-%D0%B2%D0%BE/%D0%B4%D0%B5%D0%BD%D0%B8%D1%81-%D0%B1%D0%B0%D1%85%D0%B2%D0%B0%D0%BB%D0%BE%D0%B2,-%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%81%D1%82,-%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%87%D0%B8%D0%BA-%D0%BA%D0%BE%D0%BC%D0%BF%D0%B8%D0%BB%D1%8F%D1%82%D0%BE%D1%80%D0%BE%D0%B2-%D1%81
Эталонная статья Дениса про оптимизацию кода:
https://www.bfilipek.com/2019/11/perfguidecpu.html
Often changing one line in the program source code can yield 2x performance boost.
Performance analysis is all about how to find and fix this line! Missing such opportunities can be a big waste.
Вообще, рекомендую периодически читать блог Бахвалова
https://easyperf.net/notes/
Принципиальный тут момент, что в Интел и подобные топчики никогда не попасть, если, во-первых, изучать веб-фреймворки а не computer science, и во-вторых, не прокачивать параллельно и софт-скиллы (личный бренд разработчика).
C++ Stories
A Programmer’s Guide to Performance Analysis & Tuning on Modern CPUs
They say “performance is king’… It was true a decade ago and it certainly is now. With more and more data the world generates each day, we need more and more computing power to process it.
It used to be the case that some SW vendors preferred to wait for…
It used to be the case that some SW vendors preferred to wait for…
Серьёзное исследование министерства труда США по поводу самых перспективных профессий в грядущем десятилетии, а также про перспективные специальности, которых пока ещё не существует.
https://cacm.acm.org/blogs/blog-cacm/241947-computing-continues-to-dominate-stem-career-opportunities/fulltext
Самый топчик, как вы наверное догадались, это программирование :)
И все пять наиболее популярных профессий связаны с ИТ. В два(!) раза от девелоперов по количеству незанятых вакансий отстают некие абстрактные специалисты по компьютерному сопровождению (племянники директора :), в три раза -- ИТ-аналитики, далее (4-5 раз) следует техподдержка и сисадмины. А по темпам роста вакансий программисты вообще заоблачно оторвались от племянников, в 3-4 раза.
Более того, в STEM 40+% всех новых рабочих мест будет приходиться на программную инженерию (доля традиционных инженерных отраслей лишь 12%)! Вакансий для программистов будет больше, нежели во всех других отраслях, вместе взятых!
Отмечу пару важных трендов:
1) Мобильная разработка развивается очень бурно, и я вообще на курсе в профессию рекомендую специализироваться в ней, если не очень понятно с чего начинать. Потому что веб-клиенты в эпоху тотальной мобильности уже совсем не катят.
2) Рядом с этим и Internet of Things, embedding computing, смарт-утюги, смарт-кофеварки, которые уже реально умнее твоего соседа, вот это всё.
Эти два пункта конечно неявно подразумевают и знание бэкенда.
И такие тренды ещё совершенно не означают, что будет легко :) Наоборот, специализации усиливаются, темки углубляются, и количество возможных направлений только растёт. Поэтому особо важно сегодня не зубрёжка сотен нюансов фреймворков и языков программирования, а развитие универсальных навыков разработки.
https://cacm.acm.org/blogs/blog-cacm/241947-computing-continues-to-dominate-stem-career-opportunities/fulltext
Самый топчик, как вы наверное догадались, это программирование :)
И все пять наиболее популярных профессий связаны с ИТ. В два(!) раза от девелоперов по количеству незанятых вакансий отстают некие абстрактные специалисты по компьютерному сопровождению (племянники директора :), в три раза -- ИТ-аналитики, далее (4-5 раз) следует техподдержка и сисадмины. А по темпам роста вакансий программисты вообще заоблачно оторвались от племянников, в 3-4 раза.
Более того, в STEM 40+% всех новых рабочих мест будет приходиться на программную инженерию (доля традиционных инженерных отраслей лишь 12%)! Вакансий для программистов будет больше, нежели во всех других отраслях, вместе взятых!
Отмечу пару важных трендов:
1) Мобильная разработка развивается очень бурно, и я вообще на курсе в профессию рекомендую специализироваться в ней, если не очень понятно с чего начинать. Потому что веб-клиенты в эпоху тотальной мобильности уже совсем не катят.
2) Рядом с этим и Internet of Things, embedding computing, смарт-утюги, смарт-кофеварки, которые уже реально умнее твоего соседа, вот это всё.
Эти два пункта конечно неявно подразумевают и знание бэкенда.
И такие тренды ещё совершенно не означают, что будет легко :) Наоборот, специализации усиливаются, темки углубляются, и количество возможных направлений только растёт. Поэтому особо важно сегодня не зубрёжка сотен нюансов фреймворков и языков программирования, а развитие универсальных навыков разработки.
cacm.acm.org
Computing Continues to Dominate STEM Career Opportunities
According to the most recent (2018-28) U.S. Bureau of Labor Statistics Employment Projections, the top five STEM career opportunities are all in computing.
JetBrains запустили бесплатный обучающий сервис, куча разных языков, всё это видимо встроено в IntelliJ
https://www.jetbrains.com/education/learning/
Есть интеграция с https://checkio.org
https://www.jetbrains.com/education/learning/
Есть интеграция с https://checkio.org
JetBrains
Learn and Teach Computer Science with JetBrains Academy
Study programming and computer science, explore various careers, and educate others with JetBrains Academy.
В машинном обучении периодически проявляются странные явления, которые стандартными математическими теориями не объяснить. Из последних, это Deep Double Descent
https://openai.com/blog/deep-double-descent/
Эффект, который обнаружили опытные специалисты-практики ML. Оказывается, чем крупнее модель, тем лучшие результаты она выдаёт, хотя по всем классическим схемам ожидается, что чем крупнее модель, тем просто больше она склонна к переобучению. Более того, этот процесс нелинейный -- был обнаружен т.н. порог интерполяции, до которого при увеличении модели лосс растёт, а после которого вдруг начинает понижаться.
Общая идея видимо в том, что чем крупнее модель, тем больше шансов, что удастся найти подходящие функции интерполяции под конкретную задачку. До этого порога у нас была одна модель, которая как-то (слабо) подходит под результат, и чем больше мы пытаемся из неё выжать, тем быстрее наступит оверфит. Однако после порога происходит внезапное зарождение в нейросетке множества хороших моделей, и даже небольшие корректировки SGD быстро дают правильные результаты.
Точные причины этого всего пока неизвестны :)
Возможно, так получается потому, что SGD хорошо находит неглубокие и неострые минимумы -- а именно эти минимумы чаще всего и бывают генерализованными моделями). Есть ещё и совсем примитивное объяснение -- при случайном создании нейросеть содержит много подсетей, и некоторые из них уже весьма близки к хорошим решениям (ну или что как минимум их можно неплохо дообучить), и вот SGD на первых порах находит лишь ближайшую к нему, а за порогом вынужден бродить уже по всему пространству нейросети.
Мне лично ближе парадигма, по которой нейронная сеть на самом деле реализует байесовские рассуждения (не исключено даже, что и математически эквивалентна им), отличная тренировка в которых -- паззлы из книг Смаллиана например.
Это просто присущее нейросеткам свойство "от природы", которое они пока умело от нас маскируют.
https://openai.com/blog/deep-double-descent/
Эффект, который обнаружили опытные специалисты-практики ML. Оказывается, чем крупнее модель, тем лучшие результаты она выдаёт, хотя по всем классическим схемам ожидается, что чем крупнее модель, тем просто больше она склонна к переобучению. Более того, этот процесс нелинейный -- был обнаружен т.н. порог интерполяции, до которого при увеличении модели лосс растёт, а после которого вдруг начинает понижаться.
Общая идея видимо в том, что чем крупнее модель, тем больше шансов, что удастся найти подходящие функции интерполяции под конкретную задачку. До этого порога у нас была одна модель, которая как-то (слабо) подходит под результат, и чем больше мы пытаемся из неё выжать, тем быстрее наступит оверфит. Однако после порога происходит внезапное зарождение в нейросетке множества хороших моделей, и даже небольшие корректировки SGD быстро дают правильные результаты.
Точные причины этого всего пока неизвестны :)
Возможно, так получается потому, что SGD хорошо находит неглубокие и неострые минимумы -- а именно эти минимумы чаще всего и бывают генерализованными моделями). Есть ещё и совсем примитивное объяснение -- при случайном создании нейросеть содержит много подсетей, и некоторые из них уже весьма близки к хорошим решениям (ну или что как минимум их можно неплохо дообучить), и вот SGD на первых порах находит лишь ближайшую к нему, а за порогом вынужден бродить уже по всему пространству нейросети.
Мне лично ближе парадигма, по которой нейронная сеть на самом деле реализует байесовские рассуждения (не исключено даже, что и математически эквивалентна им), отличная тренировка в которых -- паззлы из книг Смаллиана например.
Это просто присущее нейросеткам свойство "от природы", которое они пока умело от нас маскируют.
Десятилетиями одни люди ноют, что в ИТ-бизнесе давно все ниши заняты, а другие что-то начинают делать, и внезапно обнаруживают, что конкуренции вообще нету, если стараешься делать хоть немного качественно. "Нормально делай -- нормально будет" действительно прекрасно работает. Не надо начинать с "ниши" фейсбука или доты, сперва достаточно совсем крохотной, буквально микроскопической нишечки.
1) https://getcssscan.com
Объём продаж -- $1000/месяц.
Решает классическую проблемку, с которой мучаются фронтендеры: the fastest and easiest way to check, copy and edit CSS.
2) https://burnermail.io
Объём продаж -- $1400/месяц.
Решение проблемы с приватностью почты.
3) https://solidbook.io
How to write testable, flexible, and maintainable code with Node.js and TypeScript. Интересно, кстати, про serverless JAMStack.
Объём продаж -- $2000/месяц.
4) https://pqina.nl/doka/
Объём продаж -- $6000/месяц.
High-performance JavaScript Image Editing in the Browser.
===
Я всё время говорю на курсе в профессию, что занимайтесь специализацией, долгосрочно развивайте блог эксперта — но это совсем не про то, что надо становиться каким-то супер-пупер спецом-архитектором, а ровно наоборот -- выбираете узенькую сферу, конкретную маленькую проблему, которую именно вы решаете лучше всех. Например, крайне специфичный курс, как правильно использовать React с D3, ежемесячно продаётся на 1600 долларов (при том, что статей на эту тему можно нагуглить без проблем). Тут тысячи самых разных инженерных темок, на которых конечно не выстроить стартап, и никогда не будет конкуренции сверху -- но зато для самозанятого индивидуального предпринимательства безграничные возможности, особенно сегодня, когда количество новых сложных технологий стремительно растёт.
Деньги лежат у вас перед клавиатурой.
1) https://getcssscan.com
Объём продаж -- $1000/месяц.
Решает классическую проблемку, с которой мучаются фронтендеры: the fastest and easiest way to check, copy and edit CSS.
2) https://burnermail.io
Объём продаж -- $1400/месяц.
Решение проблемы с приватностью почты.
3) https://solidbook.io
How to write testable, flexible, and maintainable code with Node.js and TypeScript. Интересно, кстати, про serverless JAMStack.
Объём продаж -- $2000/месяц.
4) https://pqina.nl/doka/
Объём продаж -- $6000/месяц.
High-performance JavaScript Image Editing in the Browser.
===
Я всё время говорю на курсе в профессию, что занимайтесь специализацией, долгосрочно развивайте блог эксперта — но это совсем не про то, что надо становиться каким-то супер-пупер спецом-архитектором, а ровно наоборот -- выбираете узенькую сферу, конкретную маленькую проблему, которую именно вы решаете лучше всех. Например, крайне специфичный курс, как правильно использовать React с D3, ежемесячно продаётся на 1600 долларов (при том, что статей на эту тему можно нагуглить без проблем). Тут тысячи самых разных инженерных темок, на которых конечно не выстроить стартап, и никогда не будет конкуренции сверху -- но зато для самозанятого индивидуального предпринимательства безграничные возможности, особенно сегодня, когда количество новых сложных технологий стремительно растёт.
Деньги лежат у вас перед клавиатурой.
👍1
Специфическая особенность машинного обучения в том, что тренды задаются совсем небольшим количеством крупных корпораций, схантивших себе всех топовых специалистов в мире. Отрасль эта наукоёмкая, подразумевает большой объём научных исследований. Лидеры тут Amazon, Google, Facebook, IBM, Microsoft, и довольно неожиданно догнавшая их Uber. В этом январе Uber анонсировала мощный релиз своего стека машинного обучения Manifold для визуальной отладки, тюнинга и масштабирования моделек ML.
https://github.com/uber/manifold
В Manifold входят:
-- https://uber.github.io/ludwig/
удобный визуальный инструмент для TensorFlow;
-- http://pyro.ai/
язык дифференциального программирования для PyTorch
https://vk.com/wall-152484379_1085
-- https://github.com/uber-research/plato-research-dialogue-system
платформа для создания и обучения разговорных ботов;
-- https://github.com/horovod/horovod :)
интеграционный фреймворк для создания распределенных ML-систем на базе TensorFlow, Keras, PyTorch и Apache MXNet.
https://github.com/uber/manifold
В Manifold входят:
-- https://uber.github.io/ludwig/
удобный визуальный инструмент для TensorFlow;
-- http://pyro.ai/
язык дифференциального программирования для PyTorch
https://vk.com/wall-152484379_1085
-- https://github.com/uber-research/plato-research-dialogue-system
платформа для создания и обучения разговорных ботов;
-- https://github.com/horovod/horovod :)
интеграционный фреймворк для создания распределенных ML-систем на базе TensorFlow, Keras, PyTorch и Apache MXNet.
👍1
В декабре 2019-го выпущена спецификация свободной архитектуры набора RISC-команд RISC-V
https://riscv.org
Что это
https://habr.com/ru/post/454208/
Идея -- создать свободный аналог проприетарным моделям Intel и дорогущим лицензиям ARM. Официально RISC-V поддерживают Google, Samsung, Alibaba, Qualcomm, Nvidia, на подходе Western Digital.
Подробное описание инструкций
https://github.com/riscv/riscv-isa-manual
Критики давят на то, что нужен не просто instruction set, а развитая экосистема проектирования чипов, поддержка и т. д., и вряд ли в итоге получится сэкономить. Сторонники же RISC-V справедливо отмечают, что главное тут не бесплатное пиво, а сотрудничество лидеров и свобода в самом прямом смысле.
Стартапчик "Риск файв" уже проектирует чипы на заказ, "Design RISC-V CPUs in an hour" (!)
https://www.sifive.com/
https://riscv.org
Что это
https://habr.com/ru/post/454208/
Идея -- создать свободный аналог проприетарным моделям Intel и дорогущим лицензиям ARM. Официально RISC-V поддерживают Google, Samsung, Alibaba, Qualcomm, Nvidia, на подходе Western Digital.
Подробное описание инструкций
https://github.com/riscv/riscv-isa-manual
Критики давят на то, что нужен не просто instruction set, а развитая экосистема проектирования чипов, поддержка и т. д., и вряд ли в итоге получится сэкономить. Сторонники же RISC-V справедливо отмечают, что главное тут не бесплатное пиво, а сотрудничество лидеров и свобода в самом прямом смысле.
Стартапчик "Риск файв" уже проектирует чипы на заказ, "Design RISC-V CPUs in an hour" (!)
https://www.sifive.com/
RISC-V International
RISC-V is an open standard Instruction Set Architecture (ISA) enabling a new era of processor innovation through open collaboration.
Из нового в машинном обучении, это разрекламированное решение "сложных" математических выражений через символический вывод. Т.е. нейросетка пытается "рассуждать" рационально:
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
Такие решалки, только чисто формальные конечно, придумывались ещё 50 лет назад.
С массивом алгебраических задачек классические солверы справились в среднем даже похуже нейросетки. "model demonstrated 99.7 percent accuracy when solving integration problems". Но если солверы в итоге заявляли, что не смогли решить задачу, нейросеть ведь всё равно видимо всегда выдаёт какое-то решение, которое однако может быть неправильным :) 99.7% точность, ну и зачем это надо?
Вообще, очень субъективно конечно, но этот чёрный ящик глубокого обучения нейросетей напоминает какой-то гигантский фейк :) Он очень наукообразный, и чем дальше, тем больше смахивает на шаманство. Наука прежде всего объясняет, а сегодняшний AI/ML это мутный феноменологический подход, подразумевающий вдобавок огромный объём ручной работы по подготовке и очистке датасетов, огромные требования к вычислительным ресурсам (кому выгодно? производителям графический плат, миллиардные прибыли :), и эмпирическое гадание на коэффициентах, правильно в итоге ли обучится модель.
Но это наша жизнь, которую обязательно надо принимать во внимание. В целом, за 2019-й AI-стартапы заработали 18,5 млрд. долл., поэтому фейк не фейк, но в плане профессии очень хороший :)
PyTorch 1.4 вышел, распределённое обучение, биндинг с Java, а главное, расширена поддержка мобильных разработчиков -- вот ещё один тренд:) Встраивание моделей в мобильный и встраиваемый софт. Реально мощное направление: Apple например купила стартап xnor.ai за 200 млн. долл.! А занимается он как раз оптимизацией запуска моделей на всяческих гаджетах, камерах, IoT-устройствах, радиоуправляемых вертолётиках и машинках.
https://ai.facebook.com/blog/using-neural-networks-to-solve-advanced-mathematics-equations/
Такие решалки, только чисто формальные конечно, придумывались ещё 50 лет назад.
С массивом алгебраических задачек классические солверы справились в среднем даже похуже нейросетки. "model demonstrated 99.7 percent accuracy when solving integration problems". Но если солверы в итоге заявляли, что не смогли решить задачу, нейросеть ведь всё равно видимо всегда выдаёт какое-то решение, которое однако может быть неправильным :) 99.7% точность, ну и зачем это надо?
Вообще, очень субъективно конечно, но этот чёрный ящик глубокого обучения нейросетей напоминает какой-то гигантский фейк :) Он очень наукообразный, и чем дальше, тем больше смахивает на шаманство. Наука прежде всего объясняет, а сегодняшний AI/ML это мутный феноменологический подход, подразумевающий вдобавок огромный объём ручной работы по подготовке и очистке датасетов, огромные требования к вычислительным ресурсам (кому выгодно? производителям графический плат, миллиардные прибыли :), и эмпирическое гадание на коэффициентах, правильно в итоге ли обучится модель.
Но это наша жизнь, которую обязательно надо принимать во внимание. В целом, за 2019-й AI-стартапы заработали 18,5 млрд. долл., поэтому фейк не фейк, но в плане профессии очень хороший :)
PyTorch 1.4 вышел, распределённое обучение, биндинг с Java, а главное, расширена поддержка мобильных разработчиков -- вот ещё один тренд:) Встраивание моделей в мобильный и встраиваемый софт. Реально мощное направление: Apple например купила стартап xnor.ai за 200 млн. долл.! А занимается он как раз оптимизацией запуска моделей на всяческих гаджетах, камерах, IoT-устройствах, радиоуправляемых вертолётиках и машинках.
Немного странно, но факт -- айтишный скилл в блокчейнах остаётся самым востребованным в 2020-м в США, Англии, Австралии, Франции и Германии, сообщил LinkedIn. Он обошёл по популярности и искусственный интеллект, и облачные вычисления.
https://learning.linkedin.com/blog/top-skills/the-skills-companies-need-most-in-2020and-how-to-learn-them
Сегодня это уже давно не криптовалюта, а например стандартное бизнес-решение в финтехе и корпоративной разработке, и LinkedIn настоятельно рекомендует его освоить, чтобы оставаться в тренде.
Для примера, будет сложно попасть на хорошую программистскую позицию в IBM, Oracle, JPMorgan, Microsoft, Amazon или American Express без знания блокчейна. Попутно очень рекомендуется знать С++. Более того, несколько парадоксально, сами программисты значительно меньше стали упоминать этот навык в своих резюме, и меньше ищут непосредственно блокчейн-ориентированную работу, а вот сами работодатели наоборот заметно увеличили количество блокчейн-вакансий.
https://learning.linkedin.com/blog/top-skills/the-skills-companies-need-most-in-2020and-how-to-learn-them
Сегодня это уже давно не криптовалюта, а например стандартное бизнес-решение в финтехе и корпоративной разработке, и LinkedIn настоятельно рекомендует его освоить, чтобы оставаться в тренде.
Для примера, будет сложно попасть на хорошую программистскую позицию в IBM, Oracle, JPMorgan, Microsoft, Amazon или American Express без знания блокчейна. Попутно очень рекомендуется знать С++. Более того, несколько парадоксально, сами программисты значительно меньше стали упоминать этот навык в своих резюме, и меньше ищут непосредственно блокчейн-ориентированную работу, а вот сами работодатели наоборот заметно увеличили количество блокчейн-вакансий.
🤔1