Ровно за это как стратегический подход я всё время топлю:
https://github.com/fabianfett/pure-swift-json
Fabian переписал json encoder/decoder просто на чистый Swift, без использования сторонних библиотек и без фреймворка Foundation, и получил выигрыш в быстродействии на macOS 1.5-2 раза, а на линухе 8-10 раз(!). Понятно, что универсальные фреймворки существенно ускоряют процесс разработки в целом, однако в каждом конкретном проекте таятся огромные ресурсы в плане оптимизации (которую, главное, не надо делать преждевременной :), ну и в идеале под свой проект (категорию схожих проектов) лучше пилить оригинальный, шустрый, лёгкий, максимально нативный фреймворк/движок (и в идеале, на базе хорошей формальной математической модели). Таким образом из инструмента, первоначально задумывавшегося под узкий спектр задач, можно вырастить отличный продукт для правильных пацанов, который по скорострельности будет в десятки/сотни раз бить универсальные технологии.
Кстати, Fabian молодец, вовремя подсуетился -- пилит мобильное приложение для немецких аптек. Обратите внимание на его социальные скиллы:
Are you currently in Berlin? Let's grab a coffee. I'm always eager to learn about new ideas and I'm willing to help great products succeed.
https://github.com/fabianfett/pure-swift-json
Fabian переписал json encoder/decoder просто на чистый Swift, без использования сторонних библиотек и без фреймворка Foundation, и получил выигрыш в быстродействии на macOS 1.5-2 раза, а на линухе 8-10 раз(!). Понятно, что универсальные фреймворки существенно ускоряют процесс разработки в целом, однако в каждом конкретном проекте таятся огромные ресурсы в плане оптимизации (которую, главное, не надо делать преждевременной :), ну и в идеале под свой проект (категорию схожих проектов) лучше пилить оригинальный, шустрый, лёгкий, максимально нативный фреймворк/движок (и в идеале, на базе хорошей формальной математической модели). Таким образом из инструмента, первоначально задумывавшегося под узкий спектр задач, можно вырастить отличный продукт для правильных пацанов, который по скорострельности будет в десятки/сотни раз бить универсальные технологии.
Кстати, Fabian молодец, вовремя подсуетился -- пилит мобильное приложение для немецких аптек. Обратите внимание на его социальные скиллы:
Are you currently in Berlin? Let's grab a coffee. I'm always eager to learn about new ideas and I'm willing to help great products succeed.
GitHub
GitHub - swift-extras/swift-extras-json: JSON encoding and decoding without the use of Foundation in pure Swift.
JSON encoding and decoding without the use of Foundation in pure Swift. - swift-extras/swift-extras-json
Выбор в проекте между реляционными СУБД и NoSQL, это вообще-то "выбор" между ортогональными понятиями.
В РСУБД (точнее, в реляционной модели) отношения всегда нормализованы и находятся в первой нормальной форме, и именно к ним мы применяем операторы реляционной алгебры. Вообще, строго говоря, реляционная модель декларативна, то есть вопросы реализации (как конкретно мы получаем результат), в ней не рассматриваются в принципе.
NoSQL -- это прежде всего простые запросы в конкретном движке, часто без какой-либо сильной теории в своей основе, их производительность довольно хорошо предсказуема, и работают они шустро как раз потому что данные денормализованы (это конечно тоже надо уметь делать правильно). Поэтому в случае NoSQL надо смотреть не на универсальную мощность API, а на операционные характеристики под конкретную задачку, и тут удобно получается оценивать буквально нативно, по чистому критерию процессорной нагрузки, облачные системы наподобие DynamoDB.
В РСУБД (точнее, в реляционной модели) отношения всегда нормализованы и находятся в первой нормальной форме, и именно к ним мы применяем операторы реляционной алгебры. Вообще, строго говоря, реляционная модель декларативна, то есть вопросы реализации (как конкретно мы получаем результат), в ней не рассматриваются в принципе.
NoSQL -- это прежде всего простые запросы в конкретном движке, часто без какой-либо сильной теории в своей основе, их производительность довольно хорошо предсказуема, и работают они шустро как раз потому что данные денормализованы (это конечно тоже надо уметь делать правильно). Поэтому в случае NoSQL надо смотреть не на универсальную мощность API, а на операционные характеристики под конкретную задачку, и тут удобно получается оценивать буквально нативно, по чистому критерию процессорной нагрузки, облачные системы наподобие DynamoDB.
Когда ты Мастер, и отлично разбираешься в теории того, чем занимаешься, то уже что ни делай, всегда будет шедевр.
Andrej Karpathy
ok I'm pretty sure I wrote the tiniest autograd engine with a neural net library on top of it, weighing about ~50 LOC for the engine, ~50 LOC for the neural net library, and it's super cute and totally works. MicroGrad
Поизучайте ноутбук, это восхитительно :)
https://github.com/karpathy/randomfun/blob/master/MicroGrad.ipynb
Andrej Karpathy
ok I'm pretty sure I wrote the tiniest autograd engine with a neural net library on top of it, weighing about ~50 LOC for the engine, ~50 LOC for the neural net library, and it's super cute and totally works. MicroGrad
Поизучайте ноутбук, это восхитительно :)
https://github.com/karpathy/randomfun/blob/master/MicroGrad.ipynb
GitHub
randomfun/MicroGrad.ipynb at master · karpathy/randomfun
Notebooks and various random fun. Contribute to karpathy/randomfun development by creating an account on GitHub.
Парадоксальный момент в проектах машинного обучения такой, что тут много математиков, которые слегка изучили Python и умеют делать скрипты на 200 строк, формирующие хорошие модельки, однако общее понимание проектирования сложных систем у них находится на уровне pip install, и система рушится уже на двадцати одновременных пользователях.
Проектировать нагрузочную инфраструктуру ML надо прежде всего на базе хороших инженерных навыков из классического бэкенда.
Причём наиболее критичным становится concurrency. Я никогда не думал, что смогу такое посоветовать, однако всё же порекомендую для таких проектов ни в коем случае не Python, а Go :) Элегантные goroutines и вот это всё. Потому что для них есть вот такая классная open source platform for deploying machine learning models as production web services
https://cortex.dev
Проектировать нагрузочную инфраструктуру ML надо прежде всего на базе хороших инженерных навыков из классического бэкенда.
Причём наиболее критичным становится concurrency. Я никогда не думал, что смогу такое посоветовать, однако всё же порекомендую для таких проектов ни в коем случае не Python, а Go :) Элегантные goroutines и вот это всё. Потому что для них есть вот такая классная open source platform for deploying machine learning models as production web services
https://cortex.dev
Начался новый набор в ШАД Яндекса, все туда! 👍👍👍
http://yandexdataschool.ru
Школа анализа данных — это бесплатная двухгодичная программа для тех, кто хочет стать продвинутым датасаентистом или архитектором систем хранения и обработки больших данных, для тех, кто хочет заниматься исследованиями в этих областях или работать в IT-индустрии
http://yandexdataschool.ru
Школа анализа данных — это бесплатная двухгодичная программа для тех, кто хочет стать продвинутым датасаентистом или архитектором систем хранения и обработки больших данных, для тех, кто хочет заниматься исследованиями в этих областях или работать в IT-индустрии
Между тем Google приостановил набор новых сотрудников, но есть нюанс.
https://tjournal.ru/news/159680-google-priostanovila-priem-sotrudnikov
"Пресс-служба Google сообщила о продолжении приема на работу лишь сотрудников для небольшого числа стратегических областей"
Угадайте, что же это за "небольшое число стратегических областей"? Подсказка, одна из областей начинается на П и кончается на Е.
https://tjournal.ru/news/159680-google-priostanovila-priem-sotrudnikov
"Пресс-служба Google сообщила о продолжении приема на работу лишь сотрудников для небольшого числа стратегических областей"
Угадайте, что же это за "небольшое число стратегических областей"? Подсказка, одна из областей начинается на П и кончается на Е.
Неожиданный момент, что сегодня уже многие вычислительные научные проекты утыкаются отнюдь не в чистую производительность FLOPS, а в ввод-вывод IOPS, что вообще уже стало типичным bottleneck.
Например, анализ мозга котиков двухфотонным лазерным микроскопом даёт ежечасно 100 гигов, а электрокортограмма -- почти 300 гигов сырых данных. Моделирование плазмы -- 50 терабайтов в одном фрейме, которые надо впихнуть в многомерный массив.
Возможное решение например https://daos-stack.github.io/ от Intel. Контейнеры со своим объектным адресным пространством и разными формами хранения и доступа к данным (файловая система, хранилище ключ-значение, таблица БД, массив, граф), и метаинформацией по схеме доступа, политике репликации и т. д., которые можно оптимально комбинировать под конкретную задачку.
Например, анализ мозга котиков двухфотонным лазерным микроскопом даёт ежечасно 100 гигов, а электрокортограмма -- почти 300 гигов сырых данных. Моделирование плазмы -- 50 терабайтов в одном фрейме, которые надо впихнуть в многомерный массив.
Возможное решение например https://daos-stack.github.io/ от Intel. Контейнеры со своим объектным адресным пространством и разными формами хранения и доступа к данным (файловая система, хранилище ключ-значение, таблица БД, массив, граф), и метаинформацией по схеме доступа, политике репликации и т. д., которые можно оптимально комбинировать под конкретную задачку.
500 бесплатных курсов по computer science от топовых университетов мира, с рейтингами, сгруппированные по темам
https://www.freecodecamp.org/news/free-courses-top-cs-universities/
По алгоритмам Стэнфорд и Принстон конкурируют, интересно, учтём :)
Из тамошних отзывов:
This course helped me get a job. Before doing this course, I had trouble clearing technical interviews. Infact, I couldn't even clear the phone interviews. "Algorithms: Design and Analysis, Part 1" (Stanford University) was instrumental in clearing my first technical interview and helped me get a job as a Software Engineer in Silicon Valley.
В мае начну по ним уточнять курсы. На первый взгляд, 70% темок у меня охвачено уже (спасибо ШАД Яндекса), но самое вкусное, конечно, в деталях.
https://www.freecodecamp.org/news/free-courses-top-cs-universities/
По алгоритмам Стэнфорд и Принстон конкурируют, интересно, учтём :)
Из тамошних отзывов:
This course helped me get a job. Before doing this course, I had trouble clearing technical interviews. Infact, I couldn't even clear the phone interviews. "Algorithms: Design and Analysis, Part 1" (Stanford University) was instrumental in clearing my first technical interview and helped me get a job as a Software Engineer in Silicon Valley.
В мае начну по ним уточнять курсы. На первый взгляд, 70% темок у меня охвачено уже (спасибо ШАД Яндекса), но самое вкусное, конечно, в деталях.
freeCodeCamp.org
1200 Free Computer Science Courses from the World’s Top Universities
In this article, we’ve compiled 1200+ online courses offered by the 60 best universities in the world for studying computer science in 2024. We first built the list in 2020 using a data-driven approach that we have used each year, including 2024. You...
В наше время мало быть хорошим учёным, полезно ещё быть и хорошим предпринимателем. Andrew Ng (топ-гуру машинного обучения) запилил в своём стартапе с незамысловатым названием Landing AI мониторинг социальной дистанции. Детали:
https://landing.ai/landing-ai-creates-an-ai-tool-to-help-customers-monitor-social-distancing-in-the-workplace/
Ну вообще, на мой скромный взгляд, это уровень умного студента :)
Понятно, что для продакшена нужно повозиться с настройками, с бэком, но в плане наукоёмкости... Amazon недавно что-то подобное запускал, а вот в прошлом году на схожую тему обсуждение идеологически похожих систем:
https://www.axios.com/ai-employee-surveillance-automating-humans-092f8c36-24bc-4efd-8d38-78f1c8a61e1f.html
Тогда ещё что-то говорили о приватности, ха-ха
По-моему, Ng просто хайпанул, и весьма удачно, многие именно о его стартапе написали. В его демке кстати виден логический баг, хорошо известный разработчикам игр, когда надо подсвечивать сближающиеся юниты: у Ng, едва два человечка сблизились менее чем на заданное расстояние, сразу подсветились красным, а как только разошлись, зелёным. И когда два юнита движутся примерно рядом, то начинают все время перемаргивать. Решается это временной задержкой смены цвета.
https://landing.ai/landing-ai-creates-an-ai-tool-to-help-customers-monitor-social-distancing-in-the-workplace/
Ну вообще, на мой скромный взгляд, это уровень умного студента :)
Понятно, что для продакшена нужно повозиться с настройками, с бэком, но в плане наукоёмкости... Amazon недавно что-то подобное запускал, а вот в прошлом году на схожую тему обсуждение идеологически похожих систем:
https://www.axios.com/ai-employee-surveillance-automating-humans-092f8c36-24bc-4efd-8d38-78f1c8a61e1f.html
Тогда ещё что-то говорили о приватности, ха-ха
По-моему, Ng просто хайпанул, и весьма удачно, многие именно о его стартапе написали. В его демке кстати виден логический баг, хорошо известный разработчикам игр, когда надо подсвечивать сближающиеся юниты: у Ng, едва два человечка сблизились менее чем на заданное расстояние, сразу подсветились красным, а как только разошлись, зелёным. И когда два юнита движутся примерно рядом, то начинают все время перемаргивать. Решается это временной задержкой смены цвета.
Рейтинг школ 2020, работающих с одарёнными детьми.
https://raex-a.ru/rankings/school_2020
На первом месте СУНЦ МГУ (Школа им.А.Н.Колмогорова)
Но вообще, их задачки 10-го класса по информатике совсем не что-то уж космическое. Ну, судя по примерам, что выложены на сайте СУНЦ МГУ.
Найти все маршруты короля на шахматной доске из одного угла в другой, просканировать двумерный массив без вложенного цикла, закодить Сапёр... На первом курсе любого хорошего нашего университета ребята уже куда сложнее программы пишут.
P.S. Третий Челябинск! Дико уважаю.
https://raex-a.ru/rankings/school_2020
На первом месте СУНЦ МГУ (Школа им.А.Н.Колмогорова)
Но вообще, их задачки 10-го класса по информатике совсем не что-то уж космическое. Ну, судя по примерам, что выложены на сайте СУНЦ МГУ.
Найти все маршруты короля на шахматной доске из одного угла в другой, просканировать двумерный массив без вложенного цикла, закодить Сапёр... На первом курсе любого хорошего нашего университета ребята уже куда сложнее программы пишут.
P.S. Третий Челябинск! Дико уважаю.
Из наших инсайдерских источников 😃
"Мы (AliExpress Россия) несмотря на происходящую ситуацию в этом году хотим нанять где-то 200-250 программистов.В Alibaba в основном используется Java стек везде кроме поиска, там C++ стек. Нам в принципе ок если вы не знаете Java, но готовы быстро изучить его или Kotlin.Работать придется много, сломанные процессы чинить на ходу, т.е. те, кому нужна спокойная работа по устоявшимся процессам, скоре пока не к нам, приходите года через два.
Мы понимаем, что такие люди дороги, и считаем что сейчас для нас на этом этапе осмысленно чуть-чуть переплатить."
Конкретные вакансии и контакты легко находятся на hh.ru
Проекты у них кстати во многом на машинное обучение завязаны.
"Мы (AliExpress Россия) несмотря на происходящую ситуацию в этом году хотим нанять где-то 200-250 программистов.В Alibaba в основном используется Java стек везде кроме поиска, там C++ стек. Нам в принципе ок если вы не знаете Java, но готовы быстро изучить его или Kotlin.Работать придется много, сломанные процессы чинить на ходу, т.е. те, кому нужна спокойная работа по устоявшимся процессам, скоре пока не к нам, приходите года через два.
Мы понимаем, что такие люди дороги, и считаем что сейчас для нас на этом этапе осмысленно чуть-чуть переплатить."
Конкретные вакансии и контакты легко находятся на hh.ru
Проекты у них кстати во многом на машинное обучение завязаны.
Российские школьницы выиграли три золотых и одну серебряную медали на IX Европейской математической олимпиаде для девочек. В этом году олимпиада проходила онлайн. Всего в соревновании участвовали девушки из 53 стран мира.
Золотые медали получили Розалина Миргалимова (Казань), Елизавета Неустроева (Москва) и Таисия Коротченко (Санкт-Петербург). Серебро выиграла Ралина Юсупова из Казани. Подготовкой девушек занимались Алина Сафиуллина, Ольга Нечаева и Кирилл Сухов. Благодаря успеху российских школьниц сборная выиграла и неофициальный командный зачёт, обогнав Сербию и Румынию.
Задачки:
https://www.egmo.org/egmos/egmo9/paper-day1-Russian.pdf
https://www.egmo.org/egmos/egmo9/paper-day2-Russian.pdf
Золотые медали получили Розалина Миргалимова (Казань), Елизавета Неустроева (Москва) и Таисия Коротченко (Санкт-Петербург). Серебро выиграла Ралина Юсупова из Казани. Подготовкой девушек занимались Алина Сафиуллина, Ольга Нечаева и Кирилл Сухов. Благодаря успеху российских школьниц сборная выиграла и неофициальный командный зачёт, обогнав Сербию и Румынию.
Задачки:
https://www.egmo.org/egmos/egmo9/paper-day1-Russian.pdf
https://www.egmo.org/egmos/egmo9/paper-day2-Russian.pdf
Про спортивных программистов.
https://meduza.io/slides/programmirovanie-eto-sport-ne-verite-seychas-dokazhem
На одного спортивного программиста приходится почти 70 "промышленных". На этих редких профессионалов большой спрос, и их труд оплачивается выше. Среди спортивных программистов есть свои звезды. Главные технические разработчики ВКонтакте и Telegram — Николай Дуров и Андрей Лопатин — дважды чемпионы мира по спортивному программированию. Другой призер ICPC — интернет-предприниматель Тони Шей. Спустя всего три года после победы в чемпионате он заработал 265 млн долларов (его баннерообменную сеть LinkExchange купила Microsoft), а затем создал онлайн-магазин одежды Zappos.com (в 2009 году Amazon заплатила за нее 1,2 млрд долларов). Также среди победителей чемпионата — сооснователь Facebook Адам Ди Анджело, бывший директор по технологиям
Google Крейг Силверстайн и один из нынешних ведущих инженеров компании Петр Митричев. Победители ICPC делают карьеру не только за границей, но и в России: например, Федор Царев руководит питерским офисом хедж-фонда Игоря Тульчинского WorldQuant (фирма управляет инвестициями на 5 млрд долларов).
https://meduza.io/slides/programmirovanie-eto-sport-ne-verite-seychas-dokazhem
На одного спортивного программиста приходится почти 70 "промышленных". На этих редких профессионалов большой спрос, и их труд оплачивается выше. Среди спортивных программистов есть свои звезды. Главные технические разработчики ВКонтакте и Telegram — Николай Дуров и Андрей Лопатин — дважды чемпионы мира по спортивному программированию. Другой призер ICPC — интернет-предприниматель Тони Шей. Спустя всего три года после победы в чемпионате он заработал 265 млн долларов (его баннерообменную сеть LinkExchange купила Microsoft), а затем создал онлайн-магазин одежды Zappos.com (в 2009 году Amazon заплатила за нее 1,2 млрд долларов). Также среди победителей чемпионата — сооснователь Facebook Адам Ди Анджело, бывший директор по технологиям
Google Крейг Силверстайн и один из нынешних ведущих инженеров компании Петр Митричев. Победители ICPC делают карьеру не только за границей, но и в России: например, Федор Царев руководит питерским офисом хедж-фонда Игоря Тульчинского WorldQuant (фирма управляет инвестициями на 5 млрд долларов).
Meduza
Программирование — это спорт Не верите? Сейчас докажем — Meduza
При слове «программист» обычно в голове возникает образ сотрудника какой-нибудь технологической корпорации, который целыми днями пишет длинный код для сложной программы. Многие программисты действительно этим и занимаются. Но есть и другие — спортивные программисты.…
Вышел PyTorch 1.5
https://github.com/pytorch/pytorch/releases
В доках программисты понаписали про several major new API additions, стыковку с C++ и т. д. Но в целом это уже "взрослый" апдейт, который нацелен прежде всего на стабильный продакшен корпоративного уровня, над ним ударно поработали инженеры из Amazon и Facebook: добавлена поддержка TorchServe (удобная работа с модельками, экспортированными из питорча) и TorchElastic Kubernetes (понятно из названия, о чём это, распределённое обучение).
А конкуренты из Гугла тем временем выпустили профайлер для TensorFlow, а главное, обновлён рантайм TensorFlow RunTime (точнее, текущий полностью заменён на TFRT), и теперь модельки TF могут эффективно работать на ещё большем числе устройств, в самых разных процессорных архитектурах.
https://blog.tensorflow.org/2020/04/tfrt-new-tensorflow-runtime.html
Для этого был даже разработан компилятор MLIR, который, утверждается, "Syntactically similar to LLVM", ну и судя по тому, где он хостится, это действительно так :-)
https://mlir.llvm.org/
https://github.com/pytorch/pytorch/releases
В доках программисты понаписали про several major new API additions, стыковку с C++ и т. д. Но в целом это уже "взрослый" апдейт, который нацелен прежде всего на стабильный продакшен корпоративного уровня, над ним ударно поработали инженеры из Amazon и Facebook: добавлена поддержка TorchServe (удобная работа с модельками, экспортированными из питорча) и TorchElastic Kubernetes (понятно из названия, о чём это, распределённое обучение).
А конкуренты из Гугла тем временем выпустили профайлер для TensorFlow, а главное, обновлён рантайм TensorFlow RunTime (точнее, текущий полностью заменён на TFRT), и теперь модельки TF могут эффективно работать на ещё большем числе устройств, в самых разных процессорных архитектурах.
https://blog.tensorflow.org/2020/04/tfrt-new-tensorflow-runtime.html
Для этого был даже разработан компилятор MLIR, который, утверждается, "Syntactically similar to LLVM", ну и судя по тому, где он хостится, это действительно так :-)
https://mlir.llvm.org/
Агентство национальной безопасности США под давлением общественности открыло в public domain свой курс по Python, который, по неофициальной информации, делал сам автор питона Guido van Rossum.
https://nsa.sfo2.digitaloceanspaces.com/comp3321.pdf
Тут ценен не столько сам контент, он везде одинаков, сколько структура курса, последовательность и форма подачи, формат обучения, рекомендации инструктору, какие примерчики задачки, какие базовые технологии/пакеты (Pandas, Tkinter, JSON/XML ...), вот это всё.
Внимательно изучаю и полезные фишки добавляю в мои курсы, не только по питону.
Интересно например, что обучение ООП в АНБ сразу начинается с практического анализа понятия класса как типа, ещё даже до описания простейшего класса с минимальной структурой.
https://nsa.sfo2.digitaloceanspaces.com/comp3321.pdf
Тут ценен не столько сам контент, он везде одинаков, сколько структура курса, последовательность и форма подачи, формат обучения, рекомендации инструктору, какие примерчики задачки, какие базовые технологии/пакеты (Pandas, Tkinter, JSON/XML ...), вот это всё.
Внимательно изучаю и полезные фишки добавляю в мои курсы, не только по питону.
Интересно например, что обучение ООП в АНБ сразу начинается с практического анализа понятия класса как типа, ещё даже до описания простейшего класса с минимальной структурой.
Легенды машинного обучения Yann LeCun и Yoshua Bengio объявили на конференции ICLR новый тренд, который станет, как обещается, ключом к интеллекту человеческого уровня:
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
Им названо self-supervised learning (частичное/полуавтоматическое обучение, обучение с частичным привлечением человечков).
Фишка в том, что последние исследования доказали подозрительно высокий потенциал нейронок, которые уже даже из сырых изображений научились извлекать потенциально гораздо больше информации, чем предполагалось ранее, просто пока вытащить из них это всё, как-то странно закодированное в промежуточных слоях, не очень получается, но вопрос лишь времени.
https://iclr.cc/virtual_2020/poster_B1esx6EYvr.html
Поэтому ML-технологии плавно сдвигаются в область использования неразмеченных данных, что конечно существенно удешевит разработку прикладных систем: пока именно стоимость "ручной" разметки (+ кодить/тюнинговать скриптики входной обработки данных) часто становится главной помехой.
Вообще это два больших направления: supervised learning и unsupervised learning (с учителем или без), а между ними вроде как reinforcement learning (обучение с подкреплением из внешней среды), показавшее удивительную эффективность в Dota2. Сермяга в том, что supervised learning требует большие датасеты, хорошо подготовленные заранее; unsupervised learning пока в основном тупит; RL демонстрирует прикладные результаты лишь в играх. И вот гуры попытались вытащить все сильные подходы в self-supervised learning. Идея, что такие системы смогут конвертировать unsupervised понятия в качество supervised и работать с неразмеченными данными. Примерно как малыши формируют прикладную модель мира, не слишком много взаимодействуя с реальностью (достаточно упаcть не тысячи раз, а буквально считанные разы, чтобы мозг быстро обучился хоть как-то удерживать равновесие, избегая болевого наказания), а в основном просто наблюдая за правильными образцами поведения.
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
Им названо self-supervised learning (частичное/полуавтоматическое обучение, обучение с частичным привлечением человечков).
Фишка в том, что последние исследования доказали подозрительно высокий потенциал нейронок, которые уже даже из сырых изображений научились извлекать потенциально гораздо больше информации, чем предполагалось ранее, просто пока вытащить из них это всё, как-то странно закодированное в промежуточных слоях, не очень получается, но вопрос лишь времени.
https://iclr.cc/virtual_2020/poster_B1esx6EYvr.html
Поэтому ML-технологии плавно сдвигаются в область использования неразмеченных данных, что конечно существенно удешевит разработку прикладных систем: пока именно стоимость "ручной" разметки (+ кодить/тюнинговать скриптики входной обработки данных) часто становится главной помехой.
Вообще это два больших направления: supervised learning и unsupervised learning (с учителем или без), а между ними вроде как reinforcement learning (обучение с подкреплением из внешней среды), показавшее удивительную эффективность в Dota2. Сермяга в том, что supervised learning требует большие датасеты, хорошо подготовленные заранее; unsupervised learning пока в основном тупит; RL демонстрирует прикладные результаты лишь в играх. И вот гуры попытались вытащить все сильные подходы в self-supervised learning. Идея, что такие системы смогут конвертировать unsupervised понятия в качество supervised и работать с неразмеченными данными. Примерно как малыши формируют прикладную модель мира, не слишком много взаимодействуя с реальностью (достаточно упаcть не тысячи раз, а буквально считанные разы, чтобы мозг быстро обучился хоть как-то удерживать равновесие, избегая болевого наказания), а в основном просто наблюдая за правильными образцами поведения.
Тридцать одна it-компания (Google, Samsung, Cisco, Vodafone, AT&T, IBM, Microsoft, Verizon, ...) объединилась в конвенцию Open RAN Policy Coalition, задача которой -- уход от аппаратных сетей 5G (хардвер в которых преимущественно китайский) к виртуальным, облачным, программно управляемым 5G-системам.
https://www.openranpolicy.org/
https://www.openranpolicy.org/
Очередной мэйнстрим про популярность языков программирования
https://www.hackerearth.com/recruit/developer-survey/
Голосовало 16,655 разработчиков из 70 стран. Языком программирования, который достаточно опытные программисты хотели бы дополнительно изучить, стал Go (32%), затем Python (24%), далее Kotlin (21%).
По другому недавнему исследованию GitHub и Stack Overflow
https://www.zdnet.com/article/python-now-as-popular-as-java-as-typenoscript-climbs/
топчик это JavaScript, далее Python и Java, Go на 14-м месте.
Ничего из этого всего не следует :) Ну разве что если хотите поизучать concurrency через Go (который "модно, стильно, молодёжно"), порекомендую всё же начать с Erlang/Elixir, если не боитесь функционального стиля.
Из смешного, что больше всего хочут программисты на рабочем месте? Топ тема это несколько мониторов (и побольше размером!), возможность слушать музычку в наушниках чтобы манагеры не дёргали, бесплатные кофе и печеньки круглосуточно, и чтобы вокруг тебя поменьше было суеты.
Как вернётесь в офис с удалёнки, требуйте себе вот это вот всё, это сегодня общемировая норма для программистов! :-)
https://www.hackerearth.com/recruit/developer-survey/
Голосовало 16,655 разработчиков из 70 стран. Языком программирования, который достаточно опытные программисты хотели бы дополнительно изучить, стал Go (32%), затем Python (24%), далее Kotlin (21%).
По другому недавнему исследованию GitHub и Stack Overflow
https://www.zdnet.com/article/python-now-as-popular-as-java-as-typenoscript-climbs/
топчик это JavaScript, далее Python и Java, Go на 14-м месте.
Ничего из этого всего не следует :) Ну разве что если хотите поизучать concurrency через Go (который "модно, стильно, молодёжно"), порекомендую всё же начать с Erlang/Elixir, если не боитесь функционального стиля.
Из смешного, что больше всего хочут программисты на рабочем месте? Топ тема это несколько мониторов (и побольше размером!), возможность слушать музычку в наушниках чтобы манагеры не дёргали, бесплатные кофе и печеньки круглосуточно, и чтобы вокруг тебя поменьше было суеты.
Как вернётесь в офис с удалёнки, требуйте себе вот это вот всё, это сегодня общемировая норма для программистов! :-)
Resources for technical recruitment
HackerEarth Insights | Developer Survey 2020
Get an insider's view on what's driving tech in 2020 and its impact on the developer ecosystem. Download the report now.
По данным Торговой ассоциации IT-индустрии CША CompTIA, в апреле сократили 112 тысяч айтишников, и пока это крупнейший спад в истории IT, хотя в сравнении с другими отраслями он куда меньше. К тому же в последние недели он замещается увольнением низкоквалифицированного персонала и менеджеров :)
https://www.comptia.org/newsroom/press-releases/2020/05/08/us-tech-sector-employment-down-in-april-even-as-employers-look-to-fill-technical-jobs-comptia-analysis-finds
CompTIA полагает, что компании откажутся скорее от маркетинга и много чего другого, чтобы сохранить инженерные мозги организации, так как единственное, что точно можно сказать о смутном будущем ближайших десятилетий "COVID-19 economy" -- что онлайн будет захватывать вообще всё. А эксперты Forrester предупреждают, что хоть и медленно, но теперь уже точно неотвратимо, всё больше и больше привычных видов деятельности, хоть немного связанных с физической деятельностью, будут заменяться роботами и иной автономной автоматизацией.
https://www.informationweek.com/strategic-cio/team-building-and-staffing/how-to-prep-your-career-for-the-ai-job-apocalypse/a/d-id/1335231
https://www.comptia.org/newsroom/press-releases/2020/05/08/us-tech-sector-employment-down-in-april-even-as-employers-look-to-fill-technical-jobs-comptia-analysis-finds
CompTIA полагает, что компании откажутся скорее от маркетинга и много чего другого, чтобы сохранить инженерные мозги организации, так как единственное, что точно можно сказать о смутном будущем ближайших десятилетий "COVID-19 economy" -- что онлайн будет захватывать вообще всё. А эксперты Forrester предупреждают, что хоть и медленно, но теперь уже точно неотвратимо, всё больше и больше привычных видов деятельности, хоть немного связанных с физической деятельностью, будут заменяться роботами и иной автономной автоматизацией.
https://www.informationweek.com/strategic-cio/team-building-and-staffing/how-to-prep-your-career-for-the-ai-job-apocalypse/a/d-id/1335231
Default
US Tech Sector Employment Down in April Even as Employers Look to Fill Technical Jobs, CompTIA Analysis Finds
CompTIA Newsroom
Классный "Интерактивный курс Python для новичков в программировании" (нереклама:)
https://letpy.com
Подробнее о нём:
https://proglib.io/p/interaktivnyy-kurs-python-dlya-novichkov-v-programmirovanii-2020-05-19
Можно графические задачки делать, есть учебный отладчик и даже бот, который пытается как-то неформально подсказывать по ошибкам, молодцы ребята.
https://letpy.com
Подробнее о нём:
https://proglib.io/p/interaktivnyy-kurs-python-dlya-novichkov-v-programmirovanii-2020-05-19
Можно графические задачки делать, есть учебный отладчик и даже бот, который пытается как-то неформально подсказывать по ошибкам, молодцы ребята.
Letpy
Python для начинающих. Уроки и задачи. Интерактивный онлайн-курс
Обучение Python для новичков. Онлайн тренажер с автоматической проверкой решений.
290 миллионов студентов сегодня остались без оффлайнового обучения, и оказалось, что 70% преподавателей к ведению онлайн-обучения совсем не готовы. Однако поколение Z (первое цифровое поколение) не парится: только 26% считает, что отсутствие высшего образования может стать препятствием в карьере, и 90% нанимателей готовы брать на технические должности ребят без диплома -- реальные навыки и желание учиться сегодня имеют явно большее значение, нежели наличие четырёхгодичных корочек.
https://workplacetrends.com/closing-the-skills-gap-study/
Однако растёт ценность всевозможных сертификатов онлайн-курсов (причём любых, даже совсем небольших) и цифровых cv (для программистов это прежде всего гитхаб).
62% Z-ребят готовы оставить университет ради хорошей работы, начинают трудиться они заметно раньше, нежели их родители, однако предпочитают, чтобы на работе было организовано обучение. 84% уверены, что их карьера будет сильно отличаться от старомодной модели родителей, и долгосрочная работа в одной компании быстро становится атавизмом.
Работа и жизнь сегодня смешиваются, сливаются, поэтому Z справедливо ценят удобные рабочие места и комфорт, но не в классическом смысле, а с акцентом на том, что на работе по сути происходит их жизнь, поэтому частые перерывы и отвлечения на соцсети совершенно нормальны.
https://workplacetrends.com/closing-the-skills-gap-study/
Однако растёт ценность всевозможных сертификатов онлайн-курсов (причём любых, даже совсем небольших) и цифровых cv (для программистов это прежде всего гитхаб).
62% Z-ребят готовы оставить университет ради хорошей работы, начинают трудиться они заметно раньше, нежели их родители, однако предпочитают, чтобы на работе было организовано обучение. 84% уверены, что их карьера будет сильно отличаться от старомодной модели родителей, и долгосрочная работа в одной компании быстро становится атавизмом.
Работа и жизнь сегодня смешиваются, сливаются, поэтому Z справедливо ценят удобные рабочие места и комфорт, но не в классическом смысле, а с акцентом на том, что на работе по сути происходит их жизнь, поэтому частые перерывы и отвлечения на соцсети совершенно нормальны.