Алгоритмическое детектирование голого тела и в особенности его интимных частей — задача не новая, поисковики давно ей занимались, чтобы в выдаче картиночного поиска “семейные” фильтры давили всё мало-мальски порнушное.
Но вот японцы пошли дальше, да и уровень развития нейросеток им помог: они выпустили смартфон, который просто не позволит сделать эротическое селфи (заблокирует камеру), а если как-то удастся успеть сфоткать неприличности — то не позволит их отправить. Более того, он нажалуется родителям, отправив им предупреждение о том, что и где их чадо сфоткало — ибо этот телефон, конечно, предназначен для детишек и их защиты от злоумышленников.
Правда, зная современных детишек, я полагаю, что среди них найдутся те, которые сочтут делом чести взломать и обдурить эту защиту ;)

https://gizmodo.com/this-japanese-smartphone-uses-ai-to-prevent-users-from-1841790248

«Формулу Путина» уточнили.
Кто к 2030 пробьется в ИИ-лидеры, станет править миром до 2100 (а успех Китая не предрешен).
«Стратегия без тактики — это самый медленный путь к победе.
Тактика без стратегии — это просто суета перед поражением»
Сунь Цзы
Формулу Путина - монополист в сфере ИИ может стать властелином мира – признали правительства всех развитых стран. Но чтобы стать частью национальных стратегий, формуле не хватало 3х важных моментов.
1) Именно монополист или один из лидеров?
2) Ключевые элементы нацстратегии у разных стран разные?
3) Какова конкретика тайминга при выработке оптимальной тактики? (например, дедлайн и временные рамки лидерства)?
Среди прочего, эти 3 важных момента определяют:
- так ли уж неизбежна ИИ-монополярность;
- за счет чего конкретная страна может выйти в ИИ-лидеры;
- сколько времени есть у страны, чтобы стать, если не монополистом, то хотя бы войти в тройку лидеров;
- как надолго может сложиться монополярный мир ИИ-властелина (чтобы тем, кто не войдет в число лидеров, получше встроиться на роли проигравших)?

Два первых месяца 2020 г. прояснили ситуацию среди лидеров ИИ гонки и приблизили нас к ответам практически на все поставленные вопросы.

Продолжить чтение еще на 5 мин.
- на Medium http://bit.do/fu7Ys
- На Яндекс Дзен https://clck.ru/MF9ga

#ИИ #ИИгонка #ИИнацстратегия #Геополитика #НовыйМировойПорядок

 CatBoost — библиотека машинного обучения для решения практических задач

Градиентный бустинг — один из наиболее часто используемых алгоритмов машинного обучения. Этот алгоритм помогает решать задачи регрессии, классификации и ранжирования на разнородных данных. При помощи градиентного бустинга в Яндексе мы выбираем наиболее релевантные документы для ответа на поисковые запросы, ранжируем музыкальные композиции, предсказываем погоду и решаем много других задач.

CatBoost — это библиотека градиентного бустинга, написанная в Яндексе и выложенная в открытый доступ. В докладе мы расскажем, что такое градиентный бустинг, как он применяется, чем отличается CatBoost от других библиотек, как при помощи него обучать модели на больших данных и как работать с разными типами данных — числовыми и категориальными.

Смотреть

@itlecture

Практические видеоуроки, интервью с предпринимателями и исследователями, лекции из ведущих университетов и видеоподкасты про data science — всё это в нашей новой подборке ▶️

https://ya.cc/t/cU4GZXz0AWmyH

​​Здорова, пацаны

Короче тема такая, каждое второе сообщение у меня в личке, это что-то вроде: «хорош ли курс %name%». Это отличный вопрос, обязательно напишите мне или кому-то типа меня перед тем как покупать курс за хуево-тутуево кэша.
Но вот в чем дело, я никогда не посоветую курс, который сам хотя бы не смотрел, а они плодятся со скоростью света. В таких ситуациях, советую взять что-то проверенное. Потому что база у МЛ одна, ничего сверхъестественного там не расскажут.
Конечно иногда на меня накатывает волна филантропии, тогда я даю шанс непроверенным продуктам (как ты в ашане) и покупаю их. Но пока что меня ждал сплошной пиздец.
Тем более, у нас уже выделено 3 программы по классик МЛ, которые с головой покрывают базовый объем информации, как теоретической, так и практической, за них могу ручаться: спецуха, одс, институт биоинформатики + одс.

А сегодня к этой тройке добавляется, прямо-таки неебовый конкурент. Свежий курс от физтеха. Причем в двух вариациях: базовый уровень и продвинутый. Базовый уровень — это ровно тот курс лекций и домашек, который прослушивают студенты физтеха на третьем курсе, а продвинутый на четвертом.

Пару слов. Это абсолютно самостоятельный продукт, его не нужно дополнять какой-то дополнительной домашкой или лекциями, если конечно бекграунд соответствует. Просмотрев базовую версию и выполнив 80% домашек, а также докинув сюда 1-2 соревнования на Kaggle, ты будешь готов ебать мозги всей Москве и мозолить глаза hr-ам разных компаний.

Быстро по структуре. Сюрпризов не будет, все по классике. 13 недель. Линейные модели, деревья, бустинги, хуюстинги, немного нейронок.

Что касается продвинутого курса, оно того стоит, пацаны, смотрим. Некоторые ноутбуки даже просто прощелкать будет полезно. Короче мастхев. Просто глянь список лекций, возможно прослушать 1-2 будет самый сок для тебя, а не проходить весь курс.

По нашей стандартной метрике тобi пiзда / качество — 9/10 для базового, из-за достаточно высокого порога входа. И 10/10 для продвинутого, тут люди к боли привыкшие.

Курсы → https://github.com/ml-mipt/ml-mipt

Ботаем, братва

DeepMind выпускает Acme, распределенную среду для разработки алгоритма обучения с подкреплением

Платформа предназначена для упрощения разработки алгоритмов обучения с подкреплением, позволяющая агентам, управляемым ИИ, работать в различных масштабах производства.

Обучение с подкреплением – это разновидность машинного обучения, при котором агент учится действовать в окружающей среде, выполняя действия и тем самым нарабатывая интуицию, после чего наблюдает результаты своих действий.

Acme - это набор инструментов для тренировки систем обучения с подкреплением. Система стремится предоставить простые, эффективные и удобочитаемые агенты, которые служат как эталонными реализациями популярных алгоритмов, так и надежными базовыми показателями, и в то же время обеспечивают достаточную гибкость для проведения новых исследований.

Github:
https://github.com/deepmind/acme

Документ:
https://arxiv.org/abs/2006.00979

​​Первым делом сюда (❗️❗️❗️)

Легкого пути в МЛ не бывает, но и сильно затягивать тоже не надо. Для нормального входа в профессию, тебе нужно хорошо знать питон и несколько разделов математики. То в каком порядке это делать — дело каждого, некоторым удобно параллельно, некоторые любят поочередно. Да, сучара, без этого никак, не надо думать, что это по сложности, как проебывать пары философии.

Вот минимум, после которого вилки зп становятся шестизначными. Любой из вариантов хорош, отличаются лишь сложностью и актуальностью, но приводят примерно к одному результату.
1. Классическая классика. Покрывает все нужные темы, погружает жестко, медленно, словно маньяк. Эффективно. Для понимания нужна некоторая математическая интуиция.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
2. Вариант чуть сложней первого, более самобытный, требует самостоятельности и понимания чем ты вообще собираешься заниматься. Нет проверок ДЗ. Требуется хороший уровень некоторых разделов математики. Слабо подходит нубам.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
3. Самый модный, молодежный вариант. Погружает не больно, но достаточно быстро. Можно использовать как вариант, если tupoy. Зумеры, ваша тема.
Убираем страх → Теор.вер → Мат. Статистика: Гланц Медико-Биологическая статистика (основы) → Питон→ МЛ.

После прохождения этих этапов, надо залетать на работу, для этого мы уже сделали сервис с вопросами интервью и некоторые ответы на них. Не стесняемся добавлять свои вопросы, перцы.

Сервис с вопросами → https://interview-mds.ru/
Вопросы с ответами → жми

А теперь база данных по каналу. Тут собрано гигантское количество курсов/ресурсов/ и пр. Это не значит, что надо смотреть все подряд, в таком случае ты выйдешь на работу примерно через N жизней. Это база создается для того, что бы ты знал куда обратиться в случае возникновения проблемы по тому или иному направлению. Возникла потребность, смотрим.

Математика, та тетка из твоих кошмаров, по совместительству царица наук.
0. Что вообще надо?
1. Необходимая литература для начала
2. Курс по линейной алгебре
3. Курс по теор. вер.
4. Курс по статистике
5. Супер понятная линейная алгебра
6. Интенсивы мат. анализ
7. Два Подхода к изучению статистики
8. Линейная алгебра для DL от MIT
9. Базовый Теор. Вер. МФТИ
10. План по мат. анализу
11. Основательный подход к статистике

Питон, это не тот python, которого ты душишь под одеялом.
1. Необходимые для старта курсы
2. Питон не для начинающих

Data Science, с ним будешь первый парень на деревне.
1. Стартовые курсы на выбор
2. ML курс от Физтеха
3. ML курс от института Биоинформатики

​​Deep Learning, главная матка муравья.
1. Введение в диплернинг
2. Классика диплернинга
3. Курс по ДЛ от ШАДа
4. Курс по Computer Vision Стенфорд cs231
5. Курс по Байесовским методам машинного обучения
6. Курс DL school от Физтеха
7. Мини-курсы по работе с временными рядами
8. DL Воронцов
9. База NLP

Reinforcement learning, для одичалых.
1. План по изучению RL

Big Data, клерковский вариантик.
1. Курс по работе с большими данными

Соревнование ML.
1. Введение в соревнование и первые начинания
2. Внутренние соревнование NASA
3. Внутренние соревнование PUBG
4. Соревнование от Росбанка
5. Kaggle MNIST
5.1. Решение победителя
6. Курс «Как побеждать на Каггле»
7. Соревнование Santander Customer Transaction Prediction
7.1 Разбор решения
8. Топовые решение соревнований
9. Разбор соревнования Титаник без цензуры

Алгоритмы, страж на пути в корпорацию.
1. Алгоритмы и структуры данных
2. Мягкий вход в алгоритмы

Английский, извини, но ты живешь в России
1. Щедрый жест, спешл фор ю

SQL.
1. Азы SQL
2. Тренажеры SQL

Стажировки / Школы
1. Летние стажировки
2. Топовые школы

Джентльменский набор
1. Джентльменский набор часть 1
2. Джентльменский набор часть 2
3. Джентльменский набор часть 3
4. Джентльменский набор часть 4

Приятные плюшки
1. Шпаргалки от стенфорда
2. Большенство тем, реализованных на питоне
3. Джентльменский набор часть 1
4. Сборник теоретических задач по МЛ
5. Features engineering часть 1
6. Features engineering часть 2
7. Features engineering часть 3
8. Features selection часть 1
9. Советы для резюме
10. Гайд по аренде ГПУ в облаке

Блеклист курсов МЛ
1. Говнокурс 1
2. Рейтинг дерьмовых курсов, по мнению подписчиков

ШАД/CSC, для любителей БДСМчика.
1. Что это?
2. Интервью
3. Подготовка

Деплой МЛ моделей, когда ваш малыш вырос.
1. Быстрый путь
2. Основательный подход

Глубокое проникновение в глубокое обучение на Keras
1. Часть 1 MNIST
2. Часть 2 CNN
3. Часть 3 VGG16

Смотрите, читайте, охуевайте

🎞Лучшая подборка видео о Machine Learning:

1. Введение в машинное обучение — https://youtu.be/ukzFI9rgwfU
2. Базовые знания об обработке естественного языка (Natural language processing) — https://youtu.be/d4gGtcobq8M
3. О работе компьютерного зрения — https://www.youtube.com/watch?v=OcycT1Jwsns&feature=youtu.be
4. Многоагентная система (Multi-agent) игры в прятки — https://youtu.be/kopoLzvh5jY
5. Машинное обучение видеоигр — https://youtu.be/qv6UVOQ0F44

Приятного просмотра!

Nerus — большой синтетический русскоязычный датасет с разметкой морфологии, синтаксиса и именованных сущностей.
В проекте Natasha анализ морфологии, синтаксиса и извлечение именованных сущностей делают 3 компактные модели: Slovnet NER, Slovnet Morph и Slovnet Syntax. Качество решений на 1–5 процентных пунктов хуже, чем у тяжёлых аналогов c BERT-архитектурой, размер в 50-75 раз меньше, скорость на CPU в 2 раза больше. Модели обучены на огромном синтетическом датасете Nerus, в архиве 700 000 новостных статей с CoNLL-U-разметкой морфологии, синтаксиса и именованных сущностей.

https://natasha.github.io/nerus/

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

▫️ Лекции по Big Data

1 - BigData. Введение в машинное обучение - Смотреть
2 - BigData. Python - Смотреть
3 - BigData. Что такое BigData - Смотреть
4 - BigData. OLAP. What and why - Смотреть
5 - BigData. IoT и BigData - Смотреть
6 - BigData. Сhallenges of classification - Смотреть
7 - BigData. Formal Context Analysis - Смотреть
8 - BigData. Регрессия - Смотреть
9 - BigData. Хранение и анализ больших данных - Смотреть
10 - BigData. Deep learning - Смотреть

@itlecture

Статья про деревья решений: https://towardsdatascience.com/entropy-how-decision-trees-make-decisions-2946b9c18c8

⚙️Продолжая насущную и довольно интересную тему нейросетей, хотели бы обратить внимание на следующую вещь.

И в частности поблагодарить автора за то, что собрал в одной статье новые архитектуры нейросетей и поговорил о том, что они из себя представляют.

Смотрите, читайте, исследуйте — https://habr.com/ru/post/498168/

Статья была написана в апреле 2020 года и за это время появилась еще ни одна архитектура, но самые актуальные можно отследить здесь — https://paperswithcode.com/area/computer-vision

​​Здорова, бандиты

Стал замечать рост вакансий связанных с временными рядами, особенно радует интерес корпораций к стажерам на это направление. Тайм сириасы одно из немногих направлений, где МЛ не притянут за huy, перфоманс там реально есть.

Вот только у нубов есть одна критическая ошибка, они пытаются заботать SOTA результаты в области, не сформировав твердую базу. Пусть то временные ряды или другая подобласть МЛ.

Братан, когда приходишь на стажера/джуна, выглядит как минимум стремно слушать про Diffusion Convolutional Recurrent Neural Network и при этом видеть удивленное ebalo при просьбе рассказать идею heapsort.

На какое бы направление МЛ ты не шел, нужно знать следующие вещи:
1. База по алгоритмам
2. База по теор.веру/статам
3. База по классическому МЛ
4. База по направлению. База блять, понял?

Базу по Тайм сириасам можно получить на семидневном мини-курсе. Он покрывает все основные моменты, которые могут спросить джуна/стажера.

Курс → https://machinelearningmastery.com/time-series-forecasting-python-mini-course/

Либо, можно совместить приятное с полезным и выполняя третий пункт из списка, взять спецуху от Яндекса/МФТИ, где на пятом курсе рассказывают основы анализа временных рядов, этого будет достаточно для старта. Можно также посмотреть отдельно эту часть специализации.

Курс → https://www.coursera.org/learn/data-analysis-applications

Первые три пункта можно подобрать под себя в первой и второй частях закрепа. Тут главное понять, что основной упор интервьюера будет направлен именно на них. Ну и, конечно, сверху все нужно шлифануть вопросами с сервиса, который мы сделали общими усилиями мамкиных ДСов.

Вопросы с собесов → https://interview-mds.ru/

А если тайм сириас для тебя рабочая рутина, то следующий продукт порадует. Четыре недели временных рядов на TensorFlow от deeplearning.ai. Тут и DNN, и RNN, все как мы любим. Ведущий — дядька из Google Brain, не предложит выбор из двух стульев, а посадит на каждый из них по очереди. Короче 10 из 10.

Курс → https://www.coursera.org/professional-certificates/tensorflow-in-practice

Работаем, братва

👨‍🎓📈Как выбрать специализацию и начать обучение Data Science

Рассказываем об этапах обучения, которые необходимо пройти новичку для начала карьеры в Data Science. Путь от выбора специализации до выработки практических навыков будет непростым.

https://proglib.io/sh/ugSNAv8y7x

Из этой статьи вы узнаете, почему важно разделять набор данных в машинном обучении с учителем и как это делать с помощью traintestsplit() из scikit-learn.

https://proglib.io/w/a11a1252

Проверьте свои навыки: 26 вопросов и ответов с собеседований по Data Science.

https://proglib.io/w/c2b5ee64

Школа анализа данных выложила в открытый доступ конспект курса по теории глубинного обучения. Он может быть полезен тем, кто хочет глубже разобраться в том, как работают нейронные сети 🙌🏻

В конспекте рассматриваются следующие темы:

— Инициализация нейронных сетей
(кто-нибудь смотрел, как инициализируются сети в pytorch или tensorflow, и почему именно так?);
— Поверхность функции потерь
(почему градиентный спуск — локальный поиск! — способен сколь угодно снизить ошибку на обучении?);
— Обобщающая способность
(почему сеть обученная на одной выборке, хорошо — или плохо — работает на другой?);
— NTK-теория (какова связь нейронных сетей с ядровыми методами и что она даёт?).