​​В Data Studio появилась поддержка динамических параметров в SQL-запросах при подключении к BigQuery. Теперь отчеты могут динамически обновляться без редактирования источников данных.

via @BigQuery

Неплохой обзор Yandex DataLens. Коннекторов пока немного, но, наверное, все впереди. Но вот интересно, Яндекс и Гугл продолжат делать вид, что оппонента не существует?

http://bit.ly/2Xyd9q0

#yandexdatalens

Гайд для погружения в машинное обучение: https://foobar167.github.io/page/vvedeniye-v-mashinnoye-obucheniye-i-iskusstvennyye-neyronnyye-seti.html

И еще: https://vas3k.ru/blog/machine_learning/

Обзор возможностей и методов разработки с SciPy 1.0 и некоторых последних технических улучшений.

https://www.nature.com/articles/s41592-019-0686-2

У гугла есть такой продукт, Cloud Vision API - эта штука позволяет сторонним разработчикам распознать содержимое картинки. По сути это доступ к обученной гуглом нейронной сети, которая размечает тегами фотографию, говоря что на ней самолет, пляж, и с вероятностью 84 процента по пляжу бежит собака.

Так вот, вчера разработчики разослали предупреждение, что Cloud Vision API больше не будет навешивать тэги "мужчина" или "женщина" на фотографии людей, потому что, цитирую "невозможно определить пол человека исключительно по его внешнему виду". Решение крайне интересное, теперь если вы хотите вернуться к традиционному определению пола и возраста с использованием Cloud Vision API, придется делать это как живым людям - например предполагая что если на человеке есть тэг "платье" - вероятно это женщина.

https://www.businessinsider.com/google-cloud-vision-api-wont-tag-images-by-gender-2020-2?op=1

Алгоритмическое детектирование голого тела и в особенности его интимных частей — задача не новая, поисковики давно ей занимались, чтобы в выдаче картиночного поиска “семейные” фильтры давили всё мало-мальски порнушное.
Но вот японцы пошли дальше, да и уровень развития нейросеток им помог: они выпустили смартфон, который просто не позволит сделать эротическое селфи (заблокирует камеру), а если как-то удастся успеть сфоткать неприличности — то не позволит их отправить. Более того, он нажалуется родителям, отправив им предупреждение о том, что и где их чадо сфоткало — ибо этот телефон, конечно, предназначен для детишек и их защиты от злоумышленников.
Правда, зная современных детишек, я полагаю, что среди них найдутся те, которые сочтут делом чести взломать и обдурить эту защиту ;)

https://gizmodo.com/this-japanese-smartphone-uses-ai-to-prevent-users-from-1841790248

«Формулу Путина» уточнили.
Кто к 2030 пробьется в ИИ-лидеры, станет править миром до 2100 (а успех Китая не предрешен).
«Стратегия без тактики — это самый медленный путь к победе.
Тактика без стратегии — это просто суета перед поражением»
Сунь Цзы
Формулу Путина - монополист в сфере ИИ может стать властелином мира – признали правительства всех развитых стран. Но чтобы стать частью национальных стратегий, формуле не хватало 3х важных моментов.
1) Именно монополист или один из лидеров?
2) Ключевые элементы нацстратегии у разных стран разные?
3) Какова конкретика тайминга при выработке оптимальной тактики? (например, дедлайн и временные рамки лидерства)?
Среди прочего, эти 3 важных момента определяют:
- так ли уж неизбежна ИИ-монополярность;
- за счет чего конкретная страна может выйти в ИИ-лидеры;
- сколько времени есть у страны, чтобы стать, если не монополистом, то хотя бы войти в тройку лидеров;
- как надолго может сложиться монополярный мир ИИ-властелина (чтобы тем, кто не войдет в число лидеров, получше встроиться на роли проигравших)?

Два первых месяца 2020 г. прояснили ситуацию среди лидеров ИИ гонки и приблизили нас к ответам практически на все поставленные вопросы.

Продолжить чтение еще на 5 мин.
- на Medium http://bit.do/fu7Ys
- На Яндекс Дзен https://clck.ru/MF9ga

#ИИ #ИИгонка #ИИнацстратегия #Геополитика #НовыйМировойПорядок

 CatBoost — библиотека машинного обучения для решения практических задач

Градиентный бустинг — один из наиболее часто используемых алгоритмов машинного обучения. Этот алгоритм помогает решать задачи регрессии, классификации и ранжирования на разнородных данных. При помощи градиентного бустинга в Яндексе мы выбираем наиболее релевантные документы для ответа на поисковые запросы, ранжируем музыкальные композиции, предсказываем погоду и решаем много других задач.

CatBoost — это библиотека градиентного бустинга, написанная в Яндексе и выложенная в открытый доступ. В докладе мы расскажем, что такое градиентный бустинг, как он применяется, чем отличается CatBoost от других библиотек, как при помощи него обучать модели на больших данных и как работать с разными типами данных — числовыми и категориальными.

Смотреть

@itlecture

Практические видеоуроки, интервью с предпринимателями и исследователями, лекции из ведущих университетов и видеоподкасты про data science — всё это в нашей новой подборке ▶️

https://ya.cc/t/cU4GZXz0AWmyH

​​Здорова, пацаны

Короче тема такая, каждое второе сообщение у меня в личке, это что-то вроде: «хорош ли курс %name%». Это отличный вопрос, обязательно напишите мне или кому-то типа меня перед тем как покупать курс за хуево-тутуево кэша.
Но вот в чем дело, я никогда не посоветую курс, который сам хотя бы не смотрел, а они плодятся со скоростью света. В таких ситуациях, советую взять что-то проверенное. Потому что база у МЛ одна, ничего сверхъестественного там не расскажут.
Конечно иногда на меня накатывает волна филантропии, тогда я даю шанс непроверенным продуктам (как ты в ашане) и покупаю их. Но пока что меня ждал сплошной пиздец.
Тем более, у нас уже выделено 3 программы по классик МЛ, которые с головой покрывают базовый объем информации, как теоретической, так и практической, за них могу ручаться: спецуха, одс, институт биоинформатики + одс.

А сегодня к этой тройке добавляется, прямо-таки неебовый конкурент. Свежий курс от физтеха. Причем в двух вариациях: базовый уровень и продвинутый. Базовый уровень — это ровно тот курс лекций и домашек, который прослушивают студенты физтеха на третьем курсе, а продвинутый на четвертом.

Пару слов. Это абсолютно самостоятельный продукт, его не нужно дополнять какой-то дополнительной домашкой или лекциями, если конечно бекграунд соответствует. Просмотрев базовую версию и выполнив 80% домашек, а также докинув сюда 1-2 соревнования на Kaggle, ты будешь готов ебать мозги всей Москве и мозолить глаза hr-ам разных компаний.

Быстро по структуре. Сюрпризов не будет, все по классике. 13 недель. Линейные модели, деревья, бустинги, хуюстинги, немного нейронок.

Что касается продвинутого курса, оно того стоит, пацаны, смотрим. Некоторые ноутбуки даже просто прощелкать будет полезно. Короче мастхев. Просто глянь список лекций, возможно прослушать 1-2 будет самый сок для тебя, а не проходить весь курс.

По нашей стандартной метрике тобi пiзда / качество — 9/10 для базового, из-за достаточно высокого порога входа. И 10/10 для продвинутого, тут люди к боли привыкшие.

Курсы → https://github.com/ml-mipt/ml-mipt

Ботаем, братва

DeepMind выпускает Acme, распределенную среду для разработки алгоритма обучения с подкреплением

Платформа предназначена для упрощения разработки алгоритмов обучения с подкреплением, позволяющая агентам, управляемым ИИ, работать в различных масштабах производства.

Обучение с подкреплением – это разновидность машинного обучения, при котором агент учится действовать в окружающей среде, выполняя действия и тем самым нарабатывая интуицию, после чего наблюдает результаты своих действий.

Acme - это набор инструментов для тренировки систем обучения с подкреплением. Система стремится предоставить простые, эффективные и удобочитаемые агенты, которые служат как эталонными реализациями популярных алгоритмов, так и надежными базовыми показателями, и в то же время обеспечивают достаточную гибкость для проведения новых исследований.

Github:
https://github.com/deepmind/acme

Документ:
https://arxiv.org/abs/2006.00979

​​Первым делом сюда (❗️❗️❗️)

Легкого пути в МЛ не бывает, но и сильно затягивать тоже не надо. Для нормального входа в профессию, тебе нужно хорошо знать питон и несколько разделов математики. То в каком порядке это делать — дело каждого, некоторым удобно параллельно, некоторые любят поочередно. Да, сучара, без этого никак, не надо думать, что это по сложности, как проебывать пары философии.

Вот минимум, после которого вилки зп становятся шестизначными. Любой из вариантов хорош, отличаются лишь сложностью и актуальностью, но приводят примерно к одному результату.
1. Классическая классика. Покрывает все нужные темы, погружает жестко, медленно, словно маньяк. Эффективно. Для понимания нужна некоторая математическая интуиция.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
2. Вариант чуть сложней первого, более самобытный, требует самостоятельности и понимания чем ты вообще собираешься заниматься. Нет проверок ДЗ. Требуется хороший уровень некоторых разделов математики. Слабо подходит нубам.
Убираем страх → Основы мат. анализа → Лин.Алгебра → Теор.вер → Питон→ МЛ.
3. Самый модный, молодежный вариант. Погружает не больно, но достаточно быстро. Можно использовать как вариант, если tupoy. Зумеры, ваша тема.
Убираем страх → Теор.вер → Мат. Статистика: Гланц Медико-Биологическая статистика (основы) → Питон→ МЛ.

После прохождения этих этапов, надо залетать на работу, для этого мы уже сделали сервис с вопросами интервью и некоторые ответы на них. Не стесняемся добавлять свои вопросы, перцы.

Сервис с вопросами → https://interview-mds.ru/
Вопросы с ответами → жми

А теперь база данных по каналу. Тут собрано гигантское количество курсов/ресурсов/ и пр. Это не значит, что надо смотреть все подряд, в таком случае ты выйдешь на работу примерно через N жизней. Это база создается для того, что бы ты знал куда обратиться в случае возникновения проблемы по тому или иному направлению. Возникла потребность, смотрим.

Математика, та тетка из твоих кошмаров, по совместительству царица наук.
0. Что вообще надо?
1. Необходимая литература для начала
2. Курс по линейной алгебре
3. Курс по теор. вер.
4. Курс по статистике
5. Супер понятная линейная алгебра
6. Интенсивы мат. анализ
7. Два Подхода к изучению статистики
8. Линейная алгебра для DL от MIT
9. Базовый Теор. Вер. МФТИ
10. План по мат. анализу
11. Основательный подход к статистике

Питон, это не тот python, которого ты душишь под одеялом.
1. Необходимые для старта курсы
2. Питон не для начинающих

Data Science, с ним будешь первый парень на деревне.
1. Стартовые курсы на выбор
2. ML курс от Физтеха
3. ML курс от института Биоинформатики

​​Deep Learning, главная матка муравья.
1. Введение в диплернинг
2. Классика диплернинга
3. Курс по ДЛ от ШАДа
4. Курс по Computer Vision Стенфорд cs231
5. Курс по Байесовским методам машинного обучения
6. Курс DL school от Физтеха
7. Мини-курсы по работе с временными рядами
8. DL Воронцов
9. База NLP

Reinforcement learning, для одичалых.
1. План по изучению RL

Big Data, клерковский вариантик.
1. Курс по работе с большими данными

Соревнование ML.
1. Введение в соревнование и первые начинания
2. Внутренние соревнование NASA
3. Внутренние соревнование PUBG
4. Соревнование от Росбанка
5. Kaggle MNIST
5.1. Решение победителя
6. Курс «Как побеждать на Каггле»
7. Соревнование Santander Customer Transaction Prediction
7.1 Разбор решения
8. Топовые решение соревнований
9. Разбор соревнования Титаник без цензуры

Алгоритмы, страж на пути в корпорацию.
1. Алгоритмы и структуры данных
2. Мягкий вход в алгоритмы

Английский, извини, но ты живешь в России
1. Щедрый жест, спешл фор ю

SQL.
1. Азы SQL
2. Тренажеры SQL

Стажировки / Школы
1. Летние стажировки
2. Топовые школы

Джентльменский набор
1. Джентльменский набор часть 1
2. Джентльменский набор часть 2
3. Джентльменский набор часть 3
4. Джентльменский набор часть 4

Приятные плюшки
1. Шпаргалки от стенфорда
2. Большенство тем, реализованных на питоне
3. Джентльменский набор часть 1
4. Сборник теоретических задач по МЛ
5. Features engineering часть 1
6. Features engineering часть 2
7. Features engineering часть 3
8. Features selection часть 1
9. Советы для резюме
10. Гайд по аренде ГПУ в облаке

Блеклист курсов МЛ
1. Говнокурс 1
2. Рейтинг дерьмовых курсов, по мнению подписчиков

ШАД/CSC, для любителей БДСМчика.
1. Что это?
2. Интервью
3. Подготовка

Деплой МЛ моделей, когда ваш малыш вырос.
1. Быстрый путь
2. Основательный подход

Глубокое проникновение в глубокое обучение на Keras
1. Часть 1 MNIST
2. Часть 2 CNN
3. Часть 3 VGG16

Смотрите, читайте, охуевайте

🎞Лучшая подборка видео о Machine Learning:

1. Введение в машинное обучение — https://youtu.be/ukzFI9rgwfU
2. Базовые знания об обработке естественного языка (Natural language processing) — https://youtu.be/d4gGtcobq8M
3. О работе компьютерного зрения — https://www.youtube.com/watch?v=OcycT1Jwsns&feature=youtu.be
4. Многоагентная система (Multi-agent) игры в прятки — https://youtu.be/kopoLzvh5jY
5. Машинное обучение видеоигр — https://youtu.be/qv6UVOQ0F44

Приятного просмотра!

Nerus — большой синтетический русскоязычный датасет с разметкой морфологии, синтаксиса и именованных сущностей.
В проекте Natasha анализ морфологии, синтаксиса и извлечение именованных сущностей делают 3 компактные модели: Slovnet NER, Slovnet Morph и Slovnet Syntax. Качество решений на 1–5 процентных пунктов хуже, чем у тяжёлых аналогов c BERT-архитектурой, размер в 50-75 раз меньше, скорость на CPU в 2 раза больше. Модели обучены на огромном синтетическом датасете Nerus, в архиве 700 000 новостных статей с CoNLL-U-разметкой морфологии, синтаксиса и именованных сущностей.

https://natasha.github.io/nerus/

Немного про градиентный спуск: https://neurohive.io/ru/osnovy-data-science/gradient-descent/

▫️ Лекции по Big Data

1 - BigData. Введение в машинное обучение - Смотреть
2 - BigData. Python - Смотреть
3 - BigData. Что такое BigData - Смотреть
4 - BigData. OLAP. What and why - Смотреть
5 - BigData. IoT и BigData - Смотреть
6 - BigData. Сhallenges of classification - Смотреть
7 - BigData. Formal Context Analysis - Смотреть
8 - BigData. Регрессия - Смотреть
9 - BigData. Хранение и анализ больших данных - Смотреть
10 - BigData. Deep learning - Смотреть

@itlecture