7 мастхев питон пакетов для датасайентиста

UMAP https://github.com/lmcinnes/umap
Визуализация данных. Полезно бывает взглянуть на данные издалека и под другим углом, особенно если у вас таблица с 100500 фич и кучей классов.

Datatable https://github.com/h2oai/datatable
Процессор таблиц на GPU. Иногда на порядок быстрее pandas, особенно на огромных таблицах.

Lazypredict https://github.com/shankarpandala/lazypredict
Кнопка "сделать пиз машын лернинг"
Прогоняет ваш датасет сразу на куче алгоритмов, и выдает табличку с метриками. Не нужно отдельно руками собирать random forest, lgbm, xgboost итд.

Optuna https://github.com/optuna/optuna
Кнопка "найти лучше параметры для обучения моей модели". Да, фреймворк-агностик.

SHAP https://github.com/slundberg/shap
Кнопка "покажи мне влияние фич на прогноз"
Делает стандартный feature importance plot как в целом для датасета, так и для отдельного сэмпла.

Rapids cuDF https://github.com/rapidsai/cudf
pandas @ GPU

Automatic EDA libraries (авто-исследовательский анализ данных)
Либы с кнопками "показать все инсайты по моим данным"
DataPrep — https://github.com/sfu-db/dataprep
AutoViz — https://github.com/AutoViML/AutoViz
PandasProfiling — https://github.com/pandas-profiling/pandas-profiling
Lux — https://github.com/lux-org/lux

Подробно и с примерам обо всех - тут https://towardsdatascience.com/7-cool-python-packages-kagglers-are-using-without-telling-you-e83298781cf4
Очень полезно, хоть и кликбейтный заголовок.

У Xiaomi появился робопёс, который может анализировать окружающую обстановку, планировать маршруты и создавать карты. И даже выполнять разные трюки — например, сальто назад.

Первую тысячу робособак продадут почти за 10 тысяч юаней — около 114 тысяч рублей. Для сравнения, цена Spot от Boston Dynamic около 5,5 млн рублей

vc.ru/tech/280220

Вау вышел новый робокиберпес от xiaomi

Компания Heineken показала робота B.O.T., который любезно доставит вам пиво и сохранит его температуру.
Робот умеет следовать за человеком и вмещает 12 банок пива. ☺️

OpenAI Codex - просто чума!

Час назад, OpenAI провела лайв-демо своего нового API Codex, которое позволяет пользоваться их моделью для генерации кода. Было показано много прикольных применений типа автонаписания кода и даже игры на JavaScript. Но самое сладкое они оставили на конец.

У многих программ есть своё собственное API (например у Word). Так вот, Codeх способен к ним подключаться и напрямую управлять софтом. На пример в демо показано как с помощью одной голосовой команды можно удалить все лишние пробелы в вордовском документе или выделить жирным каждую 5ую строку!

Посмотреть презентацию можно тут: https://www.twitch.tv/videos/1114111652

#code #news #generative #nlp

Мне часто пишут индусы с просьбами "send dunes". Штош, сегодня я, наконец, готов удовлетворить их праздное любопытство. Встречайте новый трейлер Дюны от Дени Вильнёва.
алгоритму довольно плохо даются мутные сцены с песком, поэтому пришлось прогонять ролик несколько раз с разными настройками и потом монтировать.
В процессе обработки я столько раз пересмотрел этот ролик, что уже не могу дождаться выхода фильма. Держим кулачки и ждем октября.
The spice must flow!

Тестим алго на видосе с КомикКона 2019, часть 1
Исходник: https://youtu.be/NnWcr_MnOzI

https://github.com/FabienRoger/WInfoForTwitter
Простое расширения для фактчекинга в твиттере.
Пока сверяется только с википедией, но если добавить более надежные источники, того и гляди, заживем!
(пока не тестил, так что на свой страх и риск)

Продолжение этого https://news.1rj.ru/str/derplearning/484 видоса.
Чуть повыше разрешение обработки. Кстати, весь алгоритм жрет всего 3,4гб GPU RAM, может получится завести на какой-нибудь вундервафле типа Jetson Nani Nano 4Gb

Таки здравствуйте! Там наши коллеги из Тель-Авива повернули GPT-3 на 90 градусов (вместо 96 слоев сделали 76, но более широкие, почти сохранив общее кол-во параметров) и сделали Jurassic AI.

Уменьшенная глубина модели позволяет мочь в больший параллелизм и почти впятеро большую длину входного текста.
Говорят, что их модель более кощерная и экспрессивная, ну а мы будем посмотреть.

Запись на открытую бету: https://www.ai21.com/studio
(обещают счастья всем, даром, и пусть никто не уйдёт обиженный ждать полгода или писать в твитор CEO OpenAI, как в случае с бетой GPT-3)

Бету обещают дать всем, но она урезана по рейт-лимитам и кто знает ещё чему, а за полноценную коммерческую интеграцию придётся расчехлять свои кровные шекели.

Пресс-релиз: https://www.businesswire.com/news/home/20210811005033/en/AI21-Labs-Makes-Language-AI-Applications-Accessible-to-Broader-Audience
Вайтпейпер: https://uploads-ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf
Бенчмарк для сравнения с GPT-3: https://github.com/ai21labs/lm-evaluation
Подробнее: https://www.zdnet.com/article/watch-out-gpt-3-here-comes-ai21s-jurassic-language-model/

Guess who's next :D

That's Deadpool2 baby. Domino's luck cut.
От озвучки меня немного фейспалмит, но на англ. такой нарезки не нашел.

Давненько так не кекал. Накидали продолжение.

Летняя распродажа, подготовься к школе, лол.

Я подозреваю, что роботы алиэкспресс специально таргетируют максимально упоротые товары, чтобы завируситься. Когда настолько фейл, что даже вин.

Тем временем гугол снова жадничает.
То, что было доступно на Colab Pro за $10/месяц, теперь доступно на Colab Pro+ за $50/месяц. На обычной про-подписке теперь 2 сессии (было 4), и, вероятно, вечная P100 онли. V100 мне уже очень давно не выпадала.

Страшно представить, что творится на бесплатной версии колаба. Надеюсь, хоть в гугле не банят, если сильно афкшишь за компом и вообще малопродуктивен и невовлечен.

Там NVIDIA выпустила CUDA Python.
Судя по дате, это релиз ноутсы из будущего!

Пока неоч понятно, чем это отличается от текущего воркфлоу (т.к. все равно нужно знать CUDA C++)

https://nvidia.github.io/cuda-python/release/11.4.0-notes.html

Яндекс опубликовал ценнейший набор данных - населенные пункты России с геолокацией и населением
Источник: https://yandex.ru/company/researches/2021/oikonyms

Гифка из предыдущего поста