Если вы используете redis, то утилитка iredis вполне может стать вашим другом в удивительный мир key-value хранилища на стероидах :) — https://iredis.io/
Прекрасная альтернатива redis-cli.

Гайд по Kubernetes для Full-Stack разработчиков от DigitalOcean: https://do.co/3a4xiq7

​​Отличная возможность заняться практикой по машинному обучению под руководством Артура Кадурина, эксперта по ML, CEO Insilico Taiwan, Chief AI Officer Insilico Medicine, автора научных публикаций.

Зарегистрируйтесь на бесплатный онлайн-интенсив и вечером 11 марта вы познакомитесь с reinforcement learning, узнаете, как применять машинное обучения для игр и научитесь с его помощью играть в «крестики-нолики».

Приходите, будет очень интересно и профессионально: https://otus.pw/faja/

В рамках подготовки к митапу AWS Meetup Almaty 2020 написал небольшую статью про построение Data Lake средствами AWS, а именно:

- Amazon S3
- Amazon Glue
- Amazon Athena

Прочитать можно по ссылке: http://bit.ly/2Tkcswc
Код с примерами пайплайна есть в моём гитхаб репе: https://github.com/adilkhash/aws-meetup-almaty-2019-data-lake

​​Приглашаем всех разработчиков 11 марта в 20.00 (мск) на онлайн-интенсив «Архиватор Хаффмана». Запишитесь сейчас и получите напоминание в день вебинара: https://otus.pw/9oRZ/

На практическом вебинаре обсудим и напишем архиватор на основе кода Хаффмана:
• Способы сжатия информации.
• Префиксный код Хаффмана.
• Создание частотного словаря.
• Дерево кода Хаффмана.
• Алгоритм сжатия файла.
• Алгоритм распаковки архива.
• Тестирование программы на разных файлах.

Для активного участия в вебинаре вам понадобятся Microsoft Visual Studio и C# .NET.

Проведет практическое занятие Евгений Волосатов, руководитель продвинутого онлайн-курса «Алгоритмы для разработчиков» в Отус Онлайн-образование.

Серия постов про реализацию алгоритма Raft на Go:

- Part 0: Introduction
- Part 1: Elections
- Part 2: Commands and log replication
- Part 3: Persistence and optimizations

​​На вебинаре курса "Разработчик React.js" рассмотрим:
- что входит в стандартный набор возможностей React.js?
- можно ли с помощью этого построить сложное приложение?
- функциональное программирование - это легко или сложно?
- что такое Redux и зачем он нужен?

Пройдите вступительный тест и зарегистрируйтесь по ссылке: https://otus.pw/L5m5/

Нашел классный документальный фильм про создание Vue.JS и его разработчиков: https://www.youtube.com/watch?v=OrxmtDw4pVI

​​Samsung и Star Labs научились создавать цифровых людей

На прошедшей CES 2020 Samsung представила проект Neon — цифровых людей, неотличимых от настоящих. Они говорят и двигаются как люди — и даже демонстрируют эмоции. «Неоны» — не просто цифровые помощники вроде Siri или «Алисы». Это независимые виртуальные личности, которые самостоятельно учатся при помощи встроенного искусственного интеллекта. В теории «неоны» могут заменить различные профессии: телеведущих, консьержей, учителей, финансовых и медицинских консультантов. Они не станут вашими покорными ассистентами, зато могут быть компаньонами и даже друзьями.

Выглядит как сценарий фантастического кино, правда? Но всё это стало возможным благодаря аналитикам данных и специалистам по машинному обучению — и ты тоже можешь стать одним из них. После курса «Профессия Data Scientist» ты станешь специалистом с реальными проектами в портфолио, даже если до этого никогда не работал с данными.

Вход в новую профессию максимально комфортный — возможность учиться первые полгода бесплатно и гарантированное трудоустройство после обучения. Записывайся на курс «Профессия Data Scientist» и получи востребованную профессию будущего.

Гайд по ядру Linux для разработчиков и интересующихся: https://linux-kernel-labs.github.io/refs/heads/master/index.html

Нашел документальный фильм про AlphaGo: https://www.youtube.com/watch?v=WXuK6gekU1Y
Желаю приятного просмотра на выходных 🍿🥤

В сети появились доклады с конференции PyCon Belarus 2020, которая прошла в феврале: https://www.youtube.com/playlist?list=PLpVeA1tdgfCDdciEIzfItkMXhXEUyFewL

​​Как научить нейросеть узнавать объекты с первого раза?

Зарегистрируйтесь среди первых на бесплатный вечерний вебинар 17 марта «Triplet loss: учим нейросеть узнавать объекты с первого раза»: https://otus.pw/TKcs/

На вебинаре:
− научитесь работать с tensorflow datasets
− рассмотрите проблему one-shot learning, metric learning
− разберете, что такое siamese networks и triplet loss
− обучите нейросеть, способную с первого раза узнавать объекты.

Проведет онлайн-практику Михаил Степанов, программист в отделе машинного обучения компании Jet Infosystems и преподаватель онлайн-курса по компьютерному зрению в Отус Онлайн-образование.

Гарвард открыл доступ для всех к курсы CS50 Introduction to Artifical Intelligence with Python: https://cs50.harvard.edu/ai/

Асинхронный фреймворк FastAPI сейчас на хайпе, и, к слову, к нему стоит присмотреться. Я не так давно запилил небольшой сервис на основе него, в основном всё там IO-bound, поэтому получилось быстро и минималистично. Предыдущую версию сервиса я делал на Django + Celery, и это решение отжирало памяти как не в себя. С fastapi получилось уложиться в 60 мегабайт против 400+ на Django/Celery.

Если вы ещё не слышали про FastAPI, то я нашел подходящую статейку про построение микросервиса на FastAPI: https://dev.to/paurakhsharma/microservice-in-python-using-fastapi-24cc

Для того чтобы пользователи увидели видео в Интернете, его нужно не только загрузить на сервер, но и обработать (сконвертировать в необходимый формат, создать превью). Разработчики Яндекса ускорили этот процесс в 8 раз. Теперь записи будут быстрее предобрабатываться во всех сервисах, где есть видеоконтент (Эфир, КиноПоиск, Дзен, Новости).

Обычно видео кодируется последовательно одним сервером. Чтобы ускорить этот процесс, используют параллельное кодирование. Теперь видео разбивается на множество мелких фрагментов длиной около 10 секунд и обрабатывает их не поэтапно одним сервером, а одновременно сразу несколькими.

Параллельная обработка видео позволила Яндексу сократить задержку между загрузкой видео и его доступностью для пользователей. Раньше на создание нескольких версий разного качества для FullHD-фильма длиной в полтора часа уходило два часа, то теперь это занимает 15 минут.

Если при старом подходе серверы простаивали без задач или их, наоборот, не хватало, то теперь железо задействовано в работе более равномерно.

Ребята из JetBrains провели очередной крутой вебинар. На этот раз он был посвящен PyCharm и Django.
На вебинаре рассмотрели такие штуки как:
- Django specific автокомплит
- Dependency диаграммы
- Отладка Django шаблонов
- Генерирование type hints
И многое другое. Если вы создаёте веб-приложения на Django, а также используете PyCharm, то этот вебинар — must-watch: https://bit.ly/39rrUNh

​​На просторах сети нашел бесплатный курс от Стэнфордского Университета про веб-безопасность — CS 253 Web Security.
Ведёт его небезызвестный Feross Aboukhadijeh. Он в своё время прославился сервисом YouTube Instant, который в реальном времени выводил подсказки при поисковых запросах. После чего получил приглашение на работу в YouTube 😎
Курс определенно стоит вашего внимания!

И снова поговорим про ETL

На PyCon RU я сравнивал 2 ETL-инструмента в экосистема Python:

- Luigi
- Apache Airflow

И в конце упоминал ещё несколько батареек на которые стоит обратить внимание. Среди них был Prefect.
Это относительно новый инструмент, который появился в результате коллаборации разработчиков из Apache Airflow и Dask. Мотивацию о создании нового инструмента они описали в посте Why not Airflow?. Но сейчас не об этом.

Вчера состоялся новый релиз Prefect, где наконец появился UI дэшборд. Я до этого времени особо не обращал на него пристального внимания, т.к. именно UI фишечки и не хватало. Кстати, небольшой пример пайплайна на Prefect я писал в рамках подготовки к PyCon RU 19.


Материалы:
- NYC Yellow Taxi Data Pipeline на Prefect
- Примеры пайплайнов на Airflow, Luigi, Prefect для выступления на PyCon RU 19
- Доклад на PyCon RU 19: ETL инструменты в экосистеме Python
- Сайт Prefect