Forwarded from DataEng
Нашел в сети курс от MIT про распределённые системы: MIT 6.824: Distributed Systems, ведёт курс легендарный Роберт Морис: https://www.youtube.com/channel/UC_7WrbZTCODu1o_kfUMq88g/videos
Все знают Postman, а я недавно наткнулся на новую тулзу Insomnia для работы с API: https://insomnia.rest/
Монументальный труд про построение бэкэнда на Python от Яндекса: https://habr.com/ru/company/yandex/blog/499534/
Хабр
Практическое руководство по разработке бэкенд-сервиса на Python
Привет, меня зовут Александр Васин, я бэкенд-разработчик в Едадиле. Идея этого материала началась с того, что я хотел разобрать вступительное задание ( Я.Диск ) в Школу бэкенд-разработки Яндекса. Я...
К вопросу про целесообразность построение проекта на основе микросервисной архитектуры. Почитайте полезный пост от Twitter о том как они у себя удаляют данные в своём распределённом улье: https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/deleting-data-distributed-throughout-your-microservices-architecture.html
Весьма актуально в эпоху GDPR
Весьма актуально в эпоху GDPR
Twitter
Deleting data distributed throughout your microservices architecture
Twitter shares tips for deleting data in a microservices architecture using an erasure pipeline.
Очередной годный контент от Яндекса про REST, OpenAPI, Swagger и Python: https://habr.com/ru/company/yandex/blog/501088/
Хабр
Специфицируй это. Доклад Яндекса
Хорошая спецификация к API помогает клиентам его использовать. Несколько месяцев назад на большом Pytup разработчик Яндекса Александр Брязгин bryazginnn выступил...
Forwarded from DataEng
Появились доклады с прошедших двух митапов по Data Engineering, последний, к слову, проходил онлайн 🦠:
— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?
Приятного просмотра!
— Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
— Евгений Ермаков – Что под капотом у Яндекс.Такси?
— Егор Матешук – Обзор Lambda- и Kappa-архитектур
— Денис Хуртин – Как устроена платформа управления данными в Яндекс.Маркет?
Приятного просмотра!
YouTube
DE or DIE #1. Николай Марков – Какие дата инженеры бывают и чего от них все хотят?
Материалы всех наших митапов доступны на GitHub: https://github.com/deordie/deordie-meetups
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Николай Марков, Principal Architect…
Наш чат в Telegram: https://news.1rj.ru/str/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/
Автор доклада: Николай Марков, Principal Architect…
В свет вышла первая стабильная версия нового runtime для JavaScript — Deno. Разработка велась 2 года.
Разработчик Deno — Ryan Dahl, он же и автор Node.js. Проект Deno это по сути рефлексия на недостатки Node.js. Представляет он из себя безопасную runtime среду для запуска Javanoscript кода вне браузера, поддерживает TypeScript и весь новейший функционал стандарта ECMAScript, глоток свежего воздуха среди загазованного различными инструментами веба. Ядро Deno написано на Rust, использует JavaScript движок от Google V8 через биндинги
Deno это не форк Nodejs и, к сожалению, он несовместим с существующими npm пакетами, но потихоньку обрастает полезным кодом. У него уже есть обширная стандартная библиотека, а также база из пакетов сторонних разработчиков.
Уже сейчас можно практически полноценно работать с базой PostgreSQL, или создавать веб-приложения. Есть даже старый добрый шаблонизатор Handlebars.
Проект определенно стоит посмотреть. Доклад по мотивам Deno: 10 Things I Regret About Node.js
Разработчик Deno — Ryan Dahl, он же и автор Node.js. Проект Deno это по сути рефлексия на недостатки Node.js. Представляет он из себя безопасную runtime среду для запуска Javanoscript кода вне браузера, поддерживает TypeScript и весь новейший функционал стандарта ECMAScript, глоток свежего воздуха среди загазованного различными инструментами веба. Ядро Deno написано на Rust, использует JavaScript движок от Google V8 через биндинги
rusty_v8.Deno это не форк Nodejs и, к сожалению, он несовместим с существующими npm пакетами, но потихоньку обрастает полезным кодом. У него уже есть обширная стандартная библиотека, а также база из пакетов сторонних разработчиков.
Уже сейчас можно практически полноценно работать с базой PostgreSQL, или создавать веб-приложения. Есть даже старый добрый шаблонизатор Handlebars.
Проект определенно стоит посмотреть. Доклад по мотивам Deno: 10 Things I Regret About Node.js
Ахтунг! В сети стала доступна альфа версия Django 3.1
Почему это важно? Потому что начиная с 3.1 Django также можно считать асинхронным фреймворком 🤪😱
Уже сейчас стали доступны асинхронные вьюшки, и middleware. ORM пока по-прежнему остаётся синхронной балалайкой, но придуман хак в виде декоратора sync_to_async.
В общем, кому интересно — велком на тесты.
P.S. Чтобы ощутить полноценный асинхронный перформ от Django, приложение необходимо запускать через asgi-совместимый веб-сервер, например, uvicorn
Почему это важно? Потому что начиная с 3.1 Django также можно считать асинхронным фреймворком 🤪😱
Уже сейчас стали доступны асинхронные вьюшки, и middleware. ORM пока по-прежнему остаётся синхронной балалайкой, но придуман хак в виде декоратора sync_to_async.
В общем, кому интересно — велком на тесты.
P.S. Чтобы ощутить полноценный асинхронный перформ от Django, приложение необходимо запускать через asgi-совместимый веб-сервер, например, uvicorn
Очередная порция докладов с PyCon US 2020:
— Why is Python slow?
— Deploying Python at Scale with Dask
— Bridging Data Science and Data Infrastructure with Apache Airflow
— NVIDIA: GPU-Accelerated Data Analytics in Python
— Why is Python slow?
— Deploying Python at Scale with Dask
— Bridging Data Science and Data Infrastructure with Apache Airflow
— NVIDIA: GPU-Accelerated Data Analytics in Python
YouTube
Talk: Anthony Shaw - Why is Python slow?
Presented by:
Anthony Shaw
When Python completes a comparable application 2–10x slower than another language, why is it slow, and can’t we make it faster?
In this talk, we’re going to explore different theories to understand what makes Python slow, what…
Anthony Shaw
When Python completes a comparable application 2–10x slower than another language, why is it slow, and can’t we make it faster?
In this talk, we’re going to explore different theories to understand what makes Python slow, what…
DataCamp дают бесплатный доступ ко всем их материалам на 1 неделю, с 15 по 22 мая — https://bit.ly/2Z670Sb
Сам периодически прохожу там курсы, очень доволен.
Сам периодически прохожу там курсы, очень доволен.
Datacamp
DataCamp Sale 2023 | DataCamp Promo & Discount
Get the latest DataCamp promos and discounts for 2023. Take advantage of our latest sales and discounts to learn data science today, no promo codes needed.
Автор библиотеки spaCy, Инес, записала свой курс и выложила на ютубе бесплатно https://youtu.be/THduWAnG97k
YouTube
Advanced NLP with spaCy · A free online course
INTERACTIVE COURSE: https://course.spacy.io/en/
spaCy is a modern Python library for industrial-strength Natural Language Processing. In this free and interactive online course, you'll learn how to use spaCy to build advanced natural language understanding…
spaCy is a modern Python library for industrial-strength Natural Language Processing. In this free and interactive online course, you'll learn how to use spaCy to build advanced natural language understanding…
Совсем забыл. Не так давно писал пост про оконные функции SQL. Рассмотрел далеко не все функции, но постарался основную идею передать, надеюсь, что мне это удалось 🍀
Ссылка на пост: https://khashtamov.com/ru/window-functions-sql/
Ссылка на пост: https://khashtamov.com/ru/window-functions-sql/
Khashtamov
Оконные функции SQL
Оконные функции SQL это, пожалуй, самая мистическая часть SQL для многих веб-разработчиков. Нередко встретишь и тех, кто и вовсе никогда о них не слышал. Да что греха таить, я сам продолжительное вре…
У ребят из Jetbrains на канале появилось интересное видео про создание микросервиса на Go в среде разработки GoLand: https://youtu.be/arZiFSerU1k
YouTube
Build a Microservice with Go and GoLand
How fast can you build a microservice in Go? 1 week? 1 day? 1 hour? In this webinar, we start from scratch, build a #microservice that connects to a PostgreSQL database, and then is deployed in a Kubernetes cluster.
We use GoLand IDE, the dedicated Go IDE…
We use GoLand IDE, the dedicated Go IDE…
Forwarded from DataEng
Window_Functions_Cheat_Sheet.pdf
116.5 KB
крутой cheatsheet по оконным функциям SQL 😎
Если вам кажется, что вы достигли потолка в SQL, то вот вам пост с интересным материалом по Advanced SQL: www.neilwithdata.com/advanced-sql
Neilwithdata
Advanced SQL and database books and resources | Neil Sainsbury
Полезный пост-шпаргалка от Хинека про asyncio и переключения корутин: https://hynek.me/articles/waiting-in-asyncio/
Hynek Schlawack
Waiting in asyncio
One of the main appeals of using Python’s asyncio is being able to fire off many coroutines and run them concurrently. How many ways do you know for waiting for their results?
Dave Beazley (dabeaz) выложил в открытый доступ свой курс Practical Python: https://bit.ly/2BgQ41t
practical-python
Welcome!
Practical Python Programming (course by @dabeaz)
Сборник классных ресурсов для изучения computer science: https://teachyourselfcs.com/
Teachyourselfcs
Teach Yourself Computer Science
All the resources you need to give yourself a world class computer science education
Бессмертная презентация от Джошуа Блоха: How To Design A Good API and Why it Matters: https://www.youtube.com/watch?v=aAb7hSCtvGw
YouTube
How To Design A Good API and Why it Matters
Google Tech Talks
January 24, 2007
ABSTRACT
Every day around the world, software developers spend much of their time working with a variety of Application Programming Interfaces (APIs). Some are integral to the core platform, some provide access to widely…
January 24, 2007
ABSTRACT
Every day around the world, software developers spend much of their time working with a variety of Application Programming Interfaces (APIs). Some are integral to the core platform, some provide access to widely…
Forwarded from DataEng
Состоялся мажорный выпуск новой версии ETL инструмента Luigi - luigi 3.0. Из глобальных изменений там только отказ от поддержки Python2 по понятным причинам. Из новых фишечек добавили лишь более удобную визуализацию статуса работы воркера (при условии, что вы обновляете прогресс).
Для тех, кто не знаком с инструментом, велком почитать мой старый пост: Строим Data Pipeline на Python и Luigi.
Несколько месяцев назад я закончил создание курса про построение дата-пайплайнов на Luigi, он находится на платформе stepik: Введение в Data Engineering: дата-пайплайны. Его купили уже более 50 специалистов, отзывы о курсе можно почитать тут
Для тех, кто не знаком с инструментом, велком почитать мой старый пост: Строим Data Pipeline на Python и Luigi.
Несколько месяцев назад я закончил создание курса про построение дата-пайплайнов на Luigi, он находится на платформе stepik: Введение в Data Engineering: дата-пайплайны. Его купили уже более 50 специалистов, отзывы о курсе можно почитать тут
GitHub
Release 3.0.0 · spotify/luigi
3.0.0
This is a major release without many feature changes compared to 2.8.13. The reason we decided to give it a major bump is the drop of Python2 support. From this version on, Luigi stops suppor...
This is a major release without many feature changes compared to 2.8.13. The reason we decided to give it a major bump is the drop of Python2 support. From this version on, Luigi stops suppor...