Как раз сегодня искал фреимворк для организации работы консьюмера RabbitMQ и на глаза попался Propan - декларативный фреимворк для работы с очередями сообщений.

Для чего это нужно? На базе очередей можно построить асинхронную коммуникацию сервисов, а это привет микросервисной архитектуре!

Для сравнения, вот столько кода нам нужно написать, чтобы сделать консьюмер при помощи aio_pika:

import asyncio
import aio_pika
async def main():
    connection = await aio_pika.connect_robust(
        "amqp://guest:guest@127.0.0.1/"
    )
    queue_name = "test_queue"
    async with connection:
        channel = await connection.channel()
        queue = await channel.declare_queue(queue_name)
        async with queue.iterator() as queue_iter:
            async for message in queue_iter:
                async with message.process():
                    print(message.body)
asyncio.run(main())

А вот столько с Propan:

from propan import PropanApp, RabbitBroker
broker = RabbitBroker("amqp://guest:guest@localhost:5672/")
app = PropanApp(broker)
@broker.handle("test_queue")
async def base_handler(body):
    print(body)

Чистый кайф, не правда ли? Выглядит просто и понятно.

Что ещё умеет?
1) Кастить типы сообщений в модельки при помощи Pydantic.
2) Умеет работать с зависимостями (привет DI)
3) Имеет CLI утилитку, которая поможет сгенерировать проект, запустить несколько процессов воркеров, запустить хот-релоад для разработки.
4) А ещё есть огромное количество примеров, как им пользоваться.
5) Бонус - похоже у автора в планах прикрутить AsyncAPI (это как OpenAPI, только для очередей).

На данный момент стабильно работает с RabbitMQ, Redis и Nats. Kafka и SQS в бете, а NatsJs, MQTT, Redis Streams и Pulsar в планах.
Ну и накиньте звёзд автору, выглядит как то, что в будущем выстрелит :)

Github | Документация

#библиотека

эх. где оно было раньше ? не мучался бы (
только сейчас ведь стал популярным этот пакет.

при работе с очередями такая простота и декларативность единственно верная. я бы выкинул свою обертку над всем этим. спасает лишь то что по идее мою обертку очень не сложно переписать на это. однако это чисто асинхронное

== Распространенные ошибки SQL в хранимых процедурах и запросах
https://telegra.ph/Rasprostranennye-oshibki-SQL-v-hranimyh-procedurah-i-zaprosah-02-17

== HMAC (Hash-Based Message Authentication Codes) Definition
https://www.okta.com/identity-101/hmac/#:~:text=Hash%2Dbased%20message%20authentication%20code,use%20signatures%20and%20asymmetric%20cryptography.

не знал даже про то что есть SSI
и не знал из чего он складывается
...пс ...эй чатгпт, ну ка пошли генерировать активность

== Improve your LINKED-IN

- Что такое LinkedIn SSI и зачем его прокачивать? https://habr.com/ru/articles/725084/
- Посмотреть свой SSI: https://www.linkedin.com/sales/ssi
- Алгоритмы LinkedIn 2023 в одной инфографике
- Как заполнить LinkedIn, чтобы тебя заметили | 6 категорий ключевых слов: https://lnkd.in/eKa7sZXc
- Оформление профилей в linkedin для разных стран: https://lnkd.in/eZXacP2Y
- Поиск на LinkedIn глазами рекрутера: https://lnkd.in/eP326cDB
- Jobscan. Сканирование и оптимизация профиля: https://lnkd.in/edRmBh58
- Руководство по оформлению профиля в LinkedIn: примеры и лайфхаки: https://lnkd.in/ejr5wEYq
- Пошаговая инструкция по аутричу через LinkedIn: https://lnkd.in/eNG3bm6T

== Все способы поиска работы за рубежом. Как рекрутеры ищут новых сотрудников
https://www.youtube.com/watch?v=IfiFeTGNDC8

== Как получать в х36 раз больше сообщений от рекрутеров с правильным фото профиля?
https://youtu.be/X_cBsOeolXE

достойный разбор промптов под конкретную задачу. ничего сложного, но как обычно детали...

немного коснулся про память и контекст, размеры токенов, символы и даже чуть задел эмбединги и зачем они нужны для такого рода задач

== ИИ играет в мафию
https://youtu.be/jAHsLJLGfyM

когда то давно смотрел курс по сетям от этого преподавателя. было все понятно. сейчас готовясь к докладу решил быстренько найти пару курсов, что бы напомнить себе все, что и так использую. вцелом он и эту нормально объясняет

все примеры простые и быстро воспроизводимые. на питоне

== Обработка естественного языка
https://youtube.com/playlist?list=PLtPJ9lKvJ4ohZpMV9Ml-DPtMSXPFNl6Sz
- Введение в обработку естественного языка
- Решаем задачи NLP с помощью Hugging Face
- Выбор модели в Hugging Face
- Что внутри пайплайна обработки текста?
- Почему обрабатывать текст сложно?
- Графематический анализ
- Как разбить русский текст на токены
- Морфологический анализ
- Библиотеки морфологического анализа
- Синтаксический анализ
- Синтаксический анализ на Python
- Предварительная обработка текста
- Готовим русский текст для обработки на Python
- Векторизация текста: простые методы
- Векторизация русского текста на Python
- Word embeddings для векторизации текста
- Предварительно обученные word embeddings
- Обучение модели Word2Vec
- Классификация текста
- Определение тональности текста c помощью мешка слов
- Плотные векторные представления слов для определение тональности
- Нейронные сети для обработки текста

неплохие курсы по МЛ и ДЛ

== Базовый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Th84kETSlJq_ja-xqLtWov1
- Семинар. Введение в язык Python. Часть 1
- Семинар. Введение в язык Python. Часть 2
- Семинар. Введение в язык Python. Часть 3
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
- Семинар. Библиотека Numpy
- Семинар. Библиотека Pandas
- Лекция. Понятие производной
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet


== Вторая часть курса Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Thqc-u9CX5CLkMC77T2r322

- Лекция. Введение в NLP.
- Семинар. Обработка текста.
- Семинар. Решение задачи классификации текста
- Лекция. Embeddings.
- Семинар. Word2Vec.
- Лекция. Рекуррентные нейронные сети
- Семинар. Рекуррентные нейронные сети
- Лекция. Языковые модели. Введение. Частотный подход
- Семинар. Языковые модели
- Лекция. Seq2Seq, машинный перевод.
- Семинар. Seq2Seq
- Лекция. Трансформеры. Self-Attention
- Лекция. Трансформеры. Positional Encoding, Decoder side, Training
- Семинар. Трансформеры
- Лекция. Elmo, GPT, BERT
- Семинар. GPT
- Лекция. Summarization
- Семинар. Summarization

== Продвинутый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Tiru-UvOvYmXzD1tU0NrR8V
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
Deep Learning School
- Семинар. Библиотека Numpy
Deep Learning School
- Семинар. Библиотека Pandas
Deep Learning School
- Лекция. Понятие производной
Deep Learning School
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
Deep Learning School
- 1. Введение в ИИ и нейронные сети: лекция (20.09.19)
Deep Learning School
- Вводный вебинар к началу курса Deep Learning
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
Deep Learning School
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
- Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet
- Лекция. Нейронная детекция объектов. Классификация (повторение).
- Лекция. Нейронная детекция объектов. Основы.
- Лекция. Нейронная детекция объектов. Двухстадийные нейросети.
- Лекция. Нейронная детекция объектов. Одностадийные нейросети.
- Лекция. Нейронная детекция объектов. Современные подходы и задачи.
- Практика. Нейронная детекция объектов. Запуск SSD, TorchHub.
- Практика. Нейронная детекция объектов. Обучение SSD, mmdetection.
- Лекция. Генеративные модели, автоэнкодеры
- Семинар. Автоэнкодеры
- Семинар. VAE
- Лекция. Генеративные модели. Генеративно-состязательные сети
- Семинар. Генеративные модели. Генеративно-состязательные сети

== Как применять оконные функции в SQL и Pandas
https://youtu.be/yQ7qHZBY5xI

удивительная картина мне открылась. ребята делая аудит проекта не задают никаких вопросов. получив доступы к бд и куберу молчат. и даже арихтектурной документации не запросили

трогая в темноте то за хобот то за ногу разве можно собрать жирафа ?

лайфхак для поднятия английского прямо на рабочем месте, залезть в линкед ин и наставить себе митов с сэйлами разных услуг. задавать вопросы, вовлекаться, общаться и получать новую инфу. бесплатно. главное написать что ты CTO в линкеде. и они тебя сами найдут и будут мусолить и отбивать твои пороги сами. и проситься и говорить что очень интересные возможнсти мы придлогаем, только у нас.... и как обычно на выходе "летс кип и тач..."

сокращение дня

"безоп" специалист по безопасности 😭

Селф-хостед Pinecone. можно работать с OpenAI а можно подрубить другие эмбеддинги, свою развернутую лямбду или еще чтото. апишка питоновская. удобно. короч надо крутить и пробовать

спасибо Александру за наводку

== LangChain
https://python.langchain.com/docs/get_started/introduction.html

Создание временных файлов

В процессе написания скрипта может потребоваться создание временных файлов, которые будут удалены автоматически после завершения работы скрипта или обработки файла.
Это может быть полезно по разным причинам - при обработке больших данных (которые не вместятся в буфер) или при проведении сложных операций (например, можно создать временный файл и натравить на него ffmpeg).

Для решения этих проблем в Python есть модуль tempfile. Нас интересует 2 функции - это TemporaryFile и NamedTemporaryFile.

TemporaryFile позволяет создать безымянный временный файл. Вот так можно создать временный текстовой файл, открыть его на запись и чтение (за это отвечает первый аргумент "w+t", подробнее можно прочитать здесь):

from tempfile import TemporaryFile
with TemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  t.seek(0)
  data = t.read()

NamedTemporaryFile используется для более продвинутых сценариев, так как он создает файл с именем, поэтому мы можем получить путь к нему и использовать его для дальнейших целей:

from tempfile import 

NamedTemporaryFile


with NamedTemporaryFile("w+t") as t:
  t.write("Hello, boxwithpython!")
  print(t.name) # /tmp/tmpljhsktjt

#std

просто гениальнейший сервис
если накипело - самое оно

== Angry email translator
https://angryemailtranslator.com/