== Simulating Amplitude Modulation using Python
https://medium.com/@nabanita.sarkar/simulating-amplitude-modulation-using-python-6ed03eb4e712

== Python: Amplitude Modulation with NumPy
https://scialicia.com/2018/03/python-amplitude-modulation-with-numpy/

== Распределенный SQL: альтернатива шардированию баз данных
https://habr.com/ru/companies/ruvds/articles/714322/

== Жарим TOAST в PostgreSQL
https://habr.com/ru/companies/postgrespro/articles/710104/

== What is a Reverse Proxy vs. Load Balancer?
https://www.nginx.com/resources/glossary/reverse-proxy-vs-load-balancer/

== CTE. Обобщенное табличное выражение SQL и способы его использования
https://telegra.ph/CTE-Obobshchennoe-tablichnoe-vyrazhenie-SQL-i-sposoby-ego-ispolzovaniya-02-19

иногда один день бывает куда продуктивней полугодий

я за сегодняшний выходной успел дофига
1) почистил вкладки - из 1.5к вкладок, открытых по разным причинам выкинул почти все и оставил только 400, которые в ближайшие недели разберу и оставлю около 100. хочу промолчать, правда, сколько скопилось статей в pocket и видео ютюба в плэйлисте "watch later" но вцелом, смысла висеть этим вкладкам в памяти нет никакого (у мня файрфокс, и оно не жрет память, только напрягает уже визуально просто). вцелом даже такая куча всего для меня не была проблемой, значительно больше перевариваю за пол года. но тут накопилось то что уже пораждалось прочиткой и просто появлялось в рекомандациях. но из 6 открытых окон браузера остались только 3, в каждом уже счетное количество. становится удобней

2) закончил несколько плейлиство с курсами, которые давно висели

3) собрал план на доклад по ембеддингам и обработке текста для работы с ИИ

4) сел наконец за бота для векторной базы данных и семантическому поиску по своей БД

5) разобрал кучу накопившегося хлама на столах

6) собрал небольшой столик для ноута, который теперь будет всегда рядом (пятый монитор, епта)

7) перебрал вещи, и отложил то чем уже не буду пользоваться. и надо передать как то отцу, ему нужней

8) не обошлось без проблем, чот слайсер принтера начал городить какую то хрень. удивлен прям доневозможности. новое обновление принесло страдания какие то не понятные. не ожидал совсем таких багов. даже на самой картинке на предпросмотре видно дичь

Я вам говорю, скоро он их обоих подожмёт

Docker 4.19 теперь поддерживает python в docker init

docker init - это утилита, которая упрощает добавление docker в проект. Она просто пробежит по вопросам, спросит версию проекта, какой командой он запускается и сгенерирует Dockerfile и compose-файл.

Мелочь, а приятно :)

#docker

Попался на глаза отличный перевод статьи "Writing Python like it's Rust", который скорее говорит о возможностях аннотаций типов и структур которые их используют (и еще немного про контекстные менеджеры).

Очень много примеров и очень много полезных советов :)

#статья #хабр

🔥 13 Django Packages to Every Developer Must Install

13 маст хэв пакетов Django, которые установить каждый разработчик.

1. Django Debug Toolbar

Этот мощный пакет предоставляет визуальный интерфейс для отладки, который выводит подробную информацию о SQL-запросах и их показателях производительности.
pip install django-debug-toolbar

2. Django Rest Framework

Этот комплексный пакет упрощает создание RESTful API, предоставляя надежные инструменты для сериализации, аутентификации и тд.
pip install djangorestframework

3. Celery

Это распределенная асинхронная очередь заданий, которая обладает широким функционалом. В нашем конструкторе сайтов нам часто приходиться запускать асинхронные с точки зрения ответа пользователю задачи.

pip install celery

4. Django-Crispy-Forms

Этот удобный инструмент упрощает процесс рендеринга и стилизации форм.
pip install django-crispy-forms

5. Django-Cache

Этот пакет позволяет хранить часто используемые данные в памяти, уменьшая количество повторяющихся запросов к базе данных.
pip install django-cache

6. Django Allauth

Этот пакет предлагает комплексные функции регистрации пользователей, входа в систему и управления учетными записями.
pip install django-allauth

10. Django Guardian

Этот пакет позволяет вам управлять разрешениями на уровне объектов, позволяя определять контроль доступа для отдельных экземпляров моделей.
pip install django-guardian

11. Django Storages

Этот пакет интегрируется с популярными провайдерами облачных хранилищ, такими как Amazon S3 и Google Cloud Storage.
pip install django-storages

12. Django Compressor

Этот пакет автоматически объединяет и сжимает файлы CSS и JavaScript, уменьшая количество HTTP-запросов и улучшая время загрузки страниц.
pip install django-compressor

13. Django Haystack

Этот пакет интегрирует различные поисковые системы, такие как Elasticsearch и Solr, позволяя вам создать надежные поисковые возможности для вашего приложения.
pip install django-haystack

@pythonl

Как раз сегодня искал фреимворк для организации работы консьюмера RabbitMQ и на глаза попался Propan - декларативный фреимворк для работы с очередями сообщений.

Для чего это нужно? На базе очередей можно построить асинхронную коммуникацию сервисов, а это привет микросервисной архитектуре!

Для сравнения, вот столько кода нам нужно написать, чтобы сделать консьюмер при помощи aio_pika:

import asyncio
import aio_pika
async def main():
    connection = await aio_pika.connect_robust(
        "amqp://guest:guest@127.0.0.1/"
    )
    queue_name = "test_queue"
    async with connection:
        channel = await connection.channel()
        queue = await channel.declare_queue(queue_name)
        async with queue.iterator() as queue_iter:
            async for message in queue_iter:
                async with message.process():
                    print(message.body)
asyncio.run(main())

А вот столько с Propan:

from propan import PropanApp, RabbitBroker
broker = RabbitBroker("amqp://guest:guest@localhost:5672/")
app = PropanApp(broker)
@broker.handle("test_queue")
async def base_handler(body):
    print(body)

Чистый кайф, не правда ли? Выглядит просто и понятно.

Что ещё умеет?
1) Кастить типы сообщений в модельки при помощи Pydantic.
2) Умеет работать с зависимостями (привет DI)
3) Имеет CLI утилитку, которая поможет сгенерировать проект, запустить несколько процессов воркеров, запустить хот-релоад для разработки.
4) А ещё есть огромное количество примеров, как им пользоваться.
5) Бонус - похоже у автора в планах прикрутить AsyncAPI (это как OpenAPI, только для очередей).

На данный момент стабильно работает с RabbitMQ, Redis и Nats. Kafka и SQS в бете, а NatsJs, MQTT, Redis Streams и Pulsar в планах.
Ну и накиньте звёзд автору, выглядит как то, что в будущем выстрелит :)

Github | Документация

#библиотека

эх. где оно было раньше ? не мучался бы (
только сейчас ведь стал популярным этот пакет.

при работе с очередями такая простота и декларативность единственно верная. я бы выкинул свою обертку над всем этим. спасает лишь то что по идее мою обертку очень не сложно переписать на это. однако это чисто асинхронное

== Распространенные ошибки SQL в хранимых процедурах и запросах
https://telegra.ph/Rasprostranennye-oshibki-SQL-v-hranimyh-procedurah-i-zaprosah-02-17

== HMAC (Hash-Based Message Authentication Codes) Definition
https://www.okta.com/identity-101/hmac/#:~:text=Hash%2Dbased%20message%20authentication%20code,use%20signatures%20and%20asymmetric%20cryptography.

не знал даже про то что есть SSI
и не знал из чего он складывается
...пс ...эй чатгпт, ну ка пошли генерировать активность

== Improve your LINKED-IN

- Что такое LinkedIn SSI и зачем его прокачивать? https://habr.com/ru/articles/725084/
- Посмотреть свой SSI: https://www.linkedin.com/sales/ssi
- Алгоритмы LinkedIn 2023 в одной инфографике
- Как заполнить LinkedIn, чтобы тебя заметили | 6 категорий ключевых слов: https://lnkd.in/eKa7sZXc
- Оформление профилей в linkedin для разных стран: https://lnkd.in/eZXacP2Y
- Поиск на LinkedIn глазами рекрутера: https://lnkd.in/eP326cDB
- Jobscan. Сканирование и оптимизация профиля: https://lnkd.in/edRmBh58
- Руководство по оформлению профиля в LinkedIn: примеры и лайфхаки: https://lnkd.in/ejr5wEYq
- Пошаговая инструкция по аутричу через LinkedIn: https://lnkd.in/eNG3bm6T

== Все способы поиска работы за рубежом. Как рекрутеры ищут новых сотрудников
https://www.youtube.com/watch?v=IfiFeTGNDC8

== Как получать в х36 раз больше сообщений от рекрутеров с правильным фото профиля?
https://youtu.be/X_cBsOeolXE

достойный разбор промптов под конкретную задачу. ничего сложного, но как обычно детали...

немного коснулся про память и контекст, размеры токенов, символы и даже чуть задел эмбединги и зачем они нужны для такого рода задач

== ИИ играет в мафию
https://youtu.be/jAHsLJLGfyM

когда то давно смотрел курс по сетям от этого преподавателя. было все понятно. сейчас готовясь к докладу решил быстренько найти пару курсов, что бы напомнить себе все, что и так использую. вцелом он и эту нормально объясняет

все примеры простые и быстро воспроизводимые. на питоне

== Обработка естественного языка
https://youtube.com/playlist?list=PLtPJ9lKvJ4ohZpMV9Ml-DPtMSXPFNl6Sz
- Введение в обработку естественного языка
- Решаем задачи NLP с помощью Hugging Face
- Выбор модели в Hugging Face
- Что внутри пайплайна обработки текста?
- Почему обрабатывать текст сложно?
- Графематический анализ
- Как разбить русский текст на токены
- Морфологический анализ
- Библиотеки морфологического анализа
- Синтаксический анализ
- Синтаксический анализ на Python
- Предварительная обработка текста
- Готовим русский текст для обработки на Python
- Векторизация текста: простые методы
- Векторизация русского текста на Python
- Word embeddings для векторизации текста
- Предварительно обученные word embeddings
- Обучение модели Word2Vec
- Классификация текста
- Определение тональности текста c помощью мешка слов
- Плотные векторные представления слов для определение тональности
- Нейронные сети для обработки текста

неплохие курсы по МЛ и ДЛ

== Базовый поток Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Th84kETSlJq_ja-xqLtWov1
- Семинар. Введение в язык Python. Часть 1
- Семинар. Введение в язык Python. Часть 2
- Семинар. Введение в язык Python. Часть 3
- Линейная алгебра для Data Science. Часть 1. Векторы
- Линейная алгебра для Data Science. Часть 2. Матрицы
- Линейная алгебра для Data Science. Часть 3. Операции над матрицами
- Линейная алгебра для Data Science. Часть 4. Линейные операторы
- Семинар. Библиотека Numpy
- Семинар. Библиотека Pandas
- Лекция. Понятие производной
- Лекция. Вычисление производной. Градиент
- Лекция. Градиентная оптимизация
- Лекция 1. Введение в машинное обучение.
- Семинар 1. Введение в машинное обучение.
- Лекция 2.1: Линейная регрессия.
- Лекция 2.2: LogLoss.
- Лекция. Логистическая регрессия
- Лекция. Градиентный спуск в линейных алгоритмах
- Лекция. Регуляризация в линейной регрессии
- Лекция 2.6: Нормализация.
- Семинар. Линейная и логистическая регрессия
- Семинар. Регуляризация в линейной регрессии
- Метрики машинного обучения
- Лекция. Решающие деревья
- Лекция. Композиции алгоритмов
- Лекция. Градиентный бустинг
- Семинар. Model Selection
- Введение в нейронные сети. Часть 1. История развития Deep Learning
- Введение в нейронные сети. Часть 2. Механизм обратного распространения ошибки
- Лекция. Полносвязная нейронная сеть
- Введение в нейронные сети. Часть 3. Функции активации. Краткий обзор применений CNN и RNN
- Семинар. Введение в библиотеку Pytorch
- Семинар. Нейронная сеть на Pytorch
- Лекция. История развития сверточных нейронных сетей
- Лекция. Сверточные нейронные сети
- Лекция. Пулинг. Операция пулинга
- Лекция. Задачи компьютерного зрения
- Семинар. Модули в PyTorch
- Семинар. Свёртка. Пулинг
- Семинар. Свёрточные сети.
- Лекция. Градиентная оптимизация в Deep Learning
- Лекция. Регуляризация в Deep Learning
- Семинар. PyTorch. Batch Normalization и Dropout
- Семинар. PyTorch. Оптимизаторы
- Лекция. Архитектуры CNN
- Лекция. Transfer Learning
Семинар. Transfer Learning в компьютерном зрении
- Семантическая сегментация. Введение
- Семантическая сегментация. Трюки: Deconvolution, Dilated Convolution
- Семантическая сегментация. Архитектура UNet


== Вторая часть курса Deep Learning School
https://youtube.com/playlist?list=PL0Ks75aof3Thqc-u9CX5CLkMC77T2r322

- Лекция. Введение в NLP.
- Семинар. Обработка текста.
- Семинар. Решение задачи классификации текста
- Лекция. Embeddings.
- Семинар. Word2Vec.
- Лекция. Рекуррентные нейронные сети
- Семинар. Рекуррентные нейронные сети
- Лекция. Языковые модели. Введение. Частотный подход
- Семинар. Языковые модели
- Лекция. Seq2Seq, машинный перевод.
- Семинар. Seq2Seq
- Лекция. Трансформеры. Self-Attention
- Лекция. Трансформеры. Positional Encoding, Decoder side, Training
- Семинар. Трансформеры
- Лекция. Elmo, GPT, BERT
- Семинар. GPT
- Лекция. Summarization
- Семинар. Summarization