== RLHF Intro: from Zero to Aligned Intelligent Systems
https://youtu.be/N1AcqGVR_mE
https://youtu.be/N1AcqGVR_mE
YouTube
Игорь Котенков - RLHF Intro: from Zero to Aligned Intelligent Systems
- A story about Text Summarization
- What the Alignment is, and what's the problem?
- How RLHF works
- Data setup, and why we'd like to follow instructions
- Reward Modeling and PPO
- Why RLHF works (and when it doesn't)
- ChatGPT improvements
- What's…
- What the Alignment is, and what's the problem?
- How RLHF works
- Data setup, and why we'd like to follow instructions
- Reward Modeling and PPO
- Why RLHF works (and when it doesn't)
- ChatGPT improvements
- What's…
== Заметки дата-инженера: интеграция Kafka и PySpark
https://habr.com/ru/companies/neoflex/articles/686242/
https://habr.com/ru/companies/neoflex/articles/686242/
Хабр
Заметки дата-инженера: интеграция Kafka и PySpark
Данная статья будет полезна тем, чья деятельность связана с Data Engineering, и тем, кто только знакомится с этой славной профессией. Вы узнаете про особенности настройки и интеграции Kafka со...
большой ресурс по всему что касается управления памятью, колекторами памяти и прочему
https://www.memorymanagement.org/index.html
https://www.memorymanagement.org/index.html
❤1
== Combining Coroutines with Threads and Processes
https://pymotw.com/3/asyncio/executors.html
https://pymotw.com/3/asyncio/executors.html
Pymotw
Combining Coroutines with Threads and Processes
== The Essential Django Deployment Guide
https://www.saaspegasus.com/guides/django-deployment/
Where we're headed
The components of a production Django application
Choosing your deployment architecture
VPS-based deployments
PaaS-based deployments
Choosing between a VPS and PaaS
Choosing a hosting company
Choosing a Django PaaS Provider
Choosing a Django VPS Provider
Figuring out your supporting infrastructure
Recommended supporting infrastructure on a PaaS
Web server
Django
Database
Static Files
Considerations if deploying on a VPS
The other details that matter
Build and release commands
Managing settings and secrets
Security
Monitoring
Backups
Considerations for a VPS
https://www.saaspegasus.com/guides/django-deployment/
Where we're headed
The components of a production Django application
Choosing your deployment architecture
VPS-based deployments
PaaS-based deployments
Choosing between a VPS and PaaS
Choosing a hosting company
Choosing a Django PaaS Provider
Choosing a Django VPS Provider
Figuring out your supporting infrastructure
Recommended supporting infrastructure on a PaaS
Web server
Django
Database
Static Files
Considerations if deploying on a VPS
The other details that matter
Build and release commands
Managing settings and secrets
Security
Monitoring
Backups
Considerations for a VPS
SaaS Pegasus
The Essential Django Deployment Guide
From choosing between a PaaS or VPS, where to host, and how to configure your app, here's everything you need to know to get your Django project into production.
== Simulating Amplitude Modulation using Python
https://medium.com/@nabanita.sarkar/simulating-amplitude-modulation-using-python-6ed03eb4e712
== Python: Amplitude Modulation with NumPy
https://scialicia.com/2018/03/python-amplitude-modulation-with-numpy/
https://medium.com/@nabanita.sarkar/simulating-amplitude-modulation-using-python-6ed03eb4e712
== Python: Amplitude Modulation with NumPy
https://scialicia.com/2018/03/python-amplitude-modulation-with-numpy/
Medium
Simulating Amplitude Modulation using Python
In communication labs in our colleges we all generate amplitude modulated signals using CROs. But the same can be performed by using…
== Распределенный SQL: альтернатива шардированию баз данных
https://habr.com/ru/companies/ruvds/articles/714322/
https://habr.com/ru/companies/ruvds/articles/714322/
Хабр
Распределенный SQL: альтернатива шардированию баз данных
Шардирование баз данных – это процесс разделения данных на меньшие части, называемые «шарды». Эта техника обычно используется, когда возникает потребность в масштабировании записей. В течение...
== Жарим TOAST в PostgreSQL
https://habr.com/ru/companies/postgrespro/articles/710104/
https://habr.com/ru/companies/postgrespro/articles/710104/
Хабр
Жарим TOAST в PostgreSQL
У нас не подгорит! В этой статье мы разберем, как PostgreSQL хранит большие (длинные) значения колонок, рассмотрим некоторые связанные с этим особенности и проблемы СУБД и предложим способы решения...
== What is a Reverse Proxy vs. Load Balancer?
https://www.nginx.com/resources/glossary/reverse-proxy-vs-load-balancer/
https://www.nginx.com/resources/glossary/reverse-proxy-vs-load-balancer/
F5, Inc.
What Is a Reverse Proxy?
Learn what a reverse proxy does and how to use them to optimize network performance and web app security in cloud-native, private or hybrid environments.
== CTE. Обобщенное табличное выражение SQL и способы его использования
https://telegra.ph/CTE-Obobshchennoe-tablichnoe-vyrazhenie-SQL-i-sposoby-ego-ispolzovaniya-02-19
https://telegra.ph/CTE-Obobshchennoe-tablichnoe-vyrazhenie-SQL-i-sposoby-ego-ispolzovaniya-02-19
Telegraph
CTE. Обобщенное табличное выражение SQL и способы его использования
CTE, или Common Table Expressions — один из видов запросов в системах управления базами данных. На русском языке они называются обобщенными табличными выражениями. Результаты табличных выражений можно временно сохранять в памяти и обращаться к ним повторно.…
иногда один день бывает куда продуктивней полугодий
я за сегодняшний выходной успел дофига
1) почистил вкладки - из 1.5к вкладок, открытых по разным причинам выкинул почти все и оставил только 400, которые в ближайшие недели разберу и оставлю около 100. хочу промолчать, правда, сколько скопилось статей в pocket и видео ютюба в плэйлисте "watch later" но вцелом, смысла висеть этим вкладкам в памяти нет никакого (у мня файрфокс, и оно не жрет память, только напрягает уже визуально просто). вцелом даже такая куча всего для меня не была проблемой, значительно больше перевариваю за пол года. но тут накопилось то что уже пораждалось прочиткой и просто появлялось в рекомандациях. но из 6 открытых окон браузера остались только 3, в каждом уже счетное количество. становится удобней
2) закончил несколько плейлиство с курсами, которые давно висели
3) собрал план на доклад по ембеддингам и обработке текста для работы с ИИ
4) сел наконец за бота для векторной базы данных и семантическому поиску по своей БД
5) разобрал кучу накопившегося хлама на столах
6) собрал небольшой столик для ноута, который теперь будет всегда рядом (пятый монитор, епта)
7) перебрал вещи, и отложил то чем уже не буду пользоваться. и надо передать как то отцу, ему нужней
8) не обошлось без проблем, чот слайсер принтера начал городить какую то хрень. удивлен прям доневозможности. новое обновление принесло страдания какие то не понятные. не ожидал совсем таких багов. даже на самой картинке на предпросмотре видно дичь
я за сегодняшний выходной успел дофига
1) почистил вкладки - из 1.5к вкладок, открытых по разным причинам выкинул почти все и оставил только 400, которые в ближайшие недели разберу и оставлю около 100. хочу промолчать, правда, сколько скопилось статей в pocket и видео ютюба в плэйлисте "watch later" но вцелом, смысла висеть этим вкладкам в памяти нет никакого (у мня файрфокс, и оно не жрет память, только напрягает уже визуально просто). вцелом даже такая куча всего для меня не была проблемой, значительно больше перевариваю за пол года. но тут накопилось то что уже пораждалось прочиткой и просто появлялось в рекомандациях. но из 6 открытых окон браузера остались только 3, в каждом уже счетное количество. становится удобней
2) закончил несколько плейлиство с курсами, которые давно висели
3) собрал план на доклад по ембеддингам и обработке текста для работы с ИИ
4) сел наконец за бота для векторной базы данных и семантическому поиску по своей БД
5) разобрал кучу накопившегося хлама на столах
6) собрал небольшой столик для ноута, который теперь будет всегда рядом (пятый монитор, епта)
7) перебрал вещи, и отложил то чем уже не буду пользоваться. и надо передать как то отцу, ему нужней
8) не обошлось без проблем, чот слайсер принтера начал городить какую то хрень. удивлен прям доневозможности. новое обновление принесло страдания какие то не понятные. не ожидал совсем таких багов. даже на самой картинке на предпросмотре видно дичь
🔥1
Forwarded from Коробка с питоном
Docker 4.19 теперь поддерживает python в docker init
docker init - это утилита, которая упрощает добавление docker в проект. Она просто пробежит по вопросам, спросит версию проекта, какой командой он запускается и сгенерирует Dockerfile и compose-файл.
Мелочь, а приятно :)
#docker
docker init - это утилита, которая упрощает добавление docker в проект. Она просто пробежит по вопросам, спросит версию проекта, какой командой он запускается и сгенерирует Dockerfile и compose-файл.
Мелочь, а приятно :)
#docker
Docker Documentation
docker init
Forwarded from Коробка с питоном
Попался на глаза отличный перевод статьи "Writing Python like it's Rust", который скорее говорит о возможностях аннотаций типов и структур которые их используют (и еще немного про контекстные менеджеры).
Очень много примеров и очень много полезных советов :)
#статья #хабр
Очень много примеров и очень много полезных советов :)
#статья #хабр
Хабр
Пишем на Python как на Rust
Я начал программировать на Rust несколько лет назад, и это постепенно изменило мой подход к разработке программ на других языках программирования, особенно на Python. До того, как я начал использовать...
Forwarded from Python/ django
🔥 13 Django Packages to Every Developer Must Install
13 маст хэв пакетов Django, которые установить каждый разработчик.
1. Django Debug Toolbar
Этот мощный пакет предоставляет визуальный интерфейс для отладки, который выводит подробную информацию о SQL-запросах и их показателях производительности.
2. Django Rest Framework
Этот комплексный пакет упрощает создание RESTful API, предоставляя надежные инструменты для сериализации, аутентификации и тд.
3. Celery
Это распределенная асинхронная очередь заданий, которая обладает широким функционалом. В нашем конструкторе сайтов нам часто приходиться запускать асинхронные с точки зрения ответа пользователю задачи.
4. Django-Crispy-Forms
Этот удобный инструмент упрощает процесс рендеринга и стилизации форм.
5. Django-Cache
Этот пакет позволяет хранить часто используемые данные в памяти, уменьшая количество повторяющихся запросов к базе данных.
6. Django Allauth
Этот пакет предлагает комплексные функции регистрации пользователей, входа в систему и управления учетными записями.
10. Django Guardian
Этот пакет позволяет вам управлять разрешениями на уровне объектов, позволяя определять контроль доступа для отдельных экземпляров моделей.
11. Django Storages
Этот пакет интегрируется с популярными провайдерами облачных хранилищ, такими как Amazon S3 и Google Cloud Storage.
12. Django Compressor
Этот пакет автоматически объединяет и сжимает файлы CSS и JavaScript, уменьшая количество HTTP-запросов и улучшая время загрузки страниц.
13. Django Haystack
Этот пакет интегрирует различные поисковые системы, такие как Elasticsearch и Solr, позволяя вам создать надежные поисковые возможности для вашего приложения.
@pythonl
13 маст хэв пакетов Django, которые установить каждый разработчик.
1. Django Debug Toolbar
Этот мощный пакет предоставляет визуальный интерфейс для отладки, который выводит подробную информацию о SQL-запросах и их показателях производительности.
pip install django-debug-toolbar2. Django Rest Framework
Этот комплексный пакет упрощает создание RESTful API, предоставляя надежные инструменты для сериализации, аутентификации и тд.
pip install djangorestframework3. Celery
Это распределенная асинхронная очередь заданий, которая обладает широким функционалом. В нашем конструкторе сайтов нам часто приходиться запускать асинхронные с точки зрения ответа пользователю задачи.
pip install celery4. Django-Crispy-Forms
Этот удобный инструмент упрощает процесс рендеринга и стилизации форм.
pip install django-crispy-forms5. Django-Cache
Этот пакет позволяет хранить часто используемые данные в памяти, уменьшая количество повторяющихся запросов к базе данных.
pip install django-cache6. Django Allauth
Этот пакет предлагает комплексные функции регистрации пользователей, входа в систему и управления учетными записями.
pip install django-allauth10. Django Guardian
Этот пакет позволяет вам управлять разрешениями на уровне объектов, позволяя определять контроль доступа для отдельных экземпляров моделей.
pip install django-guardian11. Django Storages
Этот пакет интегрируется с популярными провайдерами облачных хранилищ, такими как Amazon S3 и Google Cloud Storage.
pip install django-storages12. Django Compressor
Этот пакет автоматически объединяет и сжимает файлы CSS и JavaScript, уменьшая количество HTTP-запросов и улучшая время загрузки страниц.
pip install django-compressor13. Django Haystack
Этот пакет интегрирует различные поисковые системы, такие как Elasticsearch и Solr, позволяя вам создать надежные поисковые возможности для вашего приложения.
pip install django-haystack@pythonl
Forwarded from Коробка с питоном
Как раз сегодня искал фреимворк для организации работы консьюмера RabbitMQ и на глаза попался Propan - декларативный фреимворк для работы с очередями сообщений.
Для чего это нужно? На базе очередей можно построить асинхронную коммуникацию сервисов, а это привет микросервисной архитектуре!
Для сравнения, вот столько кода нам нужно написать, чтобы сделать консьюмер при помощи aio_pika:
Что ещё умеет?
1) Кастить типы сообщений в модельки при помощи Pydantic.
2) Умеет работать с зависимостями (привет DI)
3) Имеет CLI утилитку, которая поможет сгенерировать проект, запустить несколько процессов воркеров, запустить хот-релоад для разработки.
4) А ещё есть огромное количество примеров, как им пользоваться.
5) Бонус - похоже у автора в планах прикрутить AsyncAPI (это как OpenAPI, только для очередей).
На данный момент стабильно работает с RabbitMQ, Redis и Nats. Kafka и SQS в бете, а NatsJs, MQTT, Redis Streams и Pulsar в планах.
Ну и накиньте звёзд автору, выглядит как то, что в будущем выстрелит :)
Github | Документация
#библиотека
Для чего это нужно? На базе очередей можно построить асинхронную коммуникацию сервисов, а это привет микросервисной архитектуре!
Для сравнения, вот столько кода нам нужно написать, чтобы сделать консьюмер при помощи aio_pika:
import asyncioА вот столько с Propan:
import aio_pika
async def main():
connection = await aio_pika.connect_robust(
"amqp://guest:guest@127.0.0.1/"
)
queue_name = "test_queue"
async with connection:
channel = await connection.channel()
queue = await channel.declare_queue(queue_name)
async with queue.iterator() as queue_iter:
async for message in queue_iter:
async with message.process():
print(message.body)
asyncio.run(main())
from propan import PropanApp, RabbitBrokerЧистый кайф, не правда ли? Выглядит просто и понятно.
broker = RabbitBroker("amqp://guest:guest@localhost:5672/")
app = PropanApp(broker)
@broker.handle("test_queue")
async def base_handler(body):
print(body)
Что ещё умеет?
1) Кастить типы сообщений в модельки при помощи Pydantic.
2) Умеет работать с зависимостями (привет DI)
3) Имеет CLI утилитку, которая поможет сгенерировать проект, запустить несколько процессов воркеров, запустить хот-релоад для разработки.
4) А ещё есть огромное количество примеров, как им пользоваться.
5) Бонус - похоже у автора в планах прикрутить AsyncAPI (это как OpenAPI, только для очередей).
На данный момент стабильно работает с RabbitMQ, Redis и Nats. Kafka и SQS в бете, а NatsJs, MQTT, Redis Streams и Pulsar в планах.
Ну и накиньте звёзд автору, выглядит как то, что в будущем выстрелит :)
Github | Документация
#библиотека
GitHub
GitHub - Lancetnik/Propan: Propan is a powerful and easy-to-use Python framework for building event-driven applications that interact…
Propan is a powerful and easy-to-use Python framework for building event-driven applications that interact with any MQ Broker - Lancetnik/Propan
Коробка с питоном
Как раз сегодня искал фреимворк для организации работы консьюмера RabbitMQ и на глаза попался Propan - декларативный фреимворк для работы с очередями сообщений. Для чего это нужно? На базе очередей можно построить асинхронную коммуникацию сервисов, а это…
эх. где оно было раньше ? не мучался бы (
только сейчас ведь стал популярным этот пакет.
при работе с очередями такая простота и декларативность единственно верная. я бы выкинул свою обертку над всем этим. спасает лишь то что по идее мою обертку очень не сложно переписать на это. однако это чисто асинхронное
только сейчас ведь стал популярным этот пакет.
при работе с очередями такая простота и декларативность единственно верная. я бы выкинул свою обертку над всем этим. спасает лишь то что по идее мою обертку очень не сложно переписать на это. однако это чисто асинхронное
== Распространенные ошибки SQL в хранимых процедурах и запросах
https://telegra.ph/Rasprostranennye-oshibki-SQL-v-hranimyh-procedurah-i-zaprosah-02-17
https://telegra.ph/Rasprostranennye-oshibki-SQL-v-hranimyh-procedurah-i-zaprosah-02-17
Telegraph
Распространенные ошибки SQL в хранимых процедурах и запросах
Распространенные ошибки SQL в хранимых процедурах и запросах Я не буду описывать совсем банальные вроде ошибки синтаксиса (talbe вместо table). Рассмотрим досадные ошибки sql server, которые снижают скорость нашей разработки: 1. Ключевые слова в именах Например…
== HMAC (Hash-Based Message Authentication Codes) Definition
https://www.okta.com/identity-101/hmac/#:~:text=Hash%2Dbased%20message%20authentication%20code,use%20signatures%20and%20asymmetric%20cryptography.
https://www.okta.com/identity-101/hmac/#:~:text=Hash%2Dbased%20message%20authentication%20code,use%20signatures%20and%20asymmetric%20cryptography.
Okta
HMAC (Hash-Based Message Authentication Codes) Definition | Okta
не знал даже про то что есть SSI
и не знал из чего он складывается
...пс ...эй чатгпт, ну ка пошли генерировать активность
== Improve your LINKED-IN
- Что такое LinkedIn SSI и зачем его прокачивать? https://habr.com/ru/articles/725084/
- Посмотреть свой SSI: https://www.linkedin.com/sales/ssi
- Алгоритмы LinkedIn 2023 в одной инфографике
- Как заполнить LinkedIn, чтобы тебя заметили | 6 категорий ключевых слов: https://lnkd.in/eKa7sZXc
- Оформление профилей в linkedin для разных стран: https://lnkd.in/eZXacP2Y
- Поиск на LinkedIn глазами рекрутера: https://lnkd.in/eP326cDB
- Jobscan. Сканирование и оптимизация профиля: https://lnkd.in/edRmBh58
- Руководство по оформлению профиля в LinkedIn: примеры и лайфхаки: https://lnkd.in/ejr5wEYq
- Пошаговая инструкция по аутричу через LinkedIn: https://lnkd.in/eNG3bm6T
== Все способы поиска работы за рубежом. Как рекрутеры ищут новых сотрудников
https://www.youtube.com/watch?v=IfiFeTGNDC8
== Как получать в х36 раз больше сообщений от рекрутеров с правильным фото профиля?
https://youtu.be/X_cBsOeolXE
и не знал из чего он складывается
...пс ...эй чатгпт, ну ка пошли генерировать активность
== Improve your LINKED-IN
- Что такое LinkedIn SSI и зачем его прокачивать? https://habr.com/ru/articles/725084/
- Посмотреть свой SSI: https://www.linkedin.com/sales/ssi
- Алгоритмы LinkedIn 2023 в одной инфографике
- Как заполнить LinkedIn, чтобы тебя заметили | 6 категорий ключевых слов: https://lnkd.in/eKa7sZXc
- Оформление профилей в linkedin для разных стран: https://lnkd.in/eZXacP2Y
- Поиск на LinkedIn глазами рекрутера: https://lnkd.in/eP326cDB
- Jobscan. Сканирование и оптимизация профиля: https://lnkd.in/edRmBh58
- Руководство по оформлению профиля в LinkedIn: примеры и лайфхаки: https://lnkd.in/ejr5wEYq
- Пошаговая инструкция по аутричу через LinkedIn: https://lnkd.in/eNG3bm6T
== Все способы поиска работы за рубежом. Как рекрутеры ищут новых сотрудников
https://www.youtube.com/watch?v=IfiFeTGNDC8
== Как получать в х36 раз больше сообщений от рекрутеров с правильным фото профиля?
https://youtu.be/X_cBsOeolXE
Хабр
Что такое LinkedIn SSI и зачем его прокачивать?
На сегодняшний день LinkedIn – одна из самых популярных платформ, которая совмещает в себе функции социальной сети и агрегатора по поиску работы. Люди делятся своими профессиональными достижениями,...
❤1👍1