Обучение алгоритма генерации текста на основе высказываний философов и писателей

Наверняка вы мечтали поговорить с великим философом: задать ему вопрос о своей жизни, узнать его мнение или просто поболтать. В наше время это возможно за счет чат-ботов, которые поддерживают диалог, имитируя манеру общения живого человека. Подобные чат-боты создаются благодаря технологиям разработки естественного языка и генерации текста. Уже сейчас существуют обученные модели, которые неплохо справляются с данной задачей.
Узнать больше!

Читать: https://habr.com/ru/post/677032/

What is AB testing? 2

Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/what-is-ab-testing-2.html

Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 1

Read: https://aws.amazon.com/blogs/big-data/part-1-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/

Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 2

Read: https://aws.amazon.com/blogs/big-data/part-2-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/

Работа над неразмеченными данными с QGIS и opentripmap на практике

В этом посте я хочу поделиться интересным опытом работы с неразмеченными данными при помощи открытого ресурса opentripmap.

Задача

По исходным данным определить является ли конкретное фото, сделанное пользователем туристическим или нет. А так же масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.


Читать: https://habr.com/ru/post/677298/

Пишем первую программу по машинному обучению до 50 строк с помощью Scikit-Learn

Сегодня мы воспользуемся возможностями машинного обучения для анализа шоколадного печенья.
Читать о печеньках и ML

Читать: https://habr.com/ru/post/677274/

Глубокое погружение в рекомендательную систему Netflix

Как Netflix добился 80 процентов от всего своего стримингового времени благодаря персонализации


Читать: https://habr.com/ru/post/677396/

Data Engineering Weekly #93

Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-93

Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества

Делимся особенностями работы Apache Kafka и RabbitMQ, дав точный рецепт, когда и какой брокер стоит использовать.

Читать: «Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества»

Как Big Data и роботы упрощают поиск работы

Рассказываем о том, как Big Data и роботы упрощают поиск работы для кандидатов и процесс найма рекрутерам.

Читать: «Как Big Data и роботы упрощают поиск работы»

How Plugsurfing doubled performance and reduced cost by 70% with purpose-built databases and AWS Graviton

Read: https://aws.amazon.com/blogs/big-data/how-plugsurfing-doubled-performance-and-reduced-cost-by-70-with-purpose-built-databases-and-aws-graviton/

Process Apache Hudi, Delta Lake, Apache Iceberg datasets at scale, part 1: AWS Glue Studio Notebook

Read: https://aws.amazon.com/blogs/big-data/part-1-integrate-apache-hudi-delta-lake-apache-iceberg-datasets-at-scale-aws-glue-studio-notebook/

Best Practices for Administering Fusion Analytics Warehouse

Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.

Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-best-practice-series---administering-faw

Статистический анализ по картинке

Название звучит как "приворот по фото", но я о чём - захотел я как-то проанализировать пару графиков, найти корреляции и столкнулся с парой сложностей:

I. У меня был только график - картинка, самих данных (значений) не было. Принялся я по нему вычислять хотя бы наиболее важные точки - в итоге получилось ужасно долго и просто ужасно (человеский глаз и осознанный мозг не может предоставить точность больше 10% деления):

Поэтому представляю Вам программу для оцифровки значений графика из картинки, а также...


Читать: https://habr.com/ru/post/677636/

Все Telegram-каналы от Tproger теперь собраны в одном месте: @tproger_channels

Каналы по конкретным направлениям разработки, подборки полезных ресурсов, канал для начинающих, новости, мемы — всего около двух десятков каналов разного формата. Точно найдёте что-нибудь для себя.

Промышленный мониторинг качества данных в Feature Store. Предпосылки и реализация

Привет, Хабр! Меня зовут Алексей Лямзин, я работаю аналитиком в финтех направлении Big Data МТС. Мы с коллегами разрабатываем предиктивные модели на данных крупнейшего телеком-оператора и сегодня я расскажу вам о том, как мы строили автоматизированный контроль за качеством данных в нашем Feature Store.

Добро пожаловать под кат!


Читать: https://habr.com/ru/post/677516/

Предсказание временных рядов с помощью Keras

Привет, Хабр!

Сегодня хотелось бы поговорить о задаче предсказания временных рядов методами машинного обучения. В каком виде зачастую используются данные для задачи предсказания? Что такое LSTM-архитектура рекуррентных нейронных сетей? Как справляются модели RNN и CNN c поставленной задачей?


Читать: https://habr.com/ru/post/677714/

Как мы построили систему онбординга для аналитиков-новичков: подводные камни и полезные приёмы

Привет, я Галина Вакулина, лидер аналитиков в Точке.

В новой компании аналитик тратит много времени на изучение данных, с которыми ему предстоит работать. В этой статье я рассказываю, как мы построили процесс онбординга, чтобы погружение новичка проходило эффективно и безболезненно.


Читать: https://habr.com/ru/post/677748/

[recovery mode] Как IoT-технологии и эксперты по оборудованию помогают внедрять предиктивную аналитику: опыт Factory5

Всем привет, на связи Алексей Ершов и Максим Зотов, эксперты Factory5. Сейчас наша компания разрабатывает ПО для анализа промышленных данных, а начинали когда-то с предиктивной аналитики промышленного оборудования. В этой статье расскажем о том, как IoT-технологии и эксперты по оборудованию помогают внедрять её на предприятиях.


Читать: https://habr.com/ru/post/677788/

Enable federated governance using Trino and Apache Ranger on Amazon EMR

Read: https://aws.amazon.com/blogs/big-data/enable-federated-governance-using-trino-and-apache-ranger-on-amazon-emr/

Как мы обучали категоризатор фискальных чеков DataCheckEngine

Задача актуальна для фин. организаций и ретейла. Расскажем, как мы подошли к ней и почему выбрали для обучения уменьшенную версию модели DistilBert.


Читать: https://habr.com/ru/post/677858/