The Data Founder Story: Singularity Data
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-singularity
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-singularity
👍2
Национализация ваших данных происходит прямо сейчас
Национализация ваших данных государством продолжается семимильными шагами. Ожил "замерший" новый законопроект Минцифры и летит к принятию. Это один из самых радикальных подходов к данным со стороны государства, который я когда-либо видел. Он заберёт все ваши данные у компаний, не спросив вас, и раздаст всем желающим.
Согласно ему государство вправе бесплатно забрать у бизнеса любые персональные данные граждан в некую "информационную систему". Потом их "обезличат" чтобы с ними могли работать "ведомства и разработчики ИИ". Прямо так и написано. Разрешения гражданина не потребуется - хотя ещё в апреле Минцифры явно говорило, что оно будет нужно. Разрешение, как предполагали в первых версиях проекта, нужно будет спрашивать только у силовиков.
Поражает здесь то, что государство просто собирается признать своим всё, что крупные компании строили за деньги инвесторов, неся риски, столько лет - например, тот же "Яндекс". Весь его бизнес - это данные и продажа таргетинга на основе них. Это был барьер от конкурентов, создаваемое годами технологическое преимущество, ценнейший актив компании.
Если Яндексу придётся передать все подобные данные государству - это принципиальный удар по бизнес-модели. Его данные, даже в обезличенном виде, теперь будут доступны сотням компаний. Кстати, дальше эти данные "защищает" государство. Утечки, проблемы - теперь наказывать государство будет само себя.
Горелкин из айти-комитета госдумы подтверждает смысл закона: мол, несправедливо, когда у гигантов столько данных, пусть ими пользуются все. А в обмен гиганты, типа, получат доступ к обезличенным данным друг друга.
Государство же даст возможность развивать технологии и гораздо менее крупным ИТ-компаниям, обеспечив им доступ к дата-сетам, которые сегодня они себе просто не могут позволить. - пишет он
То есть "отберём у всех больших и раздадим всем желающим". Нихрена ж себе революция.
Это может привести к полному изменению бизнес-моделей при активном вмешательстве государства.
И это продолжение курса на национализацию данных - неважно сколько сил и средств было вложено компаниями. Я уже писал про уже принятых новых закона - один позволяет государству забирать ваши биометрические данные у любого бизнеса без вашего разрешения, второй запрещает бизнесу без разрешения РКН отдавать данные куда-либо за рубеж, даже в системы аналитики. Их уже подписали и приняли.
Третий закон, если будет принят в таком виде, принудит бизнес просто отдавать всё, что он собирает. Это радикальная национализация пользовательских данных и полное перекраивание рынка. И плевок в приватность пользователей.
Читать: https://habr.com/ru/post/676778/
Национализация ваших данных государством продолжается семимильными шагами. Ожил "замерший" новый законопроект Минцифры и летит к принятию. Это один из самых радикальных подходов к данным со стороны государства, который я когда-либо видел. Он заберёт все ваши данные у компаний, не спросив вас, и раздаст всем желающим.
Согласно ему государство вправе бесплатно забрать у бизнеса любые персональные данные граждан в некую "информационную систему". Потом их "обезличат" чтобы с ними могли работать "ведомства и разработчики ИИ". Прямо так и написано. Разрешения гражданина не потребуется - хотя ещё в апреле Минцифры явно говорило, что оно будет нужно. Разрешение, как предполагали в первых версиях проекта, нужно будет спрашивать только у силовиков.
Поражает здесь то, что государство просто собирается признать своим всё, что крупные компании строили за деньги инвесторов, неся риски, столько лет - например, тот же "Яндекс". Весь его бизнес - это данные и продажа таргетинга на основе них. Это был барьер от конкурентов, создаваемое годами технологическое преимущество, ценнейший актив компании.
Если Яндексу придётся передать все подобные данные государству - это принципиальный удар по бизнес-модели. Его данные, даже в обезличенном виде, теперь будут доступны сотням компаний. Кстати, дальше эти данные "защищает" государство. Утечки, проблемы - теперь наказывать государство будет само себя.
Горелкин из айти-комитета госдумы подтверждает смысл закона: мол, несправедливо, когда у гигантов столько данных, пусть ими пользуются все. А в обмен гиганты, типа, получат доступ к обезличенным данным друг друга.
Государство же даст возможность развивать технологии и гораздо менее крупным ИТ-компаниям, обеспечив им доступ к дата-сетам, которые сегодня они себе просто не могут позволить. - пишет он
То есть "отберём у всех больших и раздадим всем желающим". Нихрена ж себе революция.
Это может привести к полному изменению бизнес-моделей при активном вмешательстве государства.
И это продолжение курса на национализацию данных - неважно сколько сил и средств было вложено компаниями. Я уже писал про уже принятых новых закона - один позволяет государству забирать ваши биометрические данные у любого бизнеса без вашего разрешения, второй запрещает бизнесу без разрешения РКН отдавать данные куда-либо за рубеж, даже в системы аналитики. Их уже подписали и приняли.
Третий закон, если будет принят в таком виде, принудит бизнес просто отдавать всё, что он собирает. Это радикальная национализация пользовательских данных и полное перекраивание рынка. И плевок в приватность пользователей.
Читать: https://habr.com/ru/post/676778/
😱4😢3
Выявление и сбор требований к ПО — ultimate guide
Какие бывают требования к ПО и как их собирать. Пост полностью освещает все аспекты сбора и структурирует информацию для тестировщиков.
Читать: «Выявление и сбор требований к ПО — ultimate guide»
Какие бывают требования к ПО и как их собирать. Пост полностью освещает все аспекты сбора и структурирует информацию для тестировщиков.
Читать: «Выявление и сбор требований к ПО — ultimate guide»
👍1
Custom packages and hot reload of dictionary files with Amazon OpenSearch Service
Read: https://aws.amazon.com/blogs/big-data/custom-packages-and-hot-reload-of-dictionary-files-with-amazon-opensearch-service/
Read: https://aws.amazon.com/blogs/big-data/custom-packages-and-hot-reload-of-dictionary-files-with-amazon-opensearch-service/
👍1
Accelerate resize and encryption of Amazon Redshift clusters with Faster Classic Resize
Read: https://aws.amazon.com/blogs/big-data/accelerate-resize-and-encryption-of-amazon-redshift-clusters-with-faster-classic-resize/
Read: https://aws.amazon.com/blogs/big-data/accelerate-resize-and-encryption-of-amazon-redshift-clusters-with-faster-classic-resize/
👍1
Обучение алгоритма генерации текста на основе высказываний философов и писателей
Наверняка вы мечтали поговорить с великим философом: задать ему вопрос о своей жизни, узнать его мнение или просто поболтать. В наше время это возможно за счет чат-ботов, которые поддерживают диалог, имитируя манеру общения живого человека. Подобные чат-боты создаются благодаря технологиям разработки естественного языка и генерации текста. Уже сейчас существуют обученные модели, которые неплохо справляются с данной задачей.
Узнать больше!
Читать: https://habr.com/ru/post/677032/
Наверняка вы мечтали поговорить с великим философом: задать ему вопрос о своей жизни, узнать его мнение или просто поболтать. В наше время это возможно за счет чат-ботов, которые поддерживают диалог, имитируя манеру общения живого человека. Подобные чат-боты создаются благодаря технологиям разработки естественного языка и генерации текста. Уже сейчас существуют обученные модели, которые неплохо справляются с данной задачей.
Узнать больше!
Читать: https://habr.com/ru/post/677032/
👍2
What is AB testing? 2
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/what-is-ab-testing-2.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2022/07/what-is-ab-testing-2.html
👍3
Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 1
Read: https://aws.amazon.com/blogs/big-data/part-1-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/
Read: https://aws.amazon.com/blogs/big-data/part-1-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/
👍1
Migrate a large data warehouse from Greenplum to Amazon Redshift using AWS SCT – Part 2
Read: https://aws.amazon.com/blogs/big-data/part-2-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/
Read: https://aws.amazon.com/blogs/big-data/part-2-migrate-a-large-data-warehouse-from-greenplum-to-amazon-redshift-using-aws-sct/
👍1
Работа над неразмеченными данными с QGIS и opentripmap на практике
В этом посте я хочу поделиться интересным опытом работы с неразмеченными данными при помощи открытого ресурса opentripmap.
Задача
По исходным данным определить является ли конкретное фото, сделанное пользователем туристическим или нет. А так же масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.
Читать: https://habr.com/ru/post/677298/
В этом посте я хочу поделиться интересным опытом работы с неразмеченными данными при помощи открытого ресурса opentripmap.
Задача
По исходным данным определить является ли конкретное фото, сделанное пользователем туристическим или нет. А так же масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.
Читать: https://habr.com/ru/post/677298/
👍2
Пишем первую программу по машинному обучению до 50 строк с помощью Scikit-Learn
Сегодня мы воспользуемся возможностями машинного обучения для анализа шоколадного печенья.
Читать о печеньках и ML
Читать: https://habr.com/ru/post/677274/
Сегодня мы воспользуемся возможностями машинного обучения для анализа шоколадного печенья.
Читать о печеньках и ML
Читать: https://habr.com/ru/post/677274/
👍2
Глубокое погружение в рекомендательную систему Netflix
Как Netflix добился 80 процентов от всего своего стримингового времени благодаря персонализации
Читать: https://habr.com/ru/post/677396/
Как Netflix добился 80 процентов от всего своего стримингового времени благодаря персонализации
Читать: https://habr.com/ru/post/677396/
👍1
Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества
Делимся особенностями работы Apache Kafka и RabbitMQ, дав точный рецепт, когда и какой брокер стоит использовать.
Читать: «Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества»
Делимся особенностями работы Apache Kafka и RabbitMQ, дав точный рецепт, когда и какой брокер стоит использовать.
Читать: «Почему мы используем Kafka вместо RabbitMQ: сравнение и преимущества»
👍1
Как Big Data и роботы упрощают поиск работы
Рассказываем о том, как Big Data и роботы упрощают поиск работы для кандидатов и процесс найма рекрутерам.
Читать: «Как Big Data и роботы упрощают поиск работы»
Рассказываем о том, как Big Data и роботы упрощают поиск работы для кандидатов и процесс найма рекрутерам.
Читать: «Как Big Data и роботы упрощают поиск работы»
👍2
How Plugsurfing doubled performance and reduced cost by 70% with purpose-built databases and AWS Graviton
Read: https://aws.amazon.com/blogs/big-data/how-plugsurfing-doubled-performance-and-reduced-cost-by-70-with-purpose-built-databases-and-aws-graviton/
Read: https://aws.amazon.com/blogs/big-data/how-plugsurfing-doubled-performance-and-reduced-cost-by-70-with-purpose-built-databases-and-aws-graviton/
👍2
Process Apache Hudi, Delta Lake, Apache Iceberg datasets at scale, part 1: AWS Glue Studio Notebook
Read: https://aws.amazon.com/blogs/big-data/part-1-integrate-apache-hudi-delta-lake-apache-iceberg-datasets-at-scale-aws-glue-studio-notebook/
Read: https://aws.amazon.com/blogs/big-data/part-1-integrate-apache-hudi-delta-lake-apache-iceberg-datasets-at-scale-aws-glue-studio-notebook/
👍1
Best Practices for Administering Fusion Analytics Warehouse
Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.
Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-best-practice-series---administering-faw
Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.
Read: https://blogs.oracle.com/analytics/post/fusion-analytics-warehouse-best-practice-series---administering-faw
Oracle
Best Practices for Administering Fusion Analytics Warehouse
Oracle Fusion Analytics Warehouse provides analytics for Oracle Fusion Cloud applications. This blog details several best practices that are important to follow while administering Fusion Analytics Warehouse as of Release 22.R2.
👍1
Статистический анализ по картинке
Название звучит как "приворот по фото", но я о чём - захотел я как-то проанализировать пару графиков, найти корреляции и столкнулся с парой сложностей:
I. У меня был только график - картинка, самих данных (значений) не было. Принялся я по нему вычислять хотя бы наиболее важные точки - в итоге получилось ужасно долго и просто ужасно (человеский глаз и осознанный мозг не может предоставить точность больше 10% деления):
Поэтому представляю Вам программу для оцифровки значений графика из картинки, а также...
Читать: https://habr.com/ru/post/677636/
Название звучит как "приворот по фото", но я о чём - захотел я как-то проанализировать пару графиков, найти корреляции и столкнулся с парой сложностей:
I. У меня был только график - картинка, самих данных (значений) не было. Принялся я по нему вычислять хотя бы наиболее важные точки - в итоге получилось ужасно долго и просто ужасно (человеский глаз и осознанный мозг не может предоставить точность больше 10% деления):
Поэтому представляю Вам программу для оцифровки значений графика из картинки, а также...
Читать: https://habr.com/ru/post/677636/
👍4
Все Telegram-каналы от Tproger теперь собраны в одном месте: @tproger_channels
Каналы по конкретным направлениям разработки, подборки полезных ресурсов, канал для начинающих, новости, мемы — всего около двух десятков каналов разного формата. Точно найдёте что-нибудь для себя.
Каналы по конкретным направлениям разработки, подборки полезных ресурсов, канал для начинающих, новости, мемы — всего около двух десятков каналов разного формата. Точно найдёте что-нибудь для себя.
Промышленный мониторинг качества данных в Feature Store. Предпосылки и реализация
Привет, Хабр! Меня зовут Алексей Лямзин, я работаю аналитиком в финтех направлении Big Data МТС. Мы с коллегами разрабатываем предиктивные модели на данных крупнейшего телеком-оператора и сегодня я расскажу вам о том, как мы строили автоматизированный контроль за качеством данных в нашем Feature Store.
Добро пожаловать под кат!
Читать: https://habr.com/ru/post/677516/
Привет, Хабр! Меня зовут Алексей Лямзин, я работаю аналитиком в финтех направлении Big Data МТС. Мы с коллегами разрабатываем предиктивные модели на данных крупнейшего телеком-оператора и сегодня я расскажу вам о том, как мы строили автоматизированный контроль за качеством данных в нашем Feature Store.
Добро пожаловать под кат!
Читать: https://habr.com/ru/post/677516/
👍2