Московский политех не слышал про конфиденциальность
Почему не стоит подавать документы через сайт Московского Политеха, какая угроза персональным данным абитуриента и к чему может привести утечка данных? Обо всем этом — в данной статье.
Читать: https://habr.com/ru/articles/730236/
Почему не стоит подавать документы через сайт Московского Политеха, какая угроза персональным данным абитуриента и к чему может привести утечка данных? Обо всем этом — в данной статье.
Читать: https://habr.com/ru/articles/730236/
ADDM Spotlight provides strategic advice to optimize Oracle database performance
Oracle Database ADDM (Automatic Database Diagnostic Monitor) has new Spotlight capability in Oracle Enterprise Manager and Oracle Cloud Infrastructure Operations Insights service. The feature enables administrators to get ADDM analysis across databases deployed in diverse environments over long periods from a single pane of glass. Read this blog to learn how you can get better database performance analysis with this capability.
Read: https://blogs.oracle.com/database/post/addm-spotlight-strategic-advice-optimize-oracle-dbms
Oracle Database ADDM (Automatic Database Diagnostic Monitor) has new Spotlight capability in Oracle Enterprise Manager and Oracle Cloud Infrastructure Operations Insights service. The feature enables administrators to get ADDM analysis across databases deployed in diverse environments over long periods from a single pane of glass. Read this blog to learn how you can get better database performance analysis with this capability.
Read: https://blogs.oracle.com/database/post/addm-spotlight-strategic-advice-optimize-oracle-dbms
Oracle
ADDM Spotlight provides strategic advice to optimize Oracle database performance
ADDM Spotlight aggregates hourly ADDM findings and recommendations over long periods to enable DBAs and system administrators to assess the systemic impact of ADDM findings and recommendations for a database. Administrators can weigh the total benefits of…
Ещё эпические фейлы при открытии в Казахстане (почему мы так задержались)
ЦОД в Астане, где мы встали
В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.
Это не первый опыт наших эпик фейлов в Казахстане.
Оставалось купить железо, настроить оплаты и заехать в ЦОДы.
Если бы всё шло хорошо, пост бы в этом месте кончился. Предоставили сервис, спасибо, всё дальше было отлично.
Читать: https://habr.com/ru/companies/ruvds/articles/730054/
ЦОД в Астане, где мы встали
В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.
Это не первый опыт наших эпик фейлов в Казахстане.
Оставалось купить железо, настроить оплаты и заехать в ЦОДы.
Если бы всё шло хорошо, пост бы в этом месте кончился. Предоставили сервис, спасибо, всё дальше было отлично.
Читать: https://habr.com/ru/companies/ruvds/articles/730054/
DataHub: как делиться структурированными данными и получать за них донаты?
Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.
Читать: https://habr.com/ru/articles/730434/
Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.
Читать: https://habr.com/ru/articles/730434/
Как создать таблицы в БД ClickHouse на основе CSV
Когда я впервые начал знакомиться с колоночно-ориентированной СУБД ClickHouse, я не смог найти подходящий инструмент (кроме встроенного в веб-интерфейс ClickHouse Cloud) для создания таблиц с нужными столбцами и типами данных на основе CSV файлов или Pandas датафреймов. Ни clickhouse-connect, ни clickhouse-driver не обладали такой функциональностью, как метод
Я хотел загрузить свой любимый набор данных о чемпионатах мира по автогонкам класса Формула-1 в ClickHouse, но вручную создавать 15 таблиц было слишком лениво. Хотелось просто скормить нужные CSV файлы скрипту и на выходе получить БД с нужными таблицами и данными внутри.
Когда я ранее знакомился с PySpark, я заметил, что многие data-профессионалы используют Pandas для определения схемы данных перед загрузкой файлов CSV в PySpark. И я подумал, почему бы не использовать Pandas для определения типов данных по столбцам?
Так я создал этот скрипт, которым хочу поделиться. Я надеюсь, что он поможет вам сэкономить немного времени, а мне даст возможность получить от вас пару фидбеков и идей для улучшения.
Я не уверен в полной совместимости типов данных между Pandas и ClickHouse: быстрый поиск дал противоречивые результаты, поэтому поправьте меня, если найдете какие-либо расхождения.
И будьте осторожны с
Читать: https://habr.com/ru/articles/730470/
Когда я впервые начал знакомиться с колоночно-ориентированной СУБД ClickHouse, я не смог найти подходящий инструмент (кроме встроенного в веб-интерфейс ClickHouse Cloud) для создания таблиц с нужными столбцами и типами данных на основе CSV файлов или Pandas датафреймов. Ни clickhouse-connect, ни clickhouse-driver не обладали такой функциональностью, как метод
to_sqlв SQLAlchemy.Я хотел загрузить свой любимый набор данных о чемпионатах мира по автогонкам класса Формула-1 в ClickHouse, но вручную создавать 15 таблиц было слишком лениво. Хотелось просто скормить нужные CSV файлы скрипту и на выходе получить БД с нужными таблицами и данными внутри.
Когда я ранее знакомился с PySpark, я заметил, что многие data-профессионалы используют Pandas для определения схемы данных перед загрузкой файлов CSV в PySpark. И я подумал, почему бы не использовать Pandas для определения типов данных по столбцам?
Так я создал этот скрипт, которым хочу поделиться. Я надеюсь, что он поможет вам сэкономить немного времени, а мне даст возможность получить от вас пару фидбеков и идей для улучшения.
Я не уверен в полной совместимости типов данных между Pandas и ClickHouse: быстрый поиск дал противоречивые результаты, поэтому поправьте меня, если найдете какие-либо расхождения.
И будьте осторожны с
replace_flag- если установлено значение True, то скрипт пересоздаст таблицы с тем же именем, если они уже существуют, поэтому вы можете потерять существующие данные в своей базе данных. Чтобы избежать этого, но также избежать дублирования данных, я рекомендую указать несуществующее имя базы данных в качестве database_name. Если установлено значение False в replace_flag, данные из ваших файлов CSV будут добавляться в существующие таблицы с тем же именем (конечно же, число столбцов и их типы данных должны совпадать).Читать: https://habr.com/ru/articles/730470/
Сравнение SQL- и NoSQL-баз данных
SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. Чтобы понять, какая из них подойдёт в вашем случае, необходимо разобраться в их различиях, преимуществах и недостатках.
В этой статье я рассмотрю основные характеристики SQL- и NoSQL-баз данных и сравню их, чтобы помочь выбрать лучший вариант для вашего проекта.
Читать: https://habr.com/ru/companies/ruvds/articles/727474/
SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. Чтобы понять, какая из них подойдёт в вашем случае, необходимо разобраться в их различиях, преимуществах и недостатках.
В этой статье я рассмотрю основные характеристики SQL- и NoSQL-баз данных и сравню их, чтобы помочь выбрать лучший вариант для вашего проекта.
Читать: https://habr.com/ru/companies/ruvds/articles/727474/
DataHub: репозитории данных коммерческого типа. Как зарабатывать на доступе к данным?
Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье покажу, каким образом можно монетизировать имеющиеся у вас структурированные и неструктурированные данные будь вы разработчик, data-scientist или ML-специалист.
Читать: https://habr.com/ru/articles/730638/
Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье покажу, каким образом можно монетизировать имеющиеся у вас структурированные и неструктурированные данные будь вы разработчик, data-scientist или ML-специалист.
Читать: https://habr.com/ru/articles/730638/
Property Graphs in SQL Developer release 23.1
You can use your favorite SQL tool (SQL Developer) to run SQL queries and PGQL queries on property graphs.
Read: https://blogs.oracle.com/database/post/property-graphs-in-sql-developer-release-231
You can use your favorite SQL tool (SQL Developer) to run SQL queries and PGQL queries on property graphs.
Read: https://blogs.oracle.com/database/post/property-graphs-in-sql-developer-release-231
Oracle
Property Graphs in SQL Developer release 23.1
You can use your favorite SQL tool (SQL Developer) to run SQL queries and PGQL queries on property graphs.
PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT
PHPize.online это онлайн-сервис, где можно быстро создать и выполнить запросы к базам данных SQL, используя любую из самых популярных СУБД.
Читать: «PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT»
PHPize.online это онлайн-сервис, где можно быстро создать и выполнить запросы к базам данных SQL, используя любую из самых популярных СУБД.
Читать: «PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT»
Database links in Autonomous Database Shared are the past - Cloud links are the future
Database links have been around for decades but always require measurable administration effort. You must exchange connection and authentication information about databases to connect those, one database at a time.
With Oracle Autonomous Database Shared, the ability to connect individual databases, or even many databases, is simplified significantly. Cloud links enable you to easily make data remotely accessible for one or many other autonomous databases within your defined security realms.
Read: https://blogs.oracle.com/database/post/database-links-in-autonomous-database-shared-are-the-past---cloud-links-are-the-future
Database links have been around for decades but always require measurable administration effort. You must exchange connection and authentication information about databases to connect those, one database at a time.
With Oracle Autonomous Database Shared, the ability to connect individual databases, or even many databases, is simplified significantly. Cloud links enable you to easily make data remotely accessible for one or many other autonomous databases within your defined security realms.
Read: https://blogs.oracle.com/database/post/database-links-in-autonomous-database-shared-are-the-past---cloud-links-are-the-future
Oracle
Database links in Autonomous Database Shared are the past - Cloud links are the future
Database links have been around for decades but always require measurable administration effort. You must exchange connection and authentication information about databases to connect those, one database at a time.
With Oracle Autonomous Database Shared…
With Oracle Autonomous Database Shared…
👍1
Introduction to JavaScript in Oracle Database 23c Free - Developer Release
Oracle Database 23c Free - Developer Release is the first release of the next-generation Oracle Database, allowing developers a head-start on building applications with innovative 23c features that simplify development of modern data-driven apps. The entire feature set of Oracle Database 23c is planned to be generally available within the next 12 months.
Read: https://blogs.oracle.com/database/post/introduction-javanoscript-oracle-database-23c-free-developer-release
Oracle Database 23c Free - Developer Release is the first release of the next-generation Oracle Database, allowing developers a head-start on building applications with innovative 23c features that simplify development of modern data-driven apps. The entire feature set of Oracle Database 23c is planned to be generally available within the next 12 months.
Read: https://blogs.oracle.com/database/post/introduction-javanoscript-oracle-database-23c-free-developer-release
Oracle
Introduction to JavaScript in Oracle Database 23c Free - Developer Release
Oracle Database 23c Free - Developer Release is the first release of the next-generation Oracle Database, allowing developers a head-start on building applications with innovative 23c features that simplify development of modern data-driven apps. The entire…
DataHub: организовываем доступ к публичным данным через Predefined Queries
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу, каким образом можно организовать доступ для внешних пользователей к репозиториям данных через Predefined Queries.
Читать: https://habr.com/ru/articles/730858/
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу, каким образом можно организовать доступ для внешних пользователей к репозиториям данных через Predefined Queries.
Читать: https://habr.com/ru/articles/730858/
Всё своё ношу с собой. Личная библиотека знаний
Когда Интернет был маленьким, модемы медленными, а провайдеры жадными, мы сохраняли всё полезное у себя на винчестерах, героически пытаясь вместить всё нужное в скромный объём дискового пространства. В те времена это был единственный способ обеспечить себе быстрый и эффективный доступ к информации.
Высокоскоростной Интернет нас избаловал — мы перестали скачивать файлы и формировать свои собственные локальные библиотеки знаний и контента. Книги, музыка, фильмы, дистрибутивы, документация, исходники — всё теперь лежит на сайтах и в облаках. Зачем что-то скачивать, если всё оно моментально доступно по одному клику?
Когда я в очередной раз не нашёл по привычной ссылке нужный мне онлайн-ресурс, я понял, что пора вернуться к истокам. Как известно, облаков на самом деле не существует — это всего лишь чужие компьютеры...
Читать: https://habr.com/ru/articles/730818/
Когда Интернет был маленьким, модемы медленными, а провайдеры жадными, мы сохраняли всё полезное у себя на винчестерах, героически пытаясь вместить всё нужное в скромный объём дискового пространства. В те времена это был единственный способ обеспечить себе быстрый и эффективный доступ к информации.
Высокоскоростной Интернет нас избаловал — мы перестали скачивать файлы и формировать свои собственные локальные библиотеки знаний и контента. Книги, музыка, фильмы, дистрибутивы, документация, исходники — всё теперь лежит на сайтах и в облаках. Зачем что-то скачивать, если всё оно моментально доступно по одному клику?
Когда я в очередной раз не нашёл по привычной ссылке нужный мне онлайн-ресурс, я понял, что пора вернуться к истокам. Как известно, облаков на самом деле не существует — это всего лишь чужие компьютеры...
Читать: https://habr.com/ru/articles/730818/
Проектирование реляционных баз данных: основные принципы
Привет, дорогие читатели! Я сегодня хочу поговорить о важной теме для всех, кто работает с базами данных. Это проектирование реляционных баз данных. Кажется, что звучит ужасно скучно, да? Но на самом деле это важнейший инструмент для успешной разработки и поддержки баз данных.
Представьте, что у вас есть огромная база с данными, и вы должны ее грамотно поддерживать и обновлять. Как вы будете организовывать все эти данные? Ведь вы не просто должны их просто хранить, но и легко извлекать, изменять, удалять и т.д. Именно здесь и приходит на помощь знание принципов проектирования реляционных баз данных, эти знания позволяют организовать вашу базу данных таким образом, чтобы минимизировать ошибки и неэффективность запросов, а также упростит ее поддержку в будущем.
Правильное проектирование может повысить эффективность работы базы данных и уменьшить количество запросов к ней, что в свою очередь уменьшает время ответа, повышает производительность и общую надежность базы.
Читать: https://habr.com/ru/companies/otus/articles/731010/
Привет, дорогие читатели! Я сегодня хочу поговорить о важной теме для всех, кто работает с базами данных. Это проектирование реляционных баз данных. Кажется, что звучит ужасно скучно, да? Но на самом деле это важнейший инструмент для успешной разработки и поддержки баз данных.
Представьте, что у вас есть огромная база с данными, и вы должны ее грамотно поддерживать и обновлять. Как вы будете организовывать все эти данные? Ведь вы не просто должны их просто хранить, но и легко извлекать, изменять, удалять и т.д. Именно здесь и приходит на помощь знание принципов проектирования реляционных баз данных, эти знания позволяют организовать вашу базу данных таким образом, чтобы минимизировать ошибки и неэффективность запросов, а также упростит ее поддержку в будущем.
Правильное проектирование может повысить эффективность работы базы данных и уменьшить количество запросов к ней, что в свою очередь уменьшает время ответа, повышает производительность и общую надежность базы.
Читать: https://habr.com/ru/companies/otus/articles/731010/
DataHub: веб-песочница для тех, кто изучает SQL
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Читать: https://habr.com/ru/articles/731158/
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Читать: https://habr.com/ru/articles/731158/
Книга «MySQL по максимуму. 4-е издание»
Привет, Хаброжители!
Хотите выжать из MySQL максимум возможностей? Вам поможет уникальная книга, написанная экспертами для экспертов.
Пора изучать лучшие практики, начиная с постановки целей уровня обслуживания, проектирования схем, индексов, запросов и заканчивая настройкой вашего сервера, операционной системы и оборудования, чтобы реализовать потенциал вашей платформы по максимуму. Администраторы баз данных научатся безопасным и практичным способам масштабирования приложений с помощью репликации, балансировки нагрузки, высокой доступности и отказоустойчивости.
Это издание было обновлено и переработано с учетом последних достижений в области облачного и самостоятельного хостинга MySQL, производительности InnoDB, а также новых функций и инструментов. Вы сможете разработать платформу реляционных данных, которая будет масштабироваться вместе с вашим бизнесом, и узнаете о передовых методах обеспечения безопасности, производительности и стабильности баз данных.
Читать: https://habr.com/ru/companies/piter/articles/731236/
Привет, Хаброжители!
Хотите выжать из MySQL максимум возможностей? Вам поможет уникальная книга, написанная экспертами для экспертов.
Пора изучать лучшие практики, начиная с постановки целей уровня обслуживания, проектирования схем, индексов, запросов и заканчивая настройкой вашего сервера, операционной системы и оборудования, чтобы реализовать потенциал вашей платформы по максимуму. Администраторы баз данных научатся безопасным и практичным способам масштабирования приложений с помощью репликации, балансировки нагрузки, высокой доступности и отказоустойчивости.
Это издание было обновлено и переработано с учетом последних достижений в области облачного и самостоятельного хостинга MySQL, производительности InnoDB, а также новых функций и инструментов. Вы сможете разработать платформу реляционных данных, которая будет масштабироваться вместе с вашим бизнесом, и узнаете о передовых методах обеспечения безопасности, производительности и стабильности баз данных.
Читать: https://habr.com/ru/companies/piter/articles/731236/
Three Major IoT Data-Related Challenges and How to Address Them
Read: https://www.mongodb.com/blog/post/three-major-iot-data-related-challenges-how-address-them
Read: https://www.mongodb.com/blog/post/three-major-iot-data-related-challenges-how-address-them
[recovery mode] Готов для ML, VDI и остального: обзор сервера Altos BrainSphere R360F5
Информация давно стала новой нефтью, поэтому потребности в её обработке растут бешеными темпами. Заинтересованные в преимуществах от владения массивами данных компании запасаются серверными ресурсами и даже строят свои ЦОДы, чтобы не зависеть от доброй воли крупных игроков и не участвовать в трансграничной передаче данных.
Наиболее востребованные сегодня задачи — высокопроизводительные вычисления, машинное обучение и искусственный интеллект, виртуализация и облачные сервисы, — чрезвычайно требовательны к аппаратным ресурсам. Их просто невозможно решить, имея в распоряжении серверы начального или даже среднего уровня.
В этом посте мы расскажем о сервере Altos BrainSphere R360 F5, который подойдёт для самых ресурсоёмких задач. Как, к примеру, насчёт 4 ТБ RAM в 1U корпусе? Но давайте обо всём по порядку.
Читать: https://habr.com/ru/companies/acer/articles/731490/
Информация давно стала новой нефтью, поэтому потребности в её обработке растут бешеными темпами. Заинтересованные в преимуществах от владения массивами данных компании запасаются серверными ресурсами и даже строят свои ЦОДы, чтобы не зависеть от доброй воли крупных игроков и не участвовать в трансграничной передаче данных.
Наиболее востребованные сегодня задачи — высокопроизводительные вычисления, машинное обучение и искусственный интеллект, виртуализация и облачные сервисы, — чрезвычайно требовательны к аппаратным ресурсам. Их просто невозможно решить, имея в распоряжении серверы начального или даже среднего уровня.
В этом посте мы расскажем о сервере Altos BrainSphere R360 F5, который подойдёт для самых ресурсоёмких задач. Как, к примеру, насчёт 4 ТБ RAM в 1U корпусе? Но давайте обо всём по порядку.
Читать: https://habr.com/ru/companies/acer/articles/731490/
Почему мы стали дороже в этом году
Про такое обычно не пишут посты и вообще всеми силами стараются аккуратно спрятать под ковёр. Но вы нас уже раза три спросили, почему мы подняли цены на тарифы.
Отвечаю: потому что мы очень жадные!
Настолько жадные, что учли инфляцию, колебания курса, повышение стоимости лицензий Microsoft (а мы всё ещё не пиратим), допиздержки на серый импорт железа, повышение цен на IP-адреса и глобальное потепление. Повысили цены и всё равно остались примерно в 2–4 раза дешевле облака одного очень российского поисковика.
В общем, такие времена. Кто-то разливает молоко в пакет по 0,9 литра, а кто-то покупает в VDS-хостинг десктопное железо. Но мы уже выросли достаточно, чтобы понимать, что такое планирование вдолгую, и знаем, что важно нашим клиентам.
А нашим клиентам важно, чтобы всё шло без сюрпризов. Последние три года и так выдались удивительные, и какие-нибудь новости от хостинга — это не то, что они хотели бы.
Читать: https://habr.com/ru/companies/ruvds/articles/731496/
Про такое обычно не пишут посты и вообще всеми силами стараются аккуратно спрятать под ковёр. Но вы нас уже раза три спросили, почему мы подняли цены на тарифы.
Отвечаю: потому что мы очень жадные!
Настолько жадные, что учли инфляцию, колебания курса, повышение стоимости лицензий Microsoft (а мы всё ещё не пиратим), допиздержки на серый импорт железа, повышение цен на IP-адреса и глобальное потепление. Повысили цены и всё равно остались примерно в 2–4 раза дешевле облака одного очень российского поисковика.
В общем, такие времена. Кто-то разливает молоко в пакет по 0,9 литра, а кто-то покупает в VDS-хостинг десктопное железо. Но мы уже выросли достаточно, чтобы понимать, что такое планирование вдолгую, и знаем, что важно нашим клиентам.
А нашим клиентам важно, чтобы всё шло без сюрпризов. Последние три года и так выдались удивительные, и какие-нибудь новости от хостинга — это не то, что они хотели бы.
Читать: https://habr.com/ru/companies/ruvds/articles/731496/