REST API Firebase или как не заморачиваться с сервером для пет-проекта

Хочется простой бэк для хранения данных, которые используются на фронтенде, но не хочется устанавливать зависимости Firebase. И еще хочется все это задеплоить на Vercel.

Появилось вот такое желание при разработке своего пет-проекта (без туториалов на ютубе и тд.).Стек: React, TypeScript, RTK. Первое что вспомнил — это JSON Plaseholder. Но у этого сервиса есть ограничение: вы не можете самостоятельно спроектировать API.


Читать: https://habr.com/ru/articles/729252/

[recovery mode] Как вы храните свой фотоархив?

В своей статье я хочу обсудить плюсы и минусы разных вариантов хранения вашего цифрового семейного архива, описать что использую я, и надеюсь в комментариях узнать новые для себя варианты хранения.

Итак, у вас, как и у меня есть огромное количество фоток на компьютере и телефоне за последние десяток, а то и пару десятков лет. Их как-то нужно хранить, а еще и желательно иметь быстрый доступ к ним. И для оценки разных вариантов хранения, я выделил 4 параметра:


Читать: https://habr.com/ru/articles/729474/

Автоматическая установка платформы TrueNAS

Команда «ХОСТКЕЙ» добавила новую платформу для хранения и управления данными — TrueNAS. Мы хотим рассказать об этом интересном дистрибутиве тем клиентам, которые ищут простое и удобное решение для управления данными при аренде серверов.

TrueNAS — это быстрое и надежное решение для хранения и управления данными, которое позволяет значительно улучшить качество предоставляемых услуг. TrueNAS предлагает широкий спектр возможностей: создание датасетов, виртуальных машин и контейнеров, использование Windows Shares, Unix Shares, Block Shares, WebDAV Shares. Одно из главных преимуществ TrueNAS — возможность простой установки нескольких десятков полезных приложений: Minio, Nextcloud, Plex, Syncthing, WG Easy и т. д. С полным списком приложений, доступных пользователям TrueNAS SCALE, можно ознакомиться на сайте TrueNAS. Использование TrueNAS SCALE позволит увеличить масштабирование проектов и гарантировать быстрый доступ к данным.


Читать: https://habr.com/ru/companies/hostkey/articles/729052/

Search Modernization with Pureinsights and MongoDB Atlas Search

Read: https://www.mongodb.com/blog/post/search-modernization-pureinsights-mongodb-atlas-search

Visiology 3.2: вот теперь действительно можно в прод

Привет, Хабр! Сегодня мы делимся новшествами в нашем релизе Visiology 3.2, а также раскрываем улучшения, которые коснулись второй версии платформы в релизе 2.31. Самым важным событием этого обновления стоит считать отказ от маркировки Preview. Таким образом, начиная с Visiology 3.2 мы готовы предлагать нашу BI-платформу с поддержкой наиболее распространенных операторов DAX, визуальной моделью данных как альтернативу Microsoft Power BI и другим аналитическим системам. Под катом — новое в модели доступа, улучшение скорости на 60+%, подключение CSV, пользовательские виджеты и многое другое, в общем — подробный разбор улучшений в Visiology 3.2 и Visiology 2.31.


Читать: https://habr.com/ru/companies/visiology/articles/729582/

Three Major IoT Data-Related Challenges and How to Address Them

Read: https://www.mongodb.com/blog/post/three-major-iot-data-related-challenges-how-address-them

Three Ways Retailers Use MongoDB for Their Mobile Strategy

Read: https://www.mongodb.com/blog/post/three-ways-retailers-use-mongodb-their-mobile-strategy

КПП в кармане: как мы автоматизировали контроль доступа на территорию с нуля

Сегодня в блоге ЛАНИТ я хочу поделиться с вами историей разработки сервиса PASS24.online, который используется в коттеджных посёлках, жилых комплексах и бизнес-центрах для того, чтобы управлять доступом людей и автомобилей на территорию. Фактически за несколько лет мы довели идею полезного и удобного мобильного приложения до функционального сервиса, который уже ищут заказчики. Мой рассказ может быть интересен тем, кто хочет создать свой программный продукт и размышляет о запуске чего-то реально нового. Под катом — некоторые подробности о создании нашего сервиса, а также примеры и критерии выбора дополнительных фич для разработки.


Читать: https://habr.com/ru/companies/lanit/articles/728408/

Operationalize Digital Transformation with a Robust Analytical Data Store

Read: https://www.mongodb.com/blog/post/operationalize-digital-transformation-robust-analytical-data-store

DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps

Какой смысл в BIG DATA и аналитических моделях машинного обучения, если информация вовремя не попадает к разработчикам, бизнес-аналитикам и руководителям? Если в вашей компании время передачи информации к специалистам по тестированию, развертыванию и поддержке занимает дни, а не секунды, пришла пора задуматься о внедрении практик DataOps (DATA Operations, датаопс).

Чтобы ближе познакомить вас с современными инструментами обработки и передачи информации, мы подготовили перевод ключевых тезисов из статьи «DataOps — что это такое и почему вам это должно быть интересно?».



Читать: https://habr.com/ru/companies/cloud_mts/articles/730070/

Кому нужна Cassandra? Пара слов о преимуществах колоночных ​​баз данных

Колоночная база данных — это такой тип базы данных, в которой данные группируются (хранятся и извлекаются) не по строкам, а по столбцам.

В традиционной строчной базе данных данные хранятся и извлекаются по строкам, что означает, что все столбцы строки должны храниться вместе. Однако в колоночной базе данных, ориентированной на столбцы, каждый столбец таблицы хранится отдельно, что позволяет более эффективно хранить и извлекать данные.

Одни из самых популярных колоночных баз данных – Apache Cassandra и Apache HBase.


Читать: https://habr.com/ru/companies/otus/articles/729890/

Bosch IoT and the Importance of Application-Driven Analytics

Read: https://www.mongodb.com/blog/post/bosch-iot-the-importance-application-driven-analytics

Московский политех не слышал про конфиденциальность

Почему не стоит подавать документы через сайт Московского Политеха, какая угроза персональным данным абитуриента и к чему может привести утечка данных? Обо всем этом — в данной статье.


Читать: https://habr.com/ru/articles/730236/

ADDM Spotlight provides strategic advice to optimize Oracle database performance

Oracle Database ADDM (Automatic Database Diagnostic Monitor) has new Spotlight capability in Oracle Enterprise Manager and Oracle Cloud Infrastructure Operations Insights service. The feature enables administrators to get ADDM analysis across databases deployed in diverse environments over long periods from a single pane of glass. Read this blog to learn how you can get better database performance analysis with this capability.

Read: https://blogs.oracle.com/database/post/addm-spotlight-strategic-advice-optimize-oracle-dbms

Ещё эпические фейлы при открытии в Казахстане (почему мы так задержались)


ЦОД в Астане, где мы встали

В прошлый раз я рассказал про то, как «учёный изнасиловал журналиста». Кратко: мы выпустили релиз, что встаём в ЦОДы «Транстелекома», «Форбс Казахстан» написал, что мы совместно открываем два ЦОДа, дальше наши «новообретённые» партнёры узнали много нового о себе и своих стратегических партнёрствах и очень удивились. Про эти приключения в прошлом посте.

Это не первый опыт наших эпик фейлов в Казахстане.

Оставалось купить железо, настроить оплаты и заехать в ЦОДы.

Если бы всё шло хорошо, пост бы в этом месте кончился. Предоставили сервис, спасибо, всё дальше было отлично.


Читать: https://habr.com/ru/companies/ruvds/articles/730054/

DataHub: как делиться структурированными данными и получать за них донаты?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.


Читать: https://habr.com/ru/articles/730434/

Как создать таблицы в БД ClickHouse на основе CSV

Когда я впервые начал знакомиться с колоночно-ориентированной СУБД ClickHouse, я не смог найти подходящий инструмент (кроме встроенного в веб-интерфейс ClickHouse Cloud) для создания таблиц с нужными столбцами и типами данных на основе CSV файлов или Pandas датафреймов. Ни clickhouse-connect, ни clickhouse-driver не обладали такой функциональностью, как метод to_sqlв SQLAlchemy.

Я хотел загрузить свой любимый набор данных о чемпионатах мира по автогонкам класса Формула-1 в ClickHouse, но вручную создавать 15 таблиц было слишком лениво. Хотелось просто скормить нужные CSV файлы скрипту и на выходе получить БД с нужными таблицами и данными внутри.

Когда я ранее знакомился с PySpark, я заметил, что многие data-профессионалы используют Pandas для определения схемы данных перед загрузкой файлов CSV в PySpark. И я подумал, почему бы не использовать Pandas для определения типов данных по столбцам?

Так я создал этот скрипт, которым хочу поделиться. Я надеюсь, что он поможет вам сэкономить немного времени, а мне даст возможность получить от вас пару фидбеков и идей для улучшения.

Я не уверен в полной совместимости типов данных между Pandas и ClickHouse: быстрый поиск дал противоречивые результаты, поэтому поправьте меня, если найдете какие-либо расхождения.

И будьте осторожны с replace_flag- если установлено значение True, то скрипт пересоздаст таблицы с тем же именем, если они уже существуют, поэтому вы можете потерять существующие данные в своей базе данных. Чтобы избежать этого, но также избежать дублирования данных, я рекомендую указать несуществующее имя базы данных в качестве database_name. Если установлено значение False в replace_flag, данные из ваших файлов CSV будут добавляться в существующие таблицы с тем же именем (конечно же, число столбцов и их типы данных должны совпадать).


Читать: https://habr.com/ru/articles/730470/

Сравнение SQL- и NoSQL-баз данных



SQL и NoSQL — две популярные модели баз данных, которые используют для решения различных задач. Чтобы понять, какая из них подойдёт в вашем случае, необходимо разобраться в их различиях, преимуществах и недостатках.

В этой статье я рассмотрю основные характеристики SQL- и NoSQL-баз данных и сравню их, чтобы помочь выбрать лучший вариант для вашего проекта.

Читать: https://habr.com/ru/companies/ruvds/articles/727474/

DataHub: репозитории данных коммерческого типа. Как зарабатывать на доступе к данным?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье покажу, каким образом можно монетизировать имеющиеся у вас структурированные и неструктурированные данные будь вы разработчик, data-scientist или ML-специалист.


Читать: https://habr.com/ru/articles/730638/

Property Graphs in SQL Developer release 23.1

You can use your favorite SQL tool (SQL Developer) to run SQL queries and PGQL queries on property graphs.

Read: https://blogs.oracle.com/database/post/property-graphs-in-sql-developer-release-231

PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT

PHPize.online это онлайн-сервис, где можно быстро создать и выполнить запросы к базам данных SQL, используя любую из самых популярных СУБД.

Читать: «PHPize.online — моя песочница для работы с SQL, PHP и ChatGPT»