​Hazelcast + Kibana: лучшие друзья для исследования и визуализации данных

Интересный кейс визуализации данных по изменениям в Википедии в Kibana. Читать на Хабре.

​Онлайн-калькулятор для расчета сайзинга кластера Elasticsearch. Основан на формулах из нашей статьи о сайзинге Elasticsearch на Хабре.

Elasticsearch Indexing Strategy in Asset Management Platform (AMP)

В блоге Neflix рассказывают как они работают с 7Тб хранилищем.

​Lamoda интересно рассказывает об устройстве своего поиска.

Вы «продоете теплых кросовок»: ищем идеальную пару обуви с помощью Elasticsearch

В этой статье мы расскажем:

⚡️ что находится «под капотом» поиска в Lamoda;

⚡️ как мы понимаем пользователей и разбираем поисковые запросы;

⚡️ как обогащаются атрибуты товаров и по какой логике формируется запрос к Elasticsearch;

⚡️ над чем работаем сейчас и какие есть планы на будущее.

Читать дальше на Хабре.

​Только Elastic Stack и ничего лишнего

Приглашаем на ближайшее 3-дневное обучение Elastic Stack. Обучение будет проходить 20-22 декабря в онлайн-формате через Zoom.

Каждый день обучения состоит из блоков теории и практики. Мы пройдем путь от установки отказоустойчивого кластера Elasticsearch до настроек продвинутых визуализаций в Kibana, разберемся с сайзингом кластера, настроим оповещения, создадим снэпшоты на хранилище S3 и отключим одну из нод, чтобы увидеть что произойдет с кластером. На курсе также подробно разбирается тема Index Lifecycle Management (ILM).

Для лабораторных работ мы подготовили интересные датасеты с хитами чарта Rolling Stones, героями игры Heroes of Might and Magic 3 и другими. За 3 дня вы научитесь проектировать и разворачивать отказоустойчивый кластер Elasticsearch, создавать информативные визуализации в Kibana и формировать комплексные ingest-pipelines.

Подробная программа курса на нашем сайте. Места ещё есть.

Как мы логшипим в Elasticsearch и что думаем о Filebeat

Привет, я - Эдгар, backend-разработчик личного кабинета МегаФон, поделюсь решением проблемы log shipping-процесса в централизованное хранилище Elasticsearch, которое мы нашли вместе с командой. На Хабр!

ElasticSearch — как мы делали свою речевую аналитику

Мы в TQM используем Elastic потому, что он гибкий, широко известный, имеет удобный и простой синтаксис, множество библиотек для работы как на Python, так и на C# (NEST). Хорошо скейлится под наши объемы (1—30 Тб).Kibana также очень удобна, мы используем ее для мониторинга, консоль Kibana применяем для запросов. А еще по сравнению с тем же Sphinx, Elastic удобно масштабировать (просто добавляем шарды, ноды, и он сам распределяет данные по ним). В случае с тем же Sphinx нам пришлось бы писать этот распределенный поиск самим, и не факт, что у нас получилось бы хорошо с первого раза. На Хабр!

Короткая статья о нечетком поиске в Elasticsearch

https://medium.com/@vipulkumar_36528/fuzzy-query-in-elastic-search-393c8db7c496

Короткая статья об опыте обновления 10 нод Elasticsearch. Полезно на волне новостей об уязвимостях log4j.

​How to Quickly Setup an ELK Stack and Elastic Agent to Monitor macOS Event Data

Читать на Медиуме.

16-18 февраля проведем 3-дневный вводный курс по работе с Elastic Stack.

Мы добавили в курс разделы с конвертированием SQL в DSL, нагрузочное тестирование кластера Elastic при помощи утилиты Rally, работы с задачами машинного обучения и SIEM.

После прохождения курса вы будете уметь разворачивать защищенный кластер, настраивать обработку различных данных, создавать визуализации в Kibana, рассчитывать сайзинг и многое другое.

Курс — это как ракета-носитель, которая за 3 дня выведет вас на заданную орбиту. Вы сможете сразу приступить к работе вместо долгого изучения документации по каждому из компонентов Elastic Stack.

Подробная программа, условия и на нашем сайте. Вопросы можно задать @galssoftware

Elastic 8.0: A new era of speed, scale, relevance, and simplicity

Ждали, ждали и дождались. Что нового?

​Migrating MySQL Data to ElasticSearch Using Logstash

Подход к миграции из MySQL в Elasticsearch для повышения скорости поиска по данным. Ссылка.

Investigate Log4Shell exploits with Elastic Security and Observability — в этой статье в блоге Elastic пример реализации поиска уязвимости Log4Shell при помощи модулей Observability и Security. Эти модули доступны и в бесплатной версии Elastic, поэтому использовать их можно совершенно свбодно.

В связи с приостановкой поставок в РФ таких известных APM-решений как Appdynamics или Dynatrace, возможности Elastic APM будут как нельзя кстати.

Рубрика «Удивительное рядом». И никто не знает чей. И как там появляются новые записи.

Эксперты обнаружили сервер Elasticsearch с содержимым СМС-сообщений от сервисов и банков, включая «Тинькофф» и «Озон»

В сети Интернет с 1 апреля 2022 года находится в открытом доступе сервер Elasticsearch, в индексе которого содержатся СМС-сообщения от различных российских и зарубежных сервисов и банков. Читать дальше.

Synonym Search in Elasticsearch and Alternatives — поиск синонимов в Elasticsearch. Ссылка.

​В принципе, даже понятно почему так часто бывают утечки из кластеров Elasticsearch. Обратите внимание, при разворачивании Elasticsearch в docker-контейнерах, если ничего не сделать, docker залезет в ваш iptables и откроет доступ к порту 9200 из внешней среды. Это не очень страшно если ваш сервер во внутреннем контуре, но если во внешнем, рано или поздно ваш открытый кластер будет обнаружен. Синк эбаут ит.

Вот парочка статей на тему:

Be careful with Docker ports!

Securing Your ElasticSearch Instances

​И немного о настройке интеграции Elasticsearch с SQL Server

Let’s Data Transfer from Sql Server to Elasticsearch using Logstash

With this article, I will try to explain how we can get data from Sql Server to Elasticsearch using Logstash on windows.

https://link.medium.com/FObfyOyo3ob

​У ELK’и иголки колки: минимизируем потерю сообщений в Logstash, следим за состоянием Elasticsearch

Интересная статья на Хабре о persistent queue — возможности Logstash скидывать данные на диск при невожности их передать.

How to Migrate from Elasticsearch to OpenSearch

Если по каким-то причинам вы решили отказаться от бесплатной версии Elastic, либо лишились возможности продлить подписку, то, скорее всего, уже рассматриваете OpenSearch. Основное очевидное преимущество — возможность штатной интеграции c AD. Остальные преимущества, на наш взгляд, весьма спорны.

Но если рассматриваете — вот неплохой гайд.