Регулярные выражения: где и как системный аналитик с ними работает?

Первый пост про регулярки здесь

В моей практике потребность возникала в нескольких случаях:

1️⃣ Составление требований к валидации данных
При проектировании интеграций и баз данных приходится продумывать, каким требованиям должны соответствовать данные для корректной валидации. Например, валидация для полей с email.

В таких случаях я обычно описываю сами требования к валидации, а написание регулярных выражений оставляю программистам. Но базовое понимание их работы мне помогает, когда нужно проверить существующие данные, посмотреть требования валидации у сторонних систем или (и это моё любимое) найти ошибку в регулярке, написанной разработчиками.

Сейчас у меня сложная и довольно объёмная задача — продумать валидацию для более чем 700 атрибутов нашей системы.

2️⃣ Проверка и поиск данных
Иногда возникает необходимость проверить, что все данные в БД соответствуют формату "номеров телефонов", в этом случаеочень удобно использовать подходящую регулярку в SQL-запросе. Главное — убедиться, что ваша БД поддерживает регулярные выражения и что для нужной операции нет ограничений.

3️⃣ Требования к трансформации данных при миграции
Во время миграции данных из одной системы бывает нужно очистить или преобразовать данные.

Здесь аналитик может использовать регулярки при написании требований, чтобы проверить их корректность. Дальше, как правило, с задачей работают DWH-инженеры или разработчики. Для меня этот случай самый интересный и, пожалуй, самый сложный. Встречался всего пару раз за практику.

Существуют и другие случаи, но я о них знаю только от коллег:

4️⃣ Анализ логов и данных
Некоторым аналитикам в процессе работы приходится анализировать логи для выявления:

- ошибок;
- подозрительных данных;
- фильтрации логов.
5️⃣ Интеграция данных из разных систем
При интеграции может понадобиться извлечь данные, соответствующие определённым шаблонам. В этом случае их можно описать с помощью регулярных выражений.

✅Заключение:

Регулярные выражения не являются основным hard skill для аналитика, но могут встретиться на разных этапах работы. Вполне возможно построить успешную карьеру системного аналитика, не вдаваясь в подробности, как их писать. Однако знать и понимать, когда их можно использовать, — полезный навык.

⚡️ В следующих постах расскажу:

- как, не умея писать сложные регулярки, я работаю с ними без проблем;
- кейс по написанию требований к валидации для 700+ атрибутов данных.

А пока — поделитесь, какие задачи с регулярками были в вашей практике?