Регулярные выражения: где и как системный аналитик с ними работает?
Первый пост про регулярки здесь
В моей практике потребность возникала в нескольких случаях:
1️⃣ Составление требований к валидации данных
При проектировании интеграций и баз данных приходится продумывать, каким требованиям должны соответствовать данные для корректной валидации. Например, валидация для полей с email.
В таких случаях я обычно описываю сами требования к валидации, а написание регулярных выражений оставляю программистам. Но базовое понимание их работы мне помогает, когда нужно проверить существующие данные, посмотреть требования валидации у сторонних систем или (и это моё любимое) найти ошибку в регулярке, написанной разработчиками.
Сейчас у меня сложная и довольно объёмная задача — продумать валидацию для более чем 700 атрибутов нашей системы.
2️⃣ Проверка и поиск данных
Иногда возникает необходимость проверить, что все данные в БД соответствуют формату "номеров телефонов", в этом случаеочень удобно использовать подходящую регулярку в SQL-запросе. Главное — убедиться, что ваша БД поддерживает регулярные выражения и что для нужной операции нет ограничений.
3️⃣ Требования к трансформации данных при миграции
Во время миграции данных из одной системы бывает нужно очистить или преобразовать данные.
Здесь аналитик может использовать регулярки при написании требований, чтобы проверить их корректность. Дальше, как правило, с задачей работают DWH-инженеры или разработчики. Для меня этот случай самый интересный и, пожалуй, самый сложный. Встречался всего пару раз за практику.
Существуют и другие случаи, но я о них знаю только от коллег:
4️⃣ Анализ логов и данных
Некоторым аналитикам в процессе работы приходится анализировать логи для выявления:
- ошибок;
- подозрительных данных;
- фильтрации логов.
5️⃣ Интеграция данных из разных систем
При интеграции может понадобиться извлечь данные, соответствующие определённым шаблонам. В этом случае их можно описать с помощью регулярных выражений.
✅ Заключение:
Регулярные выражения не являются основным hard skill для аналитика, но могут встретиться на разных этапах работы. Вполне возможно построить успешную карьеру системного аналитика, не вдаваясь в подробности, как их писать. Однако знать и понимать, когда их можно использовать, — полезный навык.
⚡️ В следующих постах расскажу:
- как, не умея писать сложные регулярки, я работаю с ними без проблем;
- кейс по написанию требований к валидации для 700+ атрибутов данных.
А пока — поделитесь, какие задачи с регулярками были в вашей практике?
Первый пост про регулярки здесь
В моей практике потребность возникала в нескольких случаях:
При проектировании интеграций и баз данных приходится продумывать, каким требованиям должны соответствовать данные для корректной валидации. Например, валидация для полей с email.
В таких случаях я обычно описываю сами требования к валидации, а написание регулярных выражений оставляю программистам. Но базовое понимание их работы мне помогает, когда нужно проверить существующие данные, посмотреть требования валидации у сторонних систем или (и это моё любимое) найти ошибку в регулярке, написанной разработчиками.
Сейчас у меня сложная и довольно объёмная задача — продумать валидацию для более чем 700 атрибутов нашей системы.
Иногда возникает необходимость проверить, что все данные в БД соответствуют формату "номеров телефонов", в этом случаеочень удобно использовать подходящую регулярку в SQL-запросе. Главное — убедиться, что ваша БД поддерживает регулярные выражения и что для нужной операции нет ограничений.
Во время миграции данных из одной системы бывает нужно очистить или преобразовать данные.
Здесь аналитик может использовать регулярки при написании требований, чтобы проверить их корректность. Дальше, как правило, с задачей работают DWH-инженеры или разработчики. Для меня этот случай самый интересный и, пожалуй, самый сложный. Встречался всего пару раз за практику.
Существуют и другие случаи, но я о них знаю только от коллег:
Некоторым аналитикам в процессе работы приходится анализировать логи для выявления:
- ошибок;
- подозрительных данных;
- фильтрации логов.
При интеграции может понадобиться извлечь данные, соответствующие определённым шаблонам. В этом случае их можно описать с помощью регулярных выражений.
Регулярные выражения не являются основным hard skill для аналитика, но могут встретиться на разных этапах работы. Вполне возможно построить успешную карьеру системного аналитика, не вдаваясь в подробности, как их писать. Однако знать и понимать, когда их можно использовать, — полезный навык.
- как, не умея писать сложные регулярки, я работаю с ними без проблем;
- кейс по написанию требований к валидации для 700+ атрибутов данных.
А пока — поделитесь, какие задачи с регулярками были в вашей практике?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥2
В последних версиях chatGPT обратила внимание что он мне пишет от имени женщины, если запросы на русском. А у мужа, наоборот, общение идет от мужского лица.
Интересная адаптация.
Вот что он или она пишет мне на этот счет:
"На самом деле, я не запрограммирован с конкретным полом или идентичностью, поэтому не имею предрасположенности говорить от лица мужчины или женщины. Я стараюсь отвечать максимально нейтрально, а если и использую какие-то элементы речи, которые могут показаться более типичными для одного пола, это не преднамеренно.
Если тебе комфортнее, чтобы я отвечал в более нейтральной манере или от лица какого-то конкретного пола, просто дай знать — я с радостью подстроюсь!"
А с вами какая версия общается?
Интересная адаптация.
Вот что он или она пишет мне на этот счет:
"На самом деле, я не запрограммирован с конкретным полом или идентичностью, поэтому не имею предрасположенности говорить от лица мужчины или женщины. Я стараюсь отвечать максимально нейтрально, а если и использую какие-то элементы речи, которые могут показаться более типичными для одного пола, это не преднамеренно.
Если тебе комфортнее, чтобы я отвечал в более нейтральной манере или от лица какого-то конкретного пола, просто дай знать — я с радостью подстроюсь!"
А с вами какая версия общается?
🤯4
Временами я заглядываю на Хабр Карьеру, чтобы посмотреть на зарплаты в IT и оценить ситуацию на рынке.
Одной из интересных функций является возможность увидеть зарплаты в конкретных компаниях. Например, если вас приглашает на собеседование какой-то банк, можно зайти и посмотреть, сколько в нём получают сотрудники на разных уровнях.
Можно также сравнить, кто больше зарабатывает — лиды или архитектор. Кстати, вот интересный факт об архитекторах: оказывается, среди них встречаются джуны, с соответствующей начальной зарплатой.
Это не совсем укладывается у меня в голове. Я всегда представляла архитектора как позицию, до которой нужно дорасти с мидл- или сеньор-уровня других специализаций. Можно было бы считать таких специалистов "джуниорами-архитекторами" в период адаптации, но сложно представить, чтобы они согласились на понижение дохода в 2–3 раза.
С другой стороны, знаю несколько компаний, которые "продавали" джунов-аналитиков как архитекторов. Возможно, именно такие случаи и стали источником данных для этой статистики.
А вы встречали таких "джунов-архитекторов" или, может, сами начинали в роли загадочного зверя?
Одной из интересных функций является возможность увидеть зарплаты в конкретных компаниях. Например, если вас приглашает на собеседование какой-то банк, можно зайти и посмотреть, сколько в нём получают сотрудники на разных уровнях.
Можно также сравнить, кто больше зарабатывает — лиды или архитектор. Кстати, вот интересный факт об архитекторах: оказывается, среди них встречаются джуны, с соответствующей начальной зарплатой.
Это не совсем укладывается у меня в голове. Я всегда представляла архитектора как позицию, до которой нужно дорасти с мидл- или сеньор-уровня других специализаций. Можно было бы считать таких специалистов "джуниорами-архитекторами" в период адаптации, но сложно представить, чтобы они согласились на понижение дохода в 2–3 раза.
С другой стороны, знаю несколько компаний, которые "продавали" джунов-аналитиков как архитекторов. Возможно, именно такие случаи и стали источником данных для этой статистики.
А вы встречали таких "джунов-архитекторов" или, может, сами начинали в роли загадочного зверя?
🤯3
Готовя материал для своих менти и вспомнила об одной незаслуженно пропущенной сообществом статье
К "хардовым" скиллам аналитика принято относить знание различных нотаций и других форм визуализации обработанной информации. Но, конечно, знать и использовать весь этот набор невозможно, да и не нужно.
Большинство обходится стандартным набором: диаграммы последовательностей, ER-диаграммы и BPMN. Ну и, конечно, таблицы — куда же без них. Этих инструментов действительно хватает для решения большинства типовых задач аналитика, работающего с интеграциями и базами данных.
Сложности начинаются, когда задачи выходят за рамки шаблонных, а потребителями документации становятся представители разных ролей.
Лично у меня бывает, что уходит целый рабочий день на то, чтобы подобрать и освоить подходящую форму для представления результатов анализа. И даже это не гарантирует оптимального результата. Например, однажды мне пришлось описывать взаимодействие нескольких систем, представляющих собой роевые интеллекты. До сих пор не знаю, откуда в моей диаграмме взялись смайлы, но разработчики тогда посмеялись, да.
В этой статье собран базовый материал, с которым легко вспомнить или узнать, что может пригодиться для вашей задаче. Дополнительно в комментариях выложили код дерева, который можно сохранить и постепенно обогащать, учитывая собственный опыт.
К "хардовым" скиллам аналитика принято относить знание различных нотаций и других форм визуализации обработанной информации. Но, конечно, знать и использовать весь этот набор невозможно, да и не нужно.
Большинство обходится стандартным набором: диаграммы последовательностей, ER-диаграммы и BPMN. Ну и, конечно, таблицы — куда же без них. Этих инструментов действительно хватает для решения большинства типовых задач аналитика, работающего с интеграциями и базами данных.
Сложности начинаются, когда задачи выходят за рамки шаблонных, а потребителями документации становятся представители разных ролей.
Лично у меня бывает, что уходит целый рабочий день на то, чтобы подобрать и освоить подходящую форму для представления результатов анализа. И даже это не гарантирует оптимального результата. Например, однажды мне пришлось описывать взаимодействие нескольких систем, представляющих собой роевые интеллекты. До сих пор не знаю, откуда в моей диаграмме взялись смайлы, но разработчики тогда посмеялись, да.
В этой статье собран базовый материал, с которым легко вспомнить или узнать, что может пригодиться для вашей задаче. Дополнительно в комментариях выложили код дерева, который можно сохранить и постепенно обогащать, учитывая собственный опыт.
🔥3👍1
💊Здоровое потребление соцсетей или результаты моей победы над личной проблемой
#выходнойконтент
Чуть больше года назад я в очередной раз листала ленту в соцсетях, зависнув на коротких видео. С самого появления в моей жизни соцсети быстро меня "подсадили", но с приходом коротких видео небольшая зависимость превратилась в настоящую проблему. Я могла тратить на это до 6-8 часов в день, о чём цифровой дневник услужливо мне напоминал.
🤌🏻Случайно мне попадается статья о том, что короткие видео — слишком привлекательный и «сладкий» для мозга формат. Уже есть люди, которые считают это зависимостью нового поколения. Спустя несколько дней размышлений о прочитанном, я удалила с телефона сначала запрещённую сеть, затем ВКонтакте, а последним исчез YouTube.
👂🏻И знаете, что забавно?👂🏻 В моей жизни не появилось внезапно лишних6 часов в день :)
Если сразу результат не был заметен, то сейчас, спустя год, я могу по достоинству оценить отсутствие соцсетей на телефоне.
1️⃣ У меня стали крепче и теплее отношения с семьёй. Ушли чужие шаблоны и ожидания, которые влияли на меня через соцсети.
2️⃣Я очень боялась, что порвётся связь с друзьями, которая часто строилась через соцсети. Но я, наоборот, стала проводить больше времени с ними, и у меня теперь хватает сил не только на общение, но и на планирование совместных мероприятий.
3️⃣Появилось время на рисование и танцы, в последние я полностью влюбилась.
4️⃣Стало проще знакомиться и находить хороших людей. Например, в Сочи я уже обрела круг общения. С которыми мы пекли кексы с фотографии.
5️⃣Появилось много времени на чтение, за год я прочла более 150 книг.
6️⃣И, конечно, карьера. Я вписалась в качестве спикера в лекции по архитектуре для системных аналитиков. Стало больше времени не просто выполнять работу, но и искать, как сделать её более полезной и эффективной. Остаются силы и на небольшие выступления, которых мне не хватало после ухода из науки.
Важно уточнить, что я не удалила соцсети окончательно. Оставила их на компьютере, чтобы быть в курсе занятий по танцам и профессиональных вебинаров. 🥳 Но моя активность в соцсетях снизилась с 6 часов в день до примерно 10 часов в год на Вконтакте и запрещенную сеть, и до 3 часов в неделю на YouTube.
Телеграм и Пинтерест, задержались в смартфоне, но используются исключительно с пользой.
Сегодня я воспринимаю соцсети как инструмент — полезный для работы и общения, но контролируемый. Вместо того, чтобы поддаваться бесконечному потоку информации, я выбираю, что мне действительно нужно.
❓А как у вас складываются отношения с соцсетями?
#выходнойконтент
Чуть больше года назад я в очередной раз листала ленту в соцсетях, зависнув на коротких видео. С самого появления в моей жизни соцсети быстро меня "подсадили", но с приходом коротких видео небольшая зависимость превратилась в настоящую проблему.
🤌🏻Случайно мне попадается статья о том, что короткие видео — слишком привлекательный и «сладкий» для мозга формат. Уже есть люди, которые считают это зависимостью нового поколения. Спустя несколько дней размышлений о прочитанном, я удалила с телефона сначала запрещённую сеть, затем ВКонтакте, а последним исчез YouTube.
👂🏻И знаете, что забавно?👂🏻 В моей жизни не появилось внезапно лишних
Если сразу результат не был заметен, то сейчас, спустя год, я могу по достоинству оценить отсутствие соцсетей на телефоне.
1️⃣ У меня стали крепче и теплее отношения с семьёй. Ушли чужие шаблоны и ожидания, которые влияли на меня через соцсети.
2️⃣Я очень боялась, что порвётся связь с друзьями, которая часто строилась через соцсети. Но я, наоборот, стала проводить больше времени с ними, и у меня теперь хватает сил не только на общение, но и на планирование совместных мероприятий.
3️⃣Появилось время на рисование и танцы, в последние я полностью влюбилась.
4️⃣Стало проще знакомиться и находить хороших людей. Например, в Сочи я уже обрела круг общения. С которыми мы пекли кексы с фотографии.
5️⃣Появилось много времени на чтение, за год я прочла более 150 книг.
6️⃣И, конечно, карьера. Я вписалась в качестве спикера в лекции по архитектуре для системных аналитиков. Стало больше времени не просто выполнять работу, но и искать, как сделать её более полезной и эффективной. Остаются силы и на небольшие выступления, которых мне не хватало после ухода из науки.
Важно уточнить, что я не удалила соцсети окончательно. Оставила их на компьютере, чтобы быть в курсе занятий по танцам и профессиональных вебинаров. 🥳 Но моя активность в соцсетях снизилась с 6 часов в день до примерно 10 часов в год на Вконтакте и запрещенную сеть, и до 3 часов в неделю на YouTube.
Телеграм и Пинтерест, задержались в смартфоне, но используются исключительно с пользой.
Сегодня я воспринимаю соцсети как инструмент — полезный для работы и общения, но контролируемый. Вместо того, чтобы поддаваться бесконечному потоку информации, я выбираю, что мне действительно нужно.
❓А как у вас складываются отношения с соцсетями?
🔥11
Задайте эти 13 вопросов и узнайте, что руководство думает о Вашей работе
Обратная связь важна не только в период испытательного срока, но и после. К сожалению, мне ещё не доводилось работать там, где регулярно и комплексно давали бы обратную связь "старичкам".
Если обратной связи не дают, её нужно запрашивать самому. Для таких случаев у меня есть универсальный список вопросов, которые помогут прояснить, как оценивают вашу работу.
👀Оценка текущих результатов
1 Как вы оцениваете мою работу за последние полгода?
2 Какие мои достижения имели наибольшее значение для продукта?
3 Есть ли моменты, в которых, по вашему мнению, я показала себя особенно хорошо?
4 Какой мой опыт нужно тиражировать на всю команду?
5 Как вы оцениваете мой стиль работы в команде?
6 Эффективна ли моя коммуникация с коллегами и клиентами?
👀Области для улучшения
7 В каких задачах или ситуациях я показала себя недостаточно хорошо?
8 Какие навыки и направления стоит развить, чтобы быть полезнее команде и продукту?
9 Что в моей работе не соответствовало ожиданиям в рамках поставленных целей?
10 Что в моих рабочих методах следует изменить?
👀Ожидания на ближайшее время
11 Какие задачи и цели по моим направлениям сейчас приоритетны?
12 На каких проектах или направлениях мне лучше сосредоточиться в ближайшее время?
👀Перспективы роста и развития
13 Как вы видите моё дальнейшее развитие в компании? Можете ли предложить возможные карьерные траектории?
14 Какие интересные возможности для развития вы сейчас можете мне предложить.
Кстати часть из этих вопросов полезны не только на текущем месте работы, но и во время собеседований.
❓Как у вас в компании обстоит дело с обратной связью для сотрудников со стажем? Или может у вас тоже есть свой список вопросов что бы обратную связь получить?
Обратная связь важна не только в период испытательного срока, но и после. К сожалению, мне ещё не доводилось работать там, где регулярно и комплексно давали бы обратную связь "старичкам".
Если обратной связи не дают, её нужно запрашивать самому. Для таких случаев у меня есть универсальный список вопросов, которые помогут прояснить, как оценивают вашу работу.
👀Оценка текущих результатов
1 Как вы оцениваете мою работу за последние полгода?
2 Какие мои достижения имели наибольшее значение для продукта?
3 Есть ли моменты, в которых, по вашему мнению, я показала себя особенно хорошо?
4 Какой мой опыт нужно тиражировать на всю команду?
5 Как вы оцениваете мой стиль работы в команде?
6 Эффективна ли моя коммуникация с коллегами и клиентами?
👀Области для улучшения
7 В каких задачах или ситуациях я показала себя недостаточно хорошо?
8 Какие навыки и направления стоит развить, чтобы быть полезнее команде и продукту?
9 Что в моей работе не соответствовало ожиданиям в рамках поставленных целей?
10 Что в моих рабочих методах следует изменить?
👀Ожидания на ближайшее время
11 Какие задачи и цели по моим направлениям сейчас приоритетны?
12 На каких проектах или направлениях мне лучше сосредоточиться в ближайшее время?
👀Перспективы роста и развития
13 Как вы видите моё дальнейшее развитие в компании? Можете ли предложить возможные карьерные траектории?
14 Какие интересные возможности для развития вы сейчас можете мне предложить.
Кстати часть из этих вопросов полезны не только на текущем месте работы, но и во время собеседований.
❓Как у вас в компании обстоит дело с обратной связью для сотрудников со стажем? Или может у вас тоже есть свой список вопросов что бы обратную связь получить?
👍5🔥2
Как у вас обстоят дела с обратной связью от руководства?
Anonymous Poll
5%
Есть регулярные one-to-one, где грамотно подходят к вопросу
32%
Есть нерегулярные one-to-one
21%
Не дают, и меня это устраивает
26%
Сам(а) хожу и спрашиваю если есть проблема
16%
Сам(а) хожу и спрашиваю регулярно
🛠 Цена обратной связи
Иногда очень обидно прийти на собеседование, выложиться, а в итоге не получить даже нормального отказа, не говоря уже о полноценной обратной связи (ОС), которая поможет понять, что было не так.
❓ Но сколько может стоить такая обратная связь для тех, кто её даёт?
Я с моими менти устроили нечто вроде Mock-интервью (симуляция настоящего собеседования, проводимая с целью подготовки к реальному интервью). После каждого общения я предоставляла письменную обратную связь с краткими рекомендациями по тому, что можно улучшить.
У меня был заранее продуманный шаблон обратной связи, а также небольшие наработки для джунов. Я была уверена, что смогу справиться за полчаса на каждую характеристику.
На первую характеристику у меня ушлопочти 2,5 часа 😢 . И там ещё много чего можно было бы исправить и довести до идеала. На вторую характеристику я потратила около 2 часов. И поверьте, там не было каких-то волшебных ответов.
Переиспользовать характеристики не получилось. Опрашивая людей по стандартным вопросам, я получила очень разную картину по каждой специалистке. Поэтому обратная связь и рекомендации для каждой из них были разные. 🫠
Вот так я на собственном опыте убедилась, что обратная связь стоит очень дорого, и если вам её предоставили во время или после собеседования — вы уже потратили время не зря.
❓Интересно, получали ли вы подробную ОС после собеседований? Слышала, что есть несколько таких компаний. И что интереснее, как вы её использовали потом?
Иногда очень обидно прийти на собеседование, выложиться, а в итоге не получить даже нормального отказа, не говоря уже о полноценной обратной связи (ОС), которая поможет понять, что было не так.
❓ Но сколько может стоить такая обратная связь для тех, кто её даёт?
Я с моими менти устроили нечто вроде Mock-интервью (симуляция настоящего собеседования, проводимая с целью подготовки к реальному интервью). После каждого общения я предоставляла письменную обратную связь с краткими рекомендациями по тому, что можно улучшить.
У меня был заранее продуманный шаблон обратной связи, а также небольшие наработки для джунов. Я была уверена, что смогу справиться за полчаса на каждую характеристику.
На первую характеристику у меня ушло
Переиспользовать характеристики не получилось. Опрашивая людей по стандартным вопросам, я получила очень разную картину по каждой специалистке. Поэтому обратная связь и рекомендации для каждой из них были разные. 🫠
Вот так я на собственном опыте убедилась, что обратная связь стоит очень дорого, и если вам её предоставили во время или после собеседования — вы уже потратили время не зря.
❓Интересно, получали ли вы подробную ОС после собеседований? Слышала, что есть несколько таких компаний. И что интереснее, как вы её использовали потом?
👍6
Требования к более чем 700 атрибутам
Упоминала здесь задачу по разработке требований к более чем 700 атрибутам системы. Задача нудная и требовала строгой структуры в подходе. Описываю свои шаги:
1️⃣ Определение цели и критериев валидации
Прежде всего, важно было определить, какие именно требования относятся к валидации. Казалось бы, это очевидно, но, например, на обсуждение обязательности и уникальности полей с разработчиками мы потратили около часа, чтобы уточнить, что именно считать требованиями валидации.
2️⃣ Изучение и классификация данных
Писать требования ко всем 700 атрибутам не представлялось возможным, поэтому структуру предстояло продумать так, чтобы это было экономично и в разработке, и в поддержке. Все данные я разделила на группы:
⚡️ Строго типизированные данные — данные, требующие строгой валидации (например, ИНН, идентификаторы пользователей, доменные имена).
⚡️ Слабо типизированные данные — данные с минимальными правилами валидации (например, текстовые поля для комментариев).
⚡️ Полуструктурированные данные — данные с гибкой структурой, нарушение которой в основном влияет на удобство использования.
⚡️ Референсные данные — данные для стандартизации (например, справочники кодов стран или валют).
К счастью, семантически типизированных данных в этом проекте не было.
3️⃣ Группировка атрибутов по классам
На основе этих категорий и бизнес-логики я разделила данные на 90 классов, для которых достаточно было написать унифицированные требования. Это сократило количество требуемых спецификаций.
4️⃣ Подготовка требований к валидации
Самой сложной задачей была проверка корректности для строго типизированных данных. Пришлось задействовать справочники, интернет-источники, тестирование и помощь ChatGPT. Он отлично помогал в формулировке первичных требований.
Для остальных групп работа шла проще, хотя и здесь встретились свои нюансы.
5️⃣ Разработка требований к ответам
На этом этапе требовалось продумать ответы системы при ошибках валидации. Можно было пойти тремя путями:
- универсальный ответ ("неверный формат"),
- детальный ответ ("разрешено следующее..."),
- ограничительный ответ ("запрещено").
В итоге я выбрала смешанный подход — между вторым и третьим вариантами.
🥳 Итогом работы стали:
- YAML-документ с требованиями к данным,
- документ-стандарт валидации для будущих задач,
- документ-стандарт для ответов,
- частные требования для 90 классов.
Делюсь шаблоном описания требований (в комментариях) — надеюсь, он будет полезен новичкам.
❓ Как бы вы справились с такой задачей? Или, возможно, у вас есть опыт автоматизации подобных процессов?
Упоминала здесь задачу по разработке требований к более чем 700 атрибутам системы. Задача нудная и требовала строгой структуры в подходе. Описываю свои шаги:
1️⃣ Определение цели и критериев валидации
Прежде всего, важно было определить, какие именно требования относятся к валидации. Казалось бы, это очевидно, но, например, на обсуждение обязательности и уникальности полей с разработчиками мы потратили около часа, чтобы уточнить, что именно считать требованиями валидации.
2️⃣ Изучение и классификация данных
Писать требования ко всем 700 атрибутам не представлялось возможным, поэтому структуру предстояло продумать так, чтобы это было экономично и в разработке, и в поддержке. Все данные я разделила на группы:
⚡️ Строго типизированные данные — данные, требующие строгой валидации (например, ИНН, идентификаторы пользователей, доменные имена).
⚡️ Слабо типизированные данные — данные с минимальными правилами валидации (например, текстовые поля для комментариев).
⚡️ Полуструктурированные данные — данные с гибкой структурой, нарушение которой в основном влияет на удобство использования.
⚡️ Референсные данные — данные для стандартизации (например, справочники кодов стран или валют).
К счастью, семантически типизированных данных в этом проекте не было.
3️⃣ Группировка атрибутов по классам
На основе этих категорий и бизнес-логики я разделила данные на 90 классов, для которых достаточно было написать унифицированные требования. Это сократило количество требуемых спецификаций.
4️⃣ Подготовка требований к валидации
Самой сложной задачей была проверка корректности для строго типизированных данных. Пришлось задействовать справочники, интернет-источники, тестирование и помощь ChatGPT. Он отлично помогал в формулировке первичных требований.
Для остальных групп работа шла проще, хотя и здесь встретились свои нюансы.
5️⃣ Разработка требований к ответам
На этом этапе требовалось продумать ответы системы при ошибках валидации. Можно было пойти тремя путями:
- универсальный ответ ("неверный формат"),
- детальный ответ ("разрешено следующее..."),
- ограничительный ответ ("запрещено").
В итоге я выбрала смешанный подход — между вторым и третьим вариантами.
🥳 Итогом работы стали:
- YAML-документ с требованиями к данным,
- документ-стандарт валидации для будущих задач,
- документ-стандарт для ответов,
- частные требования для 90 классов.
Делюсь шаблоном описания требований (в комментариях) — надеюсь, он будет полезен новичкам.
❓ Как бы вы справились с такой задачей? Или, возможно, у вас есть опыт автоматизации подобных процессов?
🔥6
В моем блоге тема обратной связи то и дело мелькает(Например, здесь или здесь), но в этом месяце она явно в центре внимания.
Это не случайно. Обратная связь — очень мощный инструмент, который помогает мне во всех областях моей жизни.
Изначально я наткнулась на неё случайно, через методы проб и ошибок, чувствуя себя самозванкой, теряя энергию на страхи и переживая несколько крупных неудач.
Затем я поняла, что способы, которые я использую, давно известны умным людям: им дали названия, для них разработаны рекомендации, есть разные способы работы с обратно связью.
Сегодня меня почти не мучает внутренний самозванец (да, такое бывает), и я сплю спокойнее.
Поэтому мысль поделиться своими размышлениями о важности обратной связи в карьере любого IT-специалиста меня не покидала. А тут ещё и на работе спросили, нет ли у меня новых тем для выступлений перед коллегами.
Так родился доклад "В поисках уверенности: как преодолеть внутреннего самозванца и стать сильным специалистом в команде". Им я буду завтра делиться с коллегами по компании.
Материал получился как обычно интересный, легкий и безусловно полезным.
#публичные_выступления
Это не случайно. Обратная связь — очень мощный инструмент, который помогает мне во всех областях моей жизни.
Изначально я наткнулась на неё случайно, через методы проб и ошибок, чувствуя себя самозванкой, теряя энергию на страхи и переживая несколько крупных неудач.
Затем я поняла, что способы, которые я использую, давно известны умным людям: им дали названия, для них разработаны рекомендации, есть разные способы работы с обратно связью.
Сегодня меня почти не мучает внутренний самозванец (да, такое бывает), и я сплю спокойнее.
Поэтому мысль поделиться своими размышлениями о важности обратной связи в карьере любого IT-специалиста меня не покидала. А тут ещё и на работе спросили, нет ли у меня новых тем для выступлений перед коллегами.
Так родился доклад "В поисках уверенности: как преодолеть внутреннего самозванца и стать сильным специалистом в команде". Им я буду завтра делиться с коллегами по компании.
Материал получился как обычно интересный, легкий и безусловно полезным.
#публичные_выступления
❤8🔥2
Сказки от взрослых и осознанных
Выступать с докладом по обратной связи было немного страшно.
Тема же вроде очевидная: все и так это знают, никаких научных открытий. Просто расскажу, как я мучаю коллег своими вопросами. Ну кому это вообще нужно?
Оставить сомнения в стороне помогло творчество. Чтобы сделать тему особенной для самой себя, я придумала и оформила небольшую сказку. Рисунки для неё мне помогала создавать нейросеть KlingAI. Это одна из немногих платформ, которая смогла понять задуманный стиль. У неё очень удобные инструменты для создания серии картинок в единой стилистике. Ну а всё, что не получилось, я дорисовала сама.
По традиции, сколько времени занял доклад:
Договориться о теме — 30 минут
Сбор материалов — 150 минут
Генерация картинок — 120 минут
Три предварительных прогона — 180 минут
Проверка орфографии и стилистики — 60 минут
Выступление — 60 минут
Итог: почти 10 часов. А казалось бы!
И, конечно, важно помнить: то, что кажется очевидным вам, для других может стать настоящим открытием. Пробуйте новое, а где сомневаетесь есть обратная связь)
Выступать с докладом по обратной связи было немного страшно.
Тема же вроде очевидная: все и так это знают, никаких научных открытий. Просто расскажу, как я мучаю коллег своими вопросами. Ну кому это вообще нужно?
Оставить сомнения в стороне помогло творчество. Чтобы сделать тему особенной для самой себя, я придумала и оформила небольшую сказку. Рисунки для неё мне помогала создавать нейросеть KlingAI. Это одна из немногих платформ, которая смогла понять задуманный стиль. У неё очень удобные инструменты для создания серии картинок в единой стилистике. Ну а всё, что не получилось, я дорисовала сама.
По традиции, сколько времени занял доклад:
Договориться о теме — 30 минут
Сбор материалов — 150 минут
Генерация картинок — 120 минут
Три предварительных прогона — 180 минут
Проверка орфографии и стилистики — 60 минут
Выступление — 60 минут
Итог: почти 10 часов. А казалось бы!
И, конечно, важно помнить: то, что кажется очевидным вам, для других может стать настоящим открытием. Пробуйте новое, а где сомневаетесь есть обратная связь)
❤7🔥7