😈Почувствуй боль и не повторяй моих ошибок!

Делаю сайт для MoscowQA, прикручиваю админку и решаю довериться советам ChatGPT... 👹

Что из этого вышло? ⬇️

1️⃣ Прошу его выбрать подходящий инструмент
2️⃣ Устанавливаю в проект
3️⃣ Получаю ошибку 😡
4️⃣ Кидаю ошибку ИИ, он предлагает решение
5️⃣ Переделываю по его совету
6️⃣ Возвращаюсь к пункту №3 🔄

И так я промучился 6-8 раз, бегая по кругу от ошибки к ошибке!

📖🤍 Открыл документацию инструмента, и оказалось, что проблема решается абсолютно по-другому, а не так, как советовал ChatGPT.

🪟 Вывод простой:
Используя новый инструмент, сначала проверь официальную доку, а не слепо доверяйся ИИ!

Не повторяйте моих ошибок, друзья! 😳

❓ Как выбрать тест-раннер для юнит-тестов?

При написании юнит-тестов на фронтенд одна из главных задач разработчика или QA — подобрать правильный тест-раннер

➡ Что делает тест-раннер?
🌸 запускает тесты и управляет их выполнением
🌸собирает результаты и генерирует отчёты об успехах и ошибках
🌸поддерживает дополнительные возможности (mocking, snapshots, анализ покрытия кода)

➡ Основные библиотеки
🟣 Ava — выделяется скоростью, так как запускает тесты параллельно в отдельных процессах.
🟣 Jest — славится универсальностью, простотой настройки, встроенными возможностями (скорее всего ваша команда его использует)
🟣 Vitest — сочетает совместимый с Jest API и мощь инфраструктуры Vite, что обеспечивает отличную производительность и нативную поддержку ESM/TypeScript.


Моя рекомендация — Vitest! Он объединил удобство Jest и современные технологии Vite, что делает лучшим выбором для новых проектов.

А какой тест-раннер используете у вас на проекте и почему?

#automation #tools

🧑‍💻 Больше проо фронтенд тестирования и не только

Привет всем! 🤚
По голосованию видно, что не все знают, что такое vibe coding.

Что это такое❓
Новый подход к программированию, где код пишет ИИ. 🙃🙃 Ты просто говоришь на обычном языке (например, «сделай сайт с кнопкой»), а ИИ (типа ChatGPT или Cursor) генерирует готовый код. Это реально работает и уже меняет подход к разработке.


Что это значит для QA?🤔
Для тестировщиков это одновременно и упрощение, и усложнение.

➕Плюсы:
Код появляется быстрее. Например, я написал сайт с фронтом и бэком за 2 вечера (без ИИ месяц бы разбирался).

➖Минусы:
ИИ часто выдаёт код с кучей ошибок и неочевидных косяков. QA приходится вылавливать то, что раньше было на разработчике.

Какие неудобства появляются?
➡Качество кода: ИИ может сгенерить неоптимизированный или уязвимый код — нагрузка на тестирование растёт.
➡Отладка: Баги находить сложнее, потому что логика ИИ не всегда очевидна.
➡Зависимость от ИИ: Если инструмент глючит или недоступен, всё стопорится.
➡Контроль: QA теперь проверяет не только функционал, но и безопасность и архитектуру — задачи, которые раньше были на разработчиках.

Каким будет инженер будущего? ❓
🔵 «Vibe coding» ведёт к тому, что один человек сможет стать экспертом сразу в нескольких областях. Представь: ты «программируешь» через ИИ, тестируешь, придумываешь дизайн и даже бизнес-логику. Границы между фронтендом, бэкендом и QA размываются.
🔵 Один специалист сможет заменить целую команду — так же, как раньше веб-разработчик был одновременно дизайнером, кодером и SEO-шником.
🔵 Но есть нюанс: обычный человек дорастёт до какого-то уровня и упрётся в потолок, а инженер будущего сможет стать экспертом во всём, если освоит работу с ИИ.👩‍🍳


Что нас ждёт?🤔
Скоро появится много новых стартапов. Нас ждёт взрыв идей и проектов!

В следующем посте поговорим о том какие для этого есть инструменты

А вы что думаете по этому поводу? Поделитесь мнением в комментариях 😉

💻 Хотите попробовать вайб “кодить с ИИ”?

1⃣ Инструменты авто-дополнения
🟡GitHub Copilot
🟡Amazon CodeWhisperer
🇷🇺 РФ-аналоги (по ощущениям отстают на 2+ года):
🟡gigacode
🟡Yandex Assistant

2⃣ Чаты боты
🟡ChatGPT
🟡Grok (от X)
🟡Claude
🟡Gemini
🟡Perplexity
🟡DeepSeek

3⃣ Агенты / ассистенты
Работают за тебя 🧠

🧪 Пробовал сам:
🟡Cursor — противоречивые впечатления, от безумно круто, до а не все так просто
🧩 Другие (пока не пробовал, привел для примера):
🟡Cody
🟡Aider

Вместо вывода:
✍️ Хочешь сам писать код? — бери инструменты автодополнения
❓ Хочешь понять / объяснить / спросить? — бери тут чат боты в помощь
🏗 Хочешь отключить мозг и нажимать кнопку принять, то что написал ИИ за тебя? — пробуй Cursor

Скоро сделаю практические посты о том как я применял ИИ в тестирование на практике!


Если интересна тема вайб кодинга и применения его в QA поставь 🔥или 👍

#automation #tools #ai #trends

Тестировщики, общий сбор!

Мы часто видим исследования про разработчиков, продактов, аналитиков… А про QA? Почти ничего.

Пора это исправить.

Мы запускаем исследование сообщества QA, чтобы разобраться:
— что нас радует и раздражает,
— какие инструменты и практики мы выбираем,
— как меняется наша роль и работа.

Присоединяйся! Это важно и интересно 🔥

Пройти опрос → https://qa-25.testograf.ru

В анкете 45 вопросов, потребуется 15–20 минут времени.

Очень интересно, как у нас в рф устроено тестирование, думаю по итогам напишу свои мысли плюс обещают мерч разыграть⭐️

🔧 Метапрограммирование в действии

🔍 На новой работе при погружении в проект обнаружил, что в 2000+ тестах отсутствует привязка к Allure ID. В свободное время я быстро написал скрипт, который исправляет это автоматически.

🚀 Что нам нужно сделать?
1. 🗂 Собрать список тестов — пройтись по папкам и найти все файлы с тестами
2. 🛠 Запросить Allure TestOps API по названию теста и получить нужный ID
3. ✒️ Вставить над каждым тестом декоратор @allure.id(<ID>) и добавить импорт

⚡️ Итерация 1: Быстрый старт на регулярках
Сначала с помощью LLM (GPT) набросил решение на регулярных выражениях

⚠️ Выскочили проблемы:
🔵 Регулярка ловила строки внутри комментариев
🔵 Импорт вставлялся некорректно

🌳 Итерация 2: Надёжное решение через AST
Переписал скрипт на основе AST — теперь он устойчив к любым краевым случаям!

✨ Выводы
💡 LLM отлично помогают прототипировать решения
🔄 Но идеальный код они не всегда выдадут с первого захода
🕒 Написание такого скрипта вручную заняло бы полный рабочий день
🎓 Если вы ещё учитесь — не используйте GPT для списывания домашних, учите основы программирования и базовую теорию разработки ПО

#automation #tools #ai

Что такое MCP (Model Context Protocol )?

Он нужен для того, чтобы языковая модель (например ChatGPT) могла не только разговаривать, но и делать действия
например, создавать тесты, запускать скрипты, обращаться к разным системам — и делать это структурированно.

- Раньше ИИ только отвечал на вопросы.
- С помощью MCP ИИ теперь может действовать, работать с инструментами и автоматизировать задачи.

➡ Из чего состоит MCP?
🟡 MCP Host — Приложение, использующее MCP, например, Cursor IDE, VS Code
🟡MCP Client — Мост между хостом и MCP-сервером, например, VS Code Agent, Claude в Cursor. (маленький плагинчик).
🟡MCP Server — то место, где лежат инструменты и команды, которые ИИ может использовать.

Используя MCP его можно применить к любой модели llm

➡ Применение MCP в тестировани
🟣 Генерация тестовых сценариев
Создание тестов на основе доменной специфики без необходимости писать код.
🟣 Автоматическое написание критериев приёмки Формирование критериев в определённом формате во время сессий
🟣Автоматическое обновление тестов с изменениями требований

Для playwright существует сервер mcp от команды разработчиков инструмента
https://github.com/microsoft/playwright-mcp
Демо: https://www.youtube.com/watch?v=CNzg1aPwrKI

🤖 GenAI-TDD

А вот статья которая как раз говорит об интересном подходе GenAI-TDD
Такой подход я обсуждал с ребятами в кулуарах конференцией

Когда ты совмещаешь TDD с генеративным ИИ, получается настоящий поток.

Схема проста, особенно в Cursor IDE:

1️⃣ Red – пишем тесты.

2️⃣ Зовём ИИ Одной-двумя фразами («🔧 Напиши реализацию, чтобы тесты X, Y, Z стали зелёными…») отправляешь промт. Модель генерирует код, Cursor сразу гоняет тесты и, если надо, подсовывает следующую порцию патчей, пока весь набор не позеленеет. Эта непрерывная «Red → Green» петля экономит часы

3️⃣ Рефакторинг

4️⃣ Ручной контроль(это к тому, что QA/QC все равно будет нужен)
У нас будет много ручное exploratory-тестирование, code review и статический анализ – иначе велик риск «зелёной иллюзии качества»

Исследование 2024 года показало, что GenAI-TDD действительно ускоряет работу, но нуждается в человеческом надзоре, иначе может «галлюцинировать» валидный, но неправильный код.

🔗 Полезные сcылочки:
Исследование https://arxiv.org/abs/2405.10849
CursorIDEA https://www.cursor.com/

UPD:
Свежий доклад Артема с генйзенбага дропнули про ai https://www.youtube.com/live/D5aHLEWUVEI

К комментарию добавь & это важно
Как думаешь, что будет через 5 лет в тестировании?

#automation #tools #ai

🥹 Всем привет!

Ещё в конце 2021-го я загорелся идеей запустить собственный подкаст, а в 2022-м даже прикупил микрофон 🎤
Сегодня — долгожданный пилотный выпуск (строго не судите)!

Гость: мой близкий друг Роман Троицкий — организатор MoscowCSS и член программного комитета HolyJS.

За чашкой кофе мы поговорили:

🟣 о качестве продукта глазами фронтенд-разработчика
🟣 о факапах
🟣 о том, как развиваются IT-комьюнити

Что дальше?
Многие знают, что в Москве мы развиваем сообщество MoscowQA. Как организатор, я хочу двигаться дальше — уже в планах митапы, стримы и все это будет в онлайн формате. Возможно, именно этот пост станет точкой отсчёта для нового комьюнити QA Family

Все платформы: https://family-qa.mave.digital/

P.S Если хотите поддержать, поставьте лайк https://music.yandex.ru/album/36632585

@dev_qa

🥹 И вот полноценный выпуск QA Family Podcast

Общаемся с Сергеем Лебедевым, руководителем тестирования из Яндекс.Лавки. Обсудим, что вдохновляет современных QA-инженеров, как важна непрерывная учеба и какие вызовы ждут в BigTech. Также поговорим о значении менторства и о том, как правильно строить карьеру в IT.
___________________________________

Я все ищу формат для подкаста, сейчас это интервью, но следующий планируем выпуск холиварный про ИИ, но не просто промты, а уйдем в технику😁

Даже если выпуск вам не понравится, поставьте лайк и напишите, что можно улучшить. Это поможет мне не опускать руки.

Спасибо вам!

Яндекс.Музыка | Apple.Podcast | Остальные платформы