Testing Deep and Shallow

#testing

Натрапив на цикл статей від Michael Bolton під назвою "Testing Deep and Shallow". Цікавих думок після них залишилося чимало.

В першій частині Майкл розповідає про те, що таке покриття - та чому неправильно розглядати його тільки як "покриття коду". Усе залежить від моделей сприйняття. Крім покриття коду ще є покриття функціональності, вимог, ризиків та перфомансу.

Coverage is how thoroughly we have examined the product with respect to some model.

У другій частині стає ще цікавіше. З неї можна дізнатися, що можливо тестувати одну й ту ж фуцнціональність декількома способами - поверхневим та глибоким.

Shallow testing is testing that has a chance of finding every easy bug.
Deep testing is testing that maximizes the chance of finding every elusive bug that matters.

Зверніть також увагу, як цікаво він описує помилки:
- непомітні: коли погано розбираєшся у мовах програмування та технологіях
- приховані: закопані дуже глибоко у старому та незрозумілому legacy коді
- рідкісні: ті, що виникають тільки за певних умов чи на певних платформах
- періодичні: ті, що виникають, коли система знаходиться лише в певному стані
- несподівані: ті, які виникають, коли інтегруєш наче гарно протестовані частини між собою у єдину систему

У третій частині серії, автор розповідає про те, що допоможе зробити вибір - який спосіб тестування потрібно використовувати у тій чи іншій ситуації.

[Test Engineering Weekly] Звільнення у Twitter, query на 1000000$, тестування розподілених алгоритмів, ML та IOT

#testing #engineering #weekly #digest

Доброго ранку. Тримаємо стрій!

Сьогодні у підбірці:
- як неправильно звільняти людей - на прикладі Twitter
- історія одного фіксу, який коштував мільйон доларів на місяць
- помилки при тестуванні ML проєктів
- як влаштоване тестування у Spotify?
- підвищуємо продуктивність у робочих задачах та на мітингах
- багато іншого

Test Engineering Notes - каналу один рік!

Дев'ятнадцятого листопада 2021 року я прийняв рішення створити цей канал.

За цей час було багато - я перейшов на українську мову у постах (та постійно покращую свої знання) та написав вже близько 200 постів! Нехай буде більше цікавого та корисного контенту українською мовою!

Створення постів у каналі допомагає мені краще висловлювати свої думки - та покращувати навички простої розповіді на складні теми. Причому ці навички стали у пригоді при створенні нових постів у мій англомовний блог.

Також я почав приймати участь у теплому та ламповому подкасті “Не баг, а фіча!”.

Попереду ще багато цікавого - купа планів та контенту.

А підписників вже більше 1100! Неймовірно!
Дякую, що читаєте та коментуєте! Далі буде ще цікавіше!

Я бачу Вас цікавить автоматизація ...

#testing #automation

Всім привіт. Невеличка відпустка дуже швидко закінчилася, тому час повертатися до роботи та статей.

Сьогодні я вирішив допомогти усім, хто зараз хоче стати автоматизатором, але не знає, що вчити та й взагалі - які знання потрібні.

Звичайно, є дуже багато курсів на ринку - як платних так і безкоштовних. Але своїм дописом я хочу дати Вам дуже високорівневу картинку того, що Вам знадобиться при написанні автотестів.

P.S. Знання мови програмування - це лише дуже маленька частина паззлу!

Paper Review: Intramorphic Testing

#paper #review

Сьогодні я приніс Вам трохи хардкорного, але разом із тим цікавого матеріалу зі світу дослідницьких робіт на тему тестування.

Що тестувати або де брати ідеї для тестування окремих частин системи

#testing #junior

Чи бувало у вас, коли усі тести (чи автотести) перевіряють тільки happy path та декілька базових негативних сценаріїв?

А коли Ви намагаєтеся продумати та зафіксувати нові більш розширені тестові сценарії - ідей приходить в голову не так багато. Особливо після довгого дня скроллінгу новин у телеграмі.

Маю для вас декілька cheat sheets - ідей того, що можна тестувати
- один
- два
- три

Якщо у Вас є власні коллекції - поділіться ними у коментарях будь ласка.

[Test Engineering Weekly] Bug-bounties, мікросервіси в 1998 році, property-based тестування UI та видалення prod бази

#testing #engineering #weekly #digest

Всім привіт!

Це знову Олександр із підбіркою цікавих статей зі світу тестування та інженерії.

Сьогодні у випуску:
- якими бачили мікросервіси у 1998 році?
- що буде, якщо видалити продакшн базу даних?
- які проєкти створити для свого портфоліо?
- як заробляти на пошуку вразливостей?
- як localstack допомагає тестувати хмарну нфраструктуру локально?
- що таке generative AI та Precision Time Protocol?

An End To End Playwright Testing Tutorial | Playwright With TypeScript

#video #automation

Знайшов досить непогане інтро відео з Playwright на Typenoscript. Воно довге (5 годин, Карл!) - можна багато чого перемотувати та дивитися на 2х швидкості. Але основні моменти вказані.

Далі вже - вивчати документацію та поглиблювати знання.

P.S. Typenoscript мені навіть сподобався (на перший погляд). Такий собі JS здорової людини.

НЕТЕХНІЧНА робота у команді

#management #career

Можливо у когось з вас було таке на проєкті: ви приходите, починаєте працювати (писати тести чи автотести).

З часом ви помічаєте, що робите багато додаткової організаційної роботи для команди: розмовляєте із сапортом та іншими командами, уточнюєте вимоги, проводите онбордінг, влаштовуєте різні сесії з knowledge sharing.

Ця робота важлива, але ви самі не розвиваєтеся технічно. У статті від Tanya Reilly такий тип роботи називається - "Glue Work".

Постає питання - чи потрібно взагалі робити таку роботу? Хто її повинен робити: ви чи лід команди?

Та найголовніше - що робити, коли на performance review Вам кажуть "то що ви робили, це, звичайно класно - але підвищення не буде, бо вся ця робота не надто ТЕХНІЧНА".

P.S. Після статті також постають питання - так куди ж рости тестувальнику? Які є варіанти? Швидко змінювати професію, чи розвиватися в тестуванні?

Тестування - технічна професія чи ні? )

Запис доповіді - "What does it mean to test a blockchain?"

#video #blockchain #testing

Минулого місяця, я брав участь у Quality Management Week від Soft Serve.

На цій конференції я коротко розповів про те, що ж таке блокчейн, що там можна тестувати та що почитати, щоб почати розбиратися у цій сфері.

Слайди доповіді (з купою корисних посилань) можна подивитися тут.

Гарна візуалізація - варта Вашої уваги. Для тих, хто тільки вивчає Git. Та й для тих, хто хоче розібратися із ним трохи більше, ніж пара кліків на UI.

[Test Engineering Weekly] Практика автоматизації, приклади фреймворку, mutation testing та рекомендовані книжки на зимові канікули

#testing #engineering #weekly #digest

Привіт! На зв'язку Олександр. А це значить, настав час почитати про тестування та інші цікаві штуки.

Сьогодні у випуску:
- як правильно відповідати на питання "чому ти не знайшов цей баг?"
- де практикувати знання з автоматизації?
- з чого складається типовий фреймворк?
- що таке mutation testing?
- як змінити погане відношення до тестування в команді?
- що почитати довгими зимовими вечорами (рекомандації Gergely Orosz)
- у чому різниця між GraphQL та gRPC?
- та інше...

What's the career path of a tester?

#testing

Чому, коли ми говоримо про кар'єрний ріст тестувальника - у багатьох випадках ми маємо на увазі перехід в інші професії: в розробники, менеджери, бізнес аналітики, девопси, та ін.
Які реальні перспективи розвитку та росту (а також можливі шляхи) є саме в тестуванні?

Цими питаннями я задався після прочитання статті What's the career path of a tester?. В ній автор розмірковує про різні шляхи розвитку у IT.
Але найголовніше - він пропонує своє бачення майбутнього тестувальника після 5-10 років роботи в індустрії.

Додатково - опис компетенцій можна знайти тут. Автор пропонує разом подумати та створити повний опис шляхів розвитку.

Рекомендація книжок для тих, хто вивчає DevOps практики (від Alex Yates)

Augmenting QA processes with OpenAI

#testing

Мануальні тестувальники скоро стануть не потрібні))) Бо штучний інтелект може писати acceptance критерії, тести та навіть автотести.
Здається неймовірним, але це вже працює.

Більше - у статті про OpenAI у тестуванні.

Systems at Scale 2019 - Continuous Deployment at Facebook Scale

#automation #deployment #video

Для тих, кому цікаво побачити реліз процес та інструменти у Facebook - маю дуже цікаву та невеличку доповідь.

Платна підписка на medium

#testing

Перше враження: круто, можна фільтрувати статті по темам. Підписуватись на окремі теми. Багато статей, купа цікавих людей. Читати - не перечитати!
Пройшло 3-5 днів: більшість статей з тестування для рівня trainee, junior. Максимум middle.

Щоб дістатися до хоча б трохи цікавих статей - треба перерити дуже багато посереднього контенту. Але є дійсно хороші пости.
Небагато нового з QA, але по блокчейну та розподіленим системам є що почитати.

Продовжую дослідження.

Всіх вітаю 🥳
Вийшов 5й новорічний випуск нашого подкасту “Не баг, а фіча” де ми обговорили як це працювати у блекаути та підвели деякі підсумки року

https://youtu.be/bGhIJqmzN4M

2022. Підсумки.

Всім привіт. Олександр на зв’язку.
Новий рік вже зовсім скоро. Але 2022й назавжди залишиться в нашій пам’яті. В нас самих.

Трішки підсумків:

1. Канал Test Engineering Notes виріс до 1100 учасників.
2. Я почав більш-менш постійно приймати участь у подкасті “Не баг, а фіча”.
3. Доволі активно я писав як в канал, так і в блог. А також на DOU :)

Мій топ технічних книжок у 2022 році:

- Team Guide to Software Testability
- Effective Software Testing
- Software Testing: A Craftsman's Approach
- The Coding Career Handbook
- Staff Engineer: Leadership Beyond the Management Track

З нетехнічних книжок хотів би виділити “Брама Європи” Сергія Плохія. Треба мати хист, щоб описувати історію України так цікаво та захоплююче.
Про деякі книги я писав окремі огляди. Їх можна знайти у каналі за тегом #books

Для тих, у кого буде трохи вільного часу у ці святкові дні - та не буде чим зайнятися - я підготував черговий дайджест цікавих статей зі світу тестування та інженерних практик.

З Новим Роком, друзі! Бажаю нам в новому році тільки перемоги! Перемоги кожному - окрему та всім нам - разом!

Дякую, що читаєте! Побачимось вже у наступному році!
Слава Україні! Та величезне дякую ЗСУ!