🥳 Ювілей каналу та зламані індекси

#anniversary #databases #bug

Вчора каналу Test Engineering Notes виповнилося 3 роки! Стартуючи канал, я й не думав, що буду писати так довго 😄. А ще - я навіть не сподівався, що канал виросте аж до 3500+ підписників! 🎉

Дякую вам усім за те, що продовжуєте читати! А я буду продовжувати ділитись з вами технічними та складними штуками зі світу тестування й інженерії.

То ж, не буде гаяти час - перейдемо до справи!

💼 Справа про зламані індекси в базі

Сьогодні я хочу поділитися з вами цікавим матеріалом - "When Postgres Indexing Went Wrong”. Ця стаття розповідає, як оптимізація перфомансу може піти не так, як планувалося. (Як часто й буває).

Була в одній компанії Postgres база даних, величенька за розмірами (десь мільярди рядків). Щоб зробити запити більш швидкими, розробники створювали індекси. Але просто індекси, а в паралелі - за допомогою CREATE INDEX CONCURRENTLY. Перфоманс запитів покращився, можна святкувати!!!

Але трохи згодом, почалися проблеми зі швидкістю запитів в базу. Швидкість яка поступово росла. Перфоманс бази бідкався, розробники розводили руками.

🔍 Що ж сталося?

- паралельна індексація проходить в два етапи: спочатку створюється індекс на основі снапшоту стану бази, а потім Postgres обробляє всі зміни, які пропустив.
- паралельна індексація - асинхронна та …. може ТИХО ВПАСТИ й залишити по собі зламаний індекс!
- у випадку компанії проблема була гіршою - бо дані були розділені між багатьма розділами (partitions)

❗️Як цього уникнути?

- користуйтеся флагом CONCURRENTLY, коли створюєте індекси в продакшені
- моніторьте індекси та перевіряйте їх вручну (за допомогою EXPLAIN ANALYZE)

Памʼятаймо: чим більше ми знаємо про системи та як вони можуть впасти - тим краще ми зможемо запобігти помилкам.

💡"You are not done yet" - чекліст для тестування

#testing #checklist

Буває так, що даєш кандидату на співбесіді завдання протестити ту чи іншу фічу (гіпотетичного додатку) або реального сайту. Людина зазвичай генерує з десяток базових тестів. Зрідка там будуть якісь негативні сценарії.

Але чим більше у вас ідей та підходів в голові - тим краще ви тестуєте та кращі відповіді у вас будуть на співбесіді.

Сьогодні я пропоную поглянути на чекліст від Michael Hunter. Це - 32 сторінки опису того, що можна тестувати в майже будь-якому застосунку.

Авжеж не 100% з цих підходів підійдуть до конкретно вашого продукту. Але як джерело ідей - можна сміливо використовувати.

🔗 Раніше, я також ділився списком багів від Cem Kaner та іншими ідеями з тестування.

This Week in Testing

Всім привіт. Якщо у вас є година часу - то запрошую прийняти участь у щотижневому дзвінку тестувальників від Ministry of Testing.
Тут можна обговорити ваші інсайти за тиждень або задати питання з тестування. Ведучим цього тижня буду ... я.

Коли: сьогодні, 29.11.24 о 15.00 за київським часом
Де: Linkedin
Як долучитись: за лінкою
Мова: англійська

Почуємось вже сьогодні.

Обережно з Napkin AI (й не тільки)

#tools #learning

Не так давно я поділився цікавим ресурсом для створення діаграм з тексту - Napkin AI. Цей сервіс дійсно корисний.

❗️Але хочу зробити окрему ремарку. Діаграми з тексту корисно робити тоді, коли ви вже розібрались в матеріалі та лише хочете знайти ще один спосіб представити інформацію.

💡Для того, щоб глибше розібратись в концепції чи питанні, краще малювати ці діаграми (чи mind map) самостійно.

Чому?

Тому що НАВЧАННЯ відбувається саме тоді, коли ви самі ВІЗУАЛІЗУЄТЕ складні речі та ШУКАЄТЕ звʼязки між тим, що вже знаєте та новим матеріалом.

Додаткові сервіси, типу Napkin (або інших LLM) можуть “вкрасти” момент розуміння. Вам буде лише ЗДАВАТИСЬ, що ви зрозуміли. А коли потрібно буде переказати інформацію комусь іншому - ви знову будете повертатись до ваших нотаток, чи блогу (книжки).

Оновлення в Awesome Blockchain Testing

#blockchain #testing

❗️Для тих, хто ще не чув - я дуже люблю розбиратись в тестуванні складних речей. Насамперед - блокчейну. Як тільки я стартував роботу в цій сфері - я створив окремий репозиторій та ділюся там посиланнями, відео, постами та інструментами зі світу блокчейну тестування.

🔄Сьогодні я додав ще трохи матеріалів, оновив структуру, видалив трохи застарілого контенту.

А далі буду більше розповідати про цей чарівний світ блокчейнів ще більше. Чому? Бо він цікавий, складний та постійно розвивається.

14-15 грудня відбудеться онлайн конференція тестувальників “Бетельгейзе” від спільноти QA Україна.

🔸“Бетельгейзе” охоплює тестувальників різних рівнів та пропонує вам не лише послухати вже звичні доповіді, але й виділяє окремий день для професійних дискусій.

🔸Конференція відбудеться онлайн, а всім учасникам буде наданий доступ до записів відео матеріялів.

🔸Всі деталі доступні на сайті конференції, який організатори постійно оновлюють додатковими сюрпризами.

👀Організатор QA Україна це велика спільнота українських тестувальників, що просувається досвідченим фахівцем та освітянином Олексою Мащицем. Таким чином “Бетельгейзе” є конференцією “від своїх” та “для своїх”.

Чекаємо на тебе!

👉Офіційний сайт: https://betelgeuse.qaukraine.online/

🎒Чому інколи корисно навчатись тому, що вже знаєш?

#insight #learning

Коли ми навчаємось, здається, що одного джерела (книжки чи курсу) достатньо, щоб опанувати нову навичку.
Але зі свого досвіду можу сказати, що інколи розбирати навіть начебто знайомі речі - вкрай корисно!

❔Чому? Тому що різні люди подають інформацію по-різному. Хтось гарно розповідає, хтось - пояснює з візуальними матеріалами, хтось - доводить свою правоту за допомогою математики. (Так, я зустрічав математичне обгрунтування, чому вичерпне тестування - неможливе!).

Кожен новий матеріал дозволяє поглянути на проблему під трошки іншим кутом. Глибина ваших знань зростає. А як результат - бачиш звʼязки там, де раніше й не думав.

А ще - бачиш, яким чином можна розповідати досить складні речі більш простими словами, з аналогіями та прикладами.

🔗Яскравий приклад для мене - блокчейн. Коли я тільки почав його вивчати, у 2021 році, то ділився вивченим тут, в каналі. Наче все було зрозуміло.

Але тільки зараз, побачивши одні й ті ж матеріали від десятків різних спеціалістів, я бачу - як можна розповісти про усі ці концепції набагато легше, з мінімумом складних термінів.

P.S. Глибина матеріалу напряму залежить від аудиторії. 99% курсів й матеріалів, нажаль, глибиною похвалитись не можуть. Тому й розтягують контент, який можна росказати за годину - на цілі тижні.

P.P.S В цьому криється проблема "молодих інфлюенсерів" (люди поспішають ділитись знаннями, що не до кінця не зрозумівши їх). Такі люди дійсно можуть розповісти про різні класні штуки, але не своїми словами, а завченими термінами. Тому який-неякий досвід треба мати, перед тим як ділитись. Або - дуже ретельно пропрацьовувати теми.

Вмінню пояснювати теж треба вчитись. Не кожен спеціаліст може бути хорошим викладачем.

⚡️ Епізод 41: Піраміди й інші фігури в тестуванні

Testing Minutes подкаст повертається із пʼятим сезоном!

Піраміди ... Величні споруди посеред пустелі, що збудовані багато тисяч років тому. Люди, що їх створили напевне вже тоді думали про ... кількість тестів на кожному рівні! А які піраміди в тестуванні бувають? Чи піраміди є недосяжним Граалем, чи існують інші, більш практичні варіанти? Про все це у новому епізоді подкасту будуть розмовляти Артем та Олександр.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!

Ми постійно розвиваємося й рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через:

🏦 База від Монобанку
☕ Buy Me a Coffee

#testingminutes | @a_grygorenko | Test Engineering Notes

☎️Як Google рекомендує тестувати Android додатки

#testing #mobile #android #automation

🔎 Google поділився рекомендаціями з тестування мобільних застосунків на Android. Ще одна піраміда!

TL;DR:

1. Пропонують зосередитись на таких рівнях тестів, як Unit, Component, Feature, Application, Release Candidate. Навіть розписують стратегію.
2. Описують підхід - screenshot testing. Хоча він має свої переваги, але не рекомендується створювати занадто багато таких тестів.
3. Для тестування навантаження розрізняють local testing (benchmarking в контрольованому середовищі) та field testing - перевірка в максимально наближених до користувача умовах.
4. UI радять тестувати за допомогою behavior ui тестів. Для цього є різні фреймворки - Espresso, Jetpack Compose, UI Automator, Roboelectic.
5. Стабільність тестів (особливо UI) - важлива. То ж треба слідкувати за правильним налаштуванням пристроїв, приділяти увагу можливим помилкам синхронізації та робити перезапуски тестів.
6. Roboelectic фреймворк можна застосовувати як для unit, так і для UI тестів.
7. Не варто забувати також про тестування на екранах різного розміру. Для цього є свої окремі бібліотеки та підходи.

🐍Is Python Really That Slow? 🚤

#python #performance

Доволі цікаве порівняння швидкості між Python (CPython та PyPy рантайм різних версій), Node.js та Rust. Порівнювали на базових алгоритмах, типу Фібоначчі чи сортування.

Здається, переможець очевидний.

Треба відмітити, що PyPy рантайм останньої версії значно покращив свої показники та став навіть краще, ніж node. Але до Rust ще рости й рости.

Для тих, хто хоче дізнатись різницю між CPython та PyPy - маю окрему статтю.

🗃 Легкий спосіб втратити роботу тестувальником

#testing

В інтернетах пишуть:

"Тестери роблять процес розробки більш повільним, усе треба автоматизувати, то ж цим можуть легко зайнятись розробники. А тестерів - звільнити."

📎 Минулого тижня Wayne Roseberry розкрив цю тему та написав пост про те, як тестувальник додає користь продукту.

TL;DR:

- Якщо тестувальник перевіряє лише базові позитивні сценарії - то дійсно, це може зробити розробник (та автоматизувати згодом). Від такого тестера користі абсолютно нуль. Це - найлегший спосіб втратити роботу тестувальником.
- Тест інженер повинен робити більше ніж розробник, продакт менеджер й будь-хто інший - для того, щоб дослідити продукт та можливі ризики.
- Тестування тільки позитивних сценаріїв витрачає час, але дає мінімальний шанс знайти помилку чи ризик. То ж що робити?
- Створіть модель того, що ви тестуєте: частини з яких воно складається, звʼязки між ними та зовнішніми системами, вхідні й вихідні параметри.
- Створіть модель звʼязків в системі - графи станів, переходів, послідовності дій.
- Виконуйте дії по декілька разів (бувають ситуації, коли навіть однакові дії можуть призвести до різних результатів).
- Спробуйте змінити атрибути моделі, яку тестуєте.
- Перемішуйте різні моделі в різних послідовностях.
- Застосуйте різні, неочікувані вхідні параметри в системі.

💡Коли тестер перестає бути "папугою", що тільки повторює, а стає дійсно інженером й дослідником - користь одразу помітна.

Раджу почитати статтю повністю - там шикарні аналогії та приклади. В коментарі залишу прекрасну ілюстрацію до статті.

⚡️ Епізод 42: Як тестувати відео стрімінг з Миколою Аврамуком

Після робочого дня ви приходите додому та вмикаєте улюблений серіал на стрімінг платформі. Але як стрімінг працює з точки зору технології? В цьому епізоді до Артема та Олександра завітав Микола Аврамук. Разом ми поговорили про те як працює відео стрімінг та як його тестувати (й автоматизувати).

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через:
🏦 База від Монобанку
☕ Buy Me a Coffee

#testingminutes | @a_grygorenko | Test Engineering Notes

🤖 The 70% problem: Hard truths about AI-assisted coding

#ai #llm

Вчора приймав участь в дискусії на тему - “Чи допомагає ChatGPT в роботі”. Під час розмови згадали статтю на цю тему.

📝TL;DR

- AI для розробки зазвичай використовують або для швидких прототипів або для деяких повсякденних задач (як-от генерація тестів, документації, парного програмування)
- Сійньори отримують більше користі від AI інструментів, ніж джуніори. Бо сіньйори одразу рефакторять отримані результати, думають про граничні умови та обробку помилок.
- Це призводить до парадоксу знань: за допомогою AI сіньйори прискорюють роботу, яку й так знають як виконувати; джуніори намагаються вчитися, що треба робити - за допомогою того ж AI. Джуніори копіпастять некоректні чи застарілі рішення, які не розуміють до кінця та збільшують кількість потенційних багів.
- Для не-інженерів, ChatGPT призводить до проблеми 70 відсотків: AI дуже легко дозволяє завершити перші 70%, але інші 30% займають дуже багато часу. AI щось запропонував, людина застосувала, нові проблеми зʼявились, знову запит до AI - й все наново.
- Як краще користуватись AI: або як засіб для швидких “чернеток”, або конкретних запитів із мінімумом контексту, або ж - при ретельній перевірці того, що пропонує ця магічна коробка.
- Майбутнє за AI агентами. Що це? Це такий собі “прокачаний” ChatGPT, який краще розуміє ваш контекст, пропонує варіанти, вчиться постійно на вашому коду.
- Найкраща мова програмування - це англійська. Бо при роботі з AI агентами, треба вміти точно пояснити, що ви очікуєте.
- Не дозволяйте AI інструментам замінити ваше мислення та ваш досвід. Користуйтеся цим, як ДОПОВНЕННЯМ до поточних навичок.

💡Зі свого боку, можу доповнити статтю.

- AI дуже легко може “вкрасти” момент навчання. Особливо для джуніорів. Бо навчання - це про самостійне мислення, про пошук звʼязків між концепціями та ідеями. Про нашарування нових знань на існуючу “базу”. Без всього цього - це просто "чарівна коробка", яка продукує щось, що МОЖЛИВО ПРАВИЛЬНО.
- AI треба завжди перевіряти. Якщо говорити про код - можна порівняти відповідь від різних AI систем.
- Ваш контекст зазвичай дуже складно перенести в AI систему. То ж ви будете завжди отримувати “найбільш прийнятну відповідь на поточне питання”. А ось чи правильна ця відповідь в конкретний момент часу на ВАШОМУ проєкті - вирішувати тільки ВАМ.

Аналіз ризиків за допомогою FMEA

#testing #risk

В останній статті від Алана Пейджа я побачив один з підходів до аналізу ризиків - Failure Mode and Effect Analysis (FMEA).
Підхід не новий та не єдиний можливий. Але для початку - вкрай корисний.

TL;DR

Що таке FMEA?

Техніка аналізу ризиків, ідентифікації проблем, їх причин та розробки шляхів управління цими ризиками.

Де можна застосувати?

При дизайні систем, процесів, продуктів. Для процесів тестування в тому числі.

Як користуватись FMEA?

1. Зберіть крос-функціональну команду з ключовими замовниками
2. Визначте межі аналізу (scope)
3. Перечисліть потенційні моделі проблем та помилок
4. Оцініть помилки, їх серйозність (Severity - S), частоту виникнення (Occurence - O), ймовірність виявлення (Detection - D).
5. Розрахуйте показник RPN = S x O x D та пріорітезуйте ризики за цим показником
6. Розробіть плани дій, у разі реалізації ризиків.

Шаблони для цього підходу можна скачати тут.

Стратегії мобільного тестування в різних компаніях

#testing #mobile

Знайшов цікавий тред про те, як в різних компаніях (Lyft, Spotify, Uber, RobinHood, Nordstrom, Shopify, Ford, Airbnb) налаштоване мобільне тестування.

Дуже рекомендую почитати!

⚡️ Епізод 43: Performance review та як його пройти

Кожного року, в грудні, настає час для зимових див. Тим, хто цілий рік гарно працював, Cвятий Миколай допомагає .... пройти performance review та отримати очікуване підвищення! Але як підготуватись до цього ревʼю? Яку роль в цьому грає ваш менеджер? Про все це Артем та Олександр будуть говорити у цьому епізоді подкасту.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через:
🏦 База від Монобанку
☕ Buy Me a Coffee

#testingminutes | @a_grygorenko | Test Engineering Notes

Мапа Github

#tech

Знайшов цікавий проєкт, де проєкти на Гітхабі зображені у вигляді величезної мапи. Кожна точка - то окремий репозиторій. Виглядає дуже круто!

Для тих, кому цікавий код - https://github.com/anvaka/map-of-github

⚡️ Епізод 44: Як тестувати блокчейн з Євгеном Старинцем

Біткоін за 100к! Блокчейн на хайпі! Ні, блокчейн це scam! А що таке блокчейн - насправді? Та найголовніше - як його тестувати? З цим питанням ведучим подкасту, Артему та Олександру, допоможе гість - Євген Старинець.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через:
🏦 База від Монобанку
☕ Buy Me a Coffee

#testingminutes | @a_grygorenko | Test Engineering Notes

Вітаю. Сьогодні хочу нагадати вам як пройшов 2024 рік для тестувальників: які події відбулися, які конференції були, що за рік зробили найвідоміші українські блогери-тестувальники, які оновлення повиходили, які інстурменти зʼявились, та як взагалі це все вплинуло на галузь.
Підсумків не буде бо у кожного вони свої. Трошки порефлексуємо, трошки поностальгуємо.

Версія для читання з всіма посиланнями буде за цією лінкою https://dou.ua/forums/topic/51824/ (зʼявиться через пару годин)

Дивитись тут https://www.youtube.com/watch?v=H8Ya1yyeFAs

До зустрічі у 2025 році! Нехай він принесе перемогу, радість, любов, здоровʼя, гроші та нові знання всім нам! 🥳🙏❤️

⚡️ Епізод 45: Оцінки задач в тестуванні та чому мало хто вміє їх робити

Як часто ми чуємо питання: за скільки ви це протестуєте, а чого так багато часу займає автоматизація, чому ми не влізли з задачею в спрінт. Оцінки задач - то невіддільна частина буття тест інженера. Але чому ми так часто робимо хибні оцінки? Чи є можливість зробити наші оцінки задач більш точними? Про це й будуть вести розмову Артем та Олександр в черговому епізоді подкасту.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через:
🏦 База від Монобанку
☕ Buy Me a Coffee

#testingminutes | @a_grygorenko | Test Engineering Notes

Що таке Lean Test Canvas?

#testing

Lean Test Canvas - одна з форм організації тестової стратегії. Знайшов її в книзі Software Testing Strategies. Автори надихались відомим business model canvas.

Модель допомагає візуалізувати всі найголовніші складові тестової стратегії:

- customers: хто буде тестувати - внутрішня чи зовнішня команди

- value proposition: відповідь на питання "чому вам треба тестувати оце все"

- test and deploy pipeline: скільки часу треба на усі активності, щоб отримати нову версію на продакшн

- core scope of role: за які ризики відповідає команда

- impact: наскільки велика фіча та які підсистеми вона включає

- key resources and activities: хто та яким чином виконує тестування

- out of scope: які аспекти чи атрибути системи не покриваються тестуванням

- cost of structure: скільки ми платимо за тестування (чому так багато?)

- direction for improvements: як команда буде покращувати зібрані метрики

- key measures: які метрики команда буде використовувати