⚡️ Episode 46: Software Testing in the Age of Generative AI with Mark Winteringham

AI is on hype. AI is everywhere. But how exactly do you use generative AI for software testing and automation? Is it just a fancy tool for generating test cases or ... something more? What are the challenges and problems in using modern LLM systems for daily work? To explain this topic, the hosts, Artem and Oleksandr, invited Mark Winteringham.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях.

Також ви можете підтримати нас донатом на 🏦 База від Монобанку — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

#testingminutes | @a_grygorenko | Test Engineering Notes

The Canva outage: another tale of saturation and resilience

#bugs

Починаємо робочий тиждень зі свіжої історії від Canva. Історії, де до падіння продакшена призвела не бага в продукті (функціонально все працювало, як треба), а проблема в складній інфраструктурі.

💼 Як змінився ринок праці

#testing #career

Перед новорічними святами мав дискусію на тему пошуку роботи на сучасному ринку праці. Тож хочу поділитись деякими тезами з неї.

Disclaimer: це лише мої особисті думки!

🪤Ринок праці в pre-covid / covid еру

- Технічних спеціалістів було менше, ніж вакансій. Компанії конкурували за кандидатів, пропонували кращі умови та більшу ЗП
- Бюджети в COVID роздули, набрали вкрай багато людей (навіть занадто багато)
- “Увійти в АйТі” було цілком можливо, з деякими зусиллями - головне вивчити базу та зрозуміти логіку проходження співбесід
- Пофігу на освіту, вміння, знання - “вмієш писати тест кейси” або “наваяти базовий одностранічний сайт на чомусь модному типу React” - давай до нас, скоріш, скоріш - клієнт чекає!
- Бізнесмени побачили “золоту нішу” й організували десятки курсів “увійті в айті” за пару місяців. Такі курси розвʼязували проблеми компаній - нестачу спеціалістів на ринку праці. “Навчай базовим знанням, швидко, шоб пройти початкові фільтри!”

⚖️Ринок праці в post-covid еру

- Компанії, що набрали надто багато людей - скорочують персонал та оптимізують витрати. Ринок розвернувся діаметрально та став “ринком роботодавця”
- Купа людей в Україні втратила роботу та “спокусилася” яскравою рекламою курсів “заробляй тисячі баксів легко за місяць навчання”. Бізнеси курсів заточені на швидке й поверхневе навчання - все ще продають той самий товар, в більш яскравій обгортці
- Десятки тисяч людей, що закінчують такі курси - виходять на ринок з однаковим набором знань
- Вакансій стає все менше, конкуренція - все більше. Вимоги до кандидатів виросли. Зʼявилися чітки позиції трейні. Сотні людей претендують на одну вакансію
- Випускники курсів не можуть знайти першу роботу в АйТі. Чому? Бо курси запевнили їх в тому, що їх програми вистачить для отримання роботи. Після місяців пошуку - люди розчаровуються й шукають роботи в інших сферах
- В еру жорсткої конкуренції стає важливим не просто поверхневі, а глибокі знання. Важливе вміння вчитись та розбиратись в новому. А для швидкого навчання потрібні фундаментальні знання. Якщо їх немає - буде набагато складніше вчитися. (Не кажу, що то неможливо, але складніше)
- Курси все ще продовжують продавати ідею “швидкого навчання”, але відмовляються визнавати, що отримання знань для роботи - це справа в розрізі півроку - рік, а то й більше. (Деякі курси, можливо, вже змінюють програми навчання, але поки не бачив такої тенденції)
- Курси від АйТі компаній вирішують цю проблему проводячи вхідні співбесіди з високими вимогами вже на старті.

🕶Що робити? Про це - в іншому пості.

🎙Як компанії обрати кращого тест інженера

#testing #interview

Ben Fellows поділився цікавим підходом для оцінки рівня тест інженерів на співбесіді. Зазвичай, Ben шукає кандидатів рівня 3 або 4.

Питання:

"Потрібно випустити важливий реліз, але час на тестування обмежений. Як Ви будете пріоритезувати тестові активності, в залежності від ризиків та впливу на користувача та бізнес?"

1️⃣Рівень 1 - Реактивний та сфокусований на задачі.

Я почну з тестування логіну та покупки, тому що вони найголовніші.

2️⃣Рівень 2 - Баланс між технічними та бізнес потребами, але без структурованого підходу.

Я сфокусуюсь на модулях, що були змінені нещодавно та головних фічах, типу покупок (враховуючи їх залежності)

3️⃣Рівень 3 - Використання структурованих фреймворків, пріоритезація ризиків, вибір тестових активностей в залежності від бізнес задач.

Я приоретизую тестування за допомогою матриці ризиків, щоб зрозуміти ймовірність виникнення ризику та його можливий вплив. Найбільш ризиковий функціонал, як-от покупки, буде протестований найпершим. Я також застосую дослідницьке тестування для виявлення інших ризиків та скооперуюся з продуктовою командою щоб визначити найбільш важливі фічі для бізнесу.

4️⃣Рівень 4 - Застосування системного мислення, прогнозне моделювання та безперервне покращення

Я зроблю карту системних залежностей, приоритезую найкритичніші фічі для бізнесу (такі як безпека та оплата), автоматизую регресійні тести для відомих ризиків. Мануальне тестування буде фокусуватись на дослідницьких сценаріях. Після релізу, я буду збирати фідбек для покращення наявних стратегій та підходів.

❓А ви як думаєте? Яка відповідь найкраща?

🍟 Сервіси для швидкого навчання

#learning #llm

Я багато читаю та дивлюся різні доповіді. Значна частина з того - дослідницькі роботи чи дійсно великі статті.
Але щоб прочитати статтю чи роботу на 10-20 сторінок треба багато часу.

То ж я спробував декілька сервісів, які обіцяють значно пришвидшити темпи читання матеріалів. А саме: NotebookLM (від Google - то ж на базі Gemini) та YouLearn

➕Плюси:
- відравляєш в них дослідницьку роботу, велику статтю чи навіть відео - й отримуєш короткі нотатки, питання для самоперевірки та можливість спілкуватись з чатом в контексті теми.
- можна додати декілька робіт в один проєкт
- можна навіть перетворити великий документ у ... запис подкасту! Де два ведучих будуть поступово розкривати контент статті! Причому доволі непоганої якості. На перший погляд дуже й дуже цікаво.

➖Мінуси
- NotebookLM ще не доступний в Україні (можна через VPN). YouLearn - вже можна використовувати
- Обидва сервіси працюють лише з текстом. Тож графіки вони не зрозуміють
- Треба ще більше вільного часу щоб ще й слухати статті у вигляді подкасту
- Сервіси "звільняють" нас від годин читання, але забирають отой А-ХА момент, коли ми саме навчаємось, звʼязуємо концепти між собою.

Висновок: цікаво спробувати, але користуватись кожного дня я скоріш не буду.

⚡️ Епізод 47: Евристики та мнемоніки в тестуванні

Евристики? Мнемоніки? Що це таке? Навіщо вони потрібні? Які мнемоніки існують? Та як можна користуватись ними на практиці? Про це сьогодні будуть говорити ведучі подкасту - Артем та Олександр.

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через: 🏦 База від Монобанку

#testingminutes | @a_grygorenko | Test Engineering Notes

Робимо свою базу даних за допомогою інструментів Linux

#linux

Коротка, але дуже цікава стаття про те, як можна створити базу даних за допомогою нативних інструментів Linux - grep, cut, awk, sort, head, tail та join.

The end of the "Self-Taught Programmer"

#video

Невеличке відео, про те, що в сучасному світі стає все складніше "увійти в айті" з нуля та без профільної освіти. Якщо 5 років тому можна було дійсно за 3 місяці "залетіти", то зараз:
- вимоги вище
- вакансій менше
- конкуренція на усіх рівнях вища! (Бо на ринку повно кандидатів з досвідом)

Якщо буде два кандидати, з однаковими скілами, але в одного буде освіта інженерна (а в іншого - ні) - то скоріш за все візьмуть першого.
Але наявність профільної освіти != гарантії потрапити на роботу.

Звичайно, все ще можна потрапити в АйТі. Але процес навчання стає набагато довшим та складнішим.

Sad, but true.

Це - геніальний хід (якщо правда). Браво, DeepSeek 😀

Обережно з coding інтервʼю

Тільки вчора говорили в Діскорді про задачі на інтервʼю, тестові завдання.

А тут виявляється, шо є варіант отримати собі під час співбесіди небезпечний код, який буде шукати гаманці та намагатись поцупити вашу крипту)

Partner Chains Development Lifecycle: Our CI Evolution

#testing #automation #blockchain

Колеги з команди поділились історією розвитку нашого CI.

Наша система залежить від довжини епохи основного блокчейну. На різних енвайроментах вона різна - від 24 годин до 5 днів!

Спочатку в нас була кастомна модифікація блокчейну з довжиною епохи в 2 години.

На наступному етапі ми працювали із Cardano Preview, де епоха становить 24 години. Підтримувати CI стало набагато простіше, але тестувати - ніт. Будь-які модифікації в нашій системі можна побачити ... через 48 годин. Більшість автотестів була - "почни тест, перевір що результати два дві тому були коректні, зроби нові зміни, зафіксуй їх в тестовій базі даних". Це ... працювало, але дуже довго.


Як покращення, ми взяли тестову версію головного блокчейну (як тільки-но зʼявилась), закинули усі компоненти в Docker та запускаємо їх docker-compose. Тепер результати автотестів не треба чекати 48 годин - а тільки 15 хвилин. Це суттєво краще та зручніше.

⚡️ Episode 49: Software testing and quality culture for airlines with Simon Prior

Тестуванням для інтернет магазинів та мобільних банків вже нікого не здивуєш.

Тому в цьому епізоді подкасту ми розмовляємо з Simon Prior про тестування та культуру якості в ... авіакомпанії easyJet. Як там тестують? Як організують команди? В чому складності?

Дивитись та слухати:

🔸 Youtube
🔹 Spotify
🔸 Apple

Ваша підтримка важлива!
Ми постійно розвиваємося і рухаємося вперед, але це неможливо без вашої підтримки. Тому будемо вдячні за лайки, коментарі та будь-яку іншу форму підтримки. Це допоможе нам просувати наші подкасти в рекомендаціях. Також ви можете підтримати нас донатом — це дійсно важливо для нас і є нашим рушієм.

Дякуємо вам!

Підтримати подкаст можна через: 🏦 База від Монобанку

#testingminutes | @a_grygorenko | Test Engineering Notes

Пост для тих, хто хоче стати QA Lead

У мого колеги з подкасту Testing Minutes, Артема Григоренко, відкрито запис на лютневий потік "Шлях до QA Leader" - курс для тих, хто хоче вирости з інженера в гарного лідера QA команди.

Чому цей курс може бути цікавим? Там буде багато корисної інформації, практичної роботи, запрошених лекторів. Навіть тим, хто вже працює лідом курс зможе донести щось нове.

Програма курсу оновлюється та доповнюється постійно. Я це знаю, бо сам цей курс пройшов 😀

📅 Коли початок? 17 лютого

💎Бронь місця - $200 (Можна оплатити частинами або через компанію👌)

Залишились питання або готові почати? Пиши в Telegram: @artem_grygorenko або шукай на сайті: grygorenko.tech

🎙 Testing Minutes: ваші запитання — наші відповіді! 🔥
Хотіли щось у нас спитати? Саме час! ;)

Ми готуємо новий епізод Testing Minutes і вирішили: а давайте відповімо на ваші запитання!

Можливо у вас було таке, що слухали наш подкаст і думали: “От би спитати їх про це…”? Або просто цікаво дізнатися щось про нас, нашу роботу, думки чи факапи?

Заповніть формочку нижче і чекайте на наступний епізод:
https://forms.gle/93VqjTCJK5cRGD7J6

Про інформацію й знання

Іноді ми використовуємо слова інформація та знання як одне й те ж, хоча це різні поняття.

Інформація - це "сирі" дані в поточному контексті. Для прикладу, факт того, що Microsoft купила якусь компанію з мільярд доларів - це лише інформація. Інформації в сучасному світі вдосталь.

Знання надають інформації сенс. Ви витрачаєте свій час, увагу та навички щоб перетворити інформацію в знання. Саме знання допомагають зрозуміти як конкретна покупка Microsoft впливає на ринок, які можливості це дає й забирає.

Питання інформації й знань також дотичне до вибору будь-яких тренінгів й курсів:

- Якщо на курсі просто "пересказують" офіційну документацію інструменту - цей курс не вартий вашого часу.
- Якщо ж курс грунтується на практичному й теоретичному досвіді лектора в різних контекстах - це саме те, за що варто віддати гроші.

Хороший курс може суттєво пришвидшити ваше навчання й бути наче тим підвісним містком між незрозумілими концепціями та усвідомленим застосуванням.

Тестування просте, казали вони ...

⚡️Голосуємо за тих, хто розвиває тестування в Україні!

Цього року DOU Awards повертається із новими номінаціями. Ви можете підтримати своїм голосом багато корисних проєктів та людей, що рухають індустрію вперед.

В категорії "Вони надихають" можна проголосувати за наступних кандидатів, яких ви напевне знаєте:

- Артем Григоренко з каналу "Нотатки суворого QA"
- Артур Шевченко з каналу "From A to QA"
- Саша Хотемський з каналу "Hot Testing"
- Роман Марінський з "QA Club Lviv"

🪤Важливо! Обрати можна лише трьох! То ж обирайте тих, хто вам більше подобається.

Або ж можна запустити цей скрипт й він згенерує вам імена трьох кандидатів випадковим чином.

import random
from itertools import combinations

candidates = ["Arthur", "Oleksandr", "Roman", "Artem"]
combos = list(combinations(candidates, 3))
random_combo = random.choice(combos)
print(random_combo)

В FAANG (Big Tech) компаніях немає тестувальників

Дуже часто чую думку, що в у технологічних лідерах ринку зовсім немає тестувальників. Усі - тільки менеджери та програмісти. І всьо.

Але ось знайшов лінку, де можна подивитись інформацію про вакансії тестувальників в Apple, Amazon, Nvidia.
Так, це вакансії з Долини. Але можна подивитись на вимоги та бажані навички.

Але наявність вакансій не означає, що тренд на хороших інженерів (тих хто може робити багато всього) кудись зник. Так чи інакше - інженерів шукають набагато більше, ніж просто тестувальників.

Модель отримання навичок братів Дрейфус

#thinking #learning

Коли ми навчаємось чи навчаємо когось (як ментор чи на курсах), треба розуміти як люди взагалі отримують нові навички. Одна з моделей, яка може розповісти про це - це модель Стюарта та Губерта Дрейфусів. Згідно з цією моделлю, кожен студент проходить крізь пʼять різних етапів: новачок, просунутий початківець, компетентний спеціаліст, досвідчений спеціаліст та експерт.

Етап 1 - Новачок

У новачків немає або дуже мало досвіду. Новачки навіть не стільки вчаться, скільки хочуть виконати конкретну задачу в моменті часу. Новачкам потрібні рецепти (покрокові інструкції).
Проблема з рецептами в тому, що вони позбавлені контексту. То ж неможливо зробити "універсальні рецепти на усі випадки".

Етап 2 - Просунутий початківець

Просунуті початківці вже можуть потроху "ламати правила". Вони навіть можуть формулювати свої рецепти, але все ще не можуть досліджувати проблеми глибоко. Просунутим новачкам не цікаво знати проблему в масштабі. Але вони можуть користуватись порадами в нових контекстах, які схожі на ті, що вже траплялись. В початківцях ще не сформувалось цілісне розуміння (та й немає бажання його отримати).

Етап 3 - Компетентний спеціаліст

Компетентний спеціаліст може "дебажити" проблеми. Такі люди можуть взяти задачу, дослідити її та знайти рішення на основі їх досвіду. Компетентні люди можуть навіть займати лідерські позиції в команді.

Етап 4 - Досвідчений спеціаліст

Досвідченим спеціалістам потрібна цілісна "велика" картина. Вони прагнуть зрозуміти підходи на концептуальному рівні, то ж можуть страждати від занадто спрощеної інформації. Такі спеціалісти можуть аналізувати свої результати та робити висновки про зміни (покращення) в підходах. Вони також можуть вчитись на досвіді інших - зі статей, дослідницьких робіт, доповідей. Додатково - на цьому рівні люди можуть застосовувати "кращі практики" в залежності від конкретного контексту.

Етап 5 - Експерт

Експерти - то найперші джерела знань та інформації в команді, компанії, індустрії. Вони постійно у пошуку нових та кращих методів. Це саме ті люди, що пишуть книжки, виступають з лекціями. Експерти довіряють власній інтуїції. Експерти знають різницю між важливими та другорядними деталями

Гаразд, але що з того?

- Більшість людей знаходяться на рівні просунутий новачок
- Новачкам потрібні люди, які б їх направляли та давали зворотній звʼязок
- Продуктивність експертів падає, якщо підходи й правила єдині для всіх рівнів
- Користуйтесь правила та гайдами для новачків, залиште інтуїцію для експертів
- Експерти не завжди найкращі вчителі, бо вони мислять паттернами, які подекуди не можуть пояснити іншим
- Кожна наша окрема навичка рухається згідно моделі Дрейфусів. То ж можна "прокачувати" навички наче окремі гілки героя в RPG
- Не достатньо просто практикуватись 10000 годин. Треба розбивати практику на конкретні задачі потрібної складності, мати постійний зворотній звʼязок щоб виправляти помилки одразу
- Для швидкого прогресу потрібно оточувати себе більш експертними людьми в команді
- Ми вчимося краще коли спостерігаємо та імітуємо. То ж сесії парного тестування чи програмування можуть стати у нагоді

Сьогодні просто цікава ілюстрація важливих навичок тест інженера. Тобто це не тільки інструменти та автоматизація ... (З матеріалів Satisfice.com)