Привет, товарищи-статистики!
В полку свидетелей A/B прибыло: недавно завершился 6-ой поток, самый большой из всех на данный момент! Отзывы выше, и это лишь их часть, остальное как соберу, закину в комменты.
Ух, это было непросто, но теперь я больше уверен в том, какой размер группы мне по плечу так, чтобы это было максимально комфортно группе. ну и чтобы я не закончился.
1. Занятий снова стало больше, так как разбил блок по множественному тестированию, чтобы они легче усвоились. Для всех, кто был ранее, только их и рекомендую пересмотреть, особенно часть про A/B и много метрик, там я переосмыслил процедуры первичной проверки и рассказал про тест Hotelling'a.
Для следующего потока я также подумываю некоторый материал разбить на части, например, Хи-Квадрат и Бутстрап.
2. Материал каждой встречи также был переработан в сторону большей атомизации для более последовательной подачи. Это делалось для того, чтобы упростить восприятие и снизить темп повествования, хотя все равно есть фидбек, что быстровато. Услышал, думаю, как себя притормозить.
Существенно дополнил и то, что я пишу до и после встреч. Например, теперь мы вспоминаем элементы школьного курса алгебры, разбирая, например, операции возведения в степень и взятия логарифма.
Добавлены и материалы про ковариацию и корреляцию. В рамках следующего потока немного иначе расскажу про стандартную ошибку, кажется текущая версия проще и вообще еще больше опирается на логику, чем математику.
(не покидает ощущение, что я пишу об очередном релизе будь то приложения/патча :))
4. У меня есть желание дополнить материал к новому потоку про синтетический контроль с заходом через анализ временных рядов: AR, MA, ARMA и вот это все, чтоб окончательно закрыть 2-3% специфического тестах. Это материал, если и будет, то в формате "beta", а потому на цене никак не скажется до тех пор, пока не отшлифуется.
Тестирование по Байесу я также хотел бы, вся подводка в наличии, но, пожалуй, пока воздержусь (прости, Виктор).
5. Также есть запрос на колабы/ноутбуки и еще доп. ДЗ на достаточно частные темы. Хоть по тому и другому я все еще придерживаюсь позиции, что "если оно нужно, значит мы пошли куда-то не туда в плане представленного материала", но глас народа важнее. В целом пока есть идея сделать больше подводок к дизайну тестов, расширяя пример из встречи ко встречи, чтобы к выпускному заданию вы были готовы по максимум.
Продолжение далее.
В полку свидетелей A/B прибыло: недавно завершился 6-ой поток, самый большой из всех на данный момент! Отзывы выше, и это лишь их часть, остальное как соберу, закину в комменты.
Ух, это было непросто, но теперь я больше уверен в том, какой размер группы мне по плечу так, чтобы это было максимально комфортно группе.
1. Занятий снова стало больше, так как разбил блок по множественному тестированию, чтобы они легче усвоились. Для всех, кто был ранее, только их и рекомендую пересмотреть, особенно часть про A/B и много метрик, там я переосмыслил процедуры первичной проверки и рассказал про тест Hotelling'a.
Для следующего потока я также подумываю некоторый материал разбить на части, например, Хи-Квадрат и Бутстрап.
2. Материал каждой встречи также был переработан в сторону большей атомизации для более последовательной подачи. Это делалось для того, чтобы упростить восприятие и снизить темп повествования, хотя все равно есть фидбек, что быстровато. Услышал, думаю, как себя притормозить.
Существенно дополнил и то, что я пишу до и после встреч. Например, теперь мы вспоминаем элементы школьного курса алгебры, разбирая, например, операции возведения в степень и взятия логарифма.
Добавлены и материалы про ковариацию и корреляцию. В рамках следующего потока немного иначе расскажу про стандартную ошибку, кажется текущая версия проще и вообще еще больше опирается на логику, чем математику.
(не покидает ощущение, что я пишу об очередном релизе будь то приложения/патча :))
4. У меня есть желание дополнить материал к новому потоку про синтетический контроль с заходом через анализ временных рядов: AR, MA, ARMA и вот это все, чтоб окончательно закрыть 2-3% специфического тестах. Это материал, если и будет, то в формате "beta", а потому на цене никак не скажется до тех пор, пока не отшлифуется.
Тестирование по Байесу я также хотел бы, вся подводка в наличии, но, пожалуй, пока воздержусь (прости, Виктор).
5. Также есть запрос на колабы/ноутбуки и еще доп. ДЗ на достаточно частные темы. Хоть по тому и другому я все еще придерживаюсь позиции, что "если оно нужно, значит мы пошли куда-то не туда в плане представленного материала", но глас народа важнее. В целом пока есть идея сделать больше подводок к дизайну тестов, расширяя пример из встречи ко встречи, чтобы к выпускному заданию вы были готовы по максимум.
Продолжение далее.
🔥5❤1👍1
6. Ну и начинаю неспешный набор на 7-ой поток "Наглядное АB-тестирование: от основ до современных стандартов" (спасибо моему коллеге Петру за помощь в названии название), старт примерно во второй половине ноября, так как нужна передышка + время на дополнения + отпуск;
Те, кто писал ранее - о вас помню, вы записаны.
Список актуальных тем на скрине, о чем они - тут.
Цена пока та же - 35к, условия те же: "каждый поток веду лично, оказывая максимальное сопровождение по материалу; веду с удовольствием, в душе педагог; подача такая, будто надо объяснить детям, чтобы они могли объяснить это другим детям"
Обучение идет по вечерам, в 19 по Мск, 2-3 раза в неделю, не менее 2-х месяцев.
Желающие стать свидетелями Госсета и Фишера, пишите смелее в ЛС :)
P.S. В следующих постах поговорим об одной важной конфе, потом (не)много о личном и далее вновь мета-анализе, но со стороны непараметрики.
Те, кто писал ранее - о вас помню, вы записаны.
Список актуальных тем на скрине, о чем они - тут.
Цена пока та же - 35к, условия те же: "каждый поток веду лично, оказывая максимальное сопровождение по материалу; веду с удовольствием, в душе педагог; подача такая, будто надо объяснить детям, чтобы они могли объяснить это другим детям"
Обучение идет по вечерам, в 19 по Мск, 2-3 раза в неделю, не менее 2-х месяцев.
Желающие стать свидетелями Госсета и Фишера, пишите смелее в ЛС :)
P.S. В следующих постах поговорим об одной важной конфе, потом (не)много о личном и далее вновь мета-анализе, но со стороны непараметрики.
❤15
Матемаркетинг 2024
Привет, товарищи-статистики!
Если что-то рекомендовать и рекламировать, то именно то и только то, чем пользуешься и что любишь сам. Это мой добровольный PR-пост в поддержку конференции, которую я глубоко уважаю и в которой принимал участие и как слушатель, и как помощник в организации, и как выступающий. Данная конференция, как и Aha, одна из тех, кто посетить нужно обязательно: каждый раз было много полезного с точки зрения как что-то работает, куда можно копнуть дальше и пр.
В этом году я также буду выступать вместе со своим коллегой, Ваней Щербаком, с темой "Дизайн-документ по A/B для разных сценариев от команды «Пятерочка»" (мы будем в онлайн-секции). Доклад нацелен на джунов и всех тех, кто хочет делать дизайн эксперимента как по учебнику с соблюдением всех стандартов. Не мудреный какой-то там ML, но мое любимое - очередная порция базы.
Вот программа, очень крутая: очевидный ход это заранее ее посмотреть всю, выделить для себя интересные доклады и план на конфу готов! Только обязательно оставьте время для общения у кофе, его, общения, как правило, очень много, даже если вы его не планировали)
Конференция будет идти 3 дня: онлайн часть, где как раз будет наш доклад в том числе, 29 октября, и 7-8 ноября оффлайн в Москве, МГУ, кластер «Ломоносов», Раменский бульвар 1.
Купить билеты вы можете по ссылке. Конечно, есть промокод на 15%: ABBATESTING15. Вы можете мне сказать, ну блин, че-то все равно дорого. А я вам отвечу: для вас или все же для вашей компании, требующей YtY кратного роста и которая вроде как обещала вам при трудоустройстве оплату обучения и вот этого всего? Это конфа стоит того, чтобы ее посетить, так как может научить тому, как надо и как не надо: может, кратного роста компании она не даст, но сэкономить x2-3 стоимости билета - весьма-весьма вероятно.
Привет, товарищи-статистики!
Если что-то рекомендовать и рекламировать, то именно то и только то, чем пользуешься и что любишь сам. Это мой добровольный PR-пост в поддержку конференции, которую я глубоко уважаю и в которой принимал участие и как слушатель, и как помощник в организации, и как выступающий. Данная конференция, как и Aha, одна из тех, кто посетить нужно обязательно: каждый раз было много полезного с точки зрения как что-то работает, куда можно копнуть дальше и пр.
В этом году я также буду выступать вместе со своим коллегой, Ваней Щербаком, с темой "Дизайн-документ по A/B для разных сценариев от команды «Пятерочка»" (мы будем в онлайн-секции). Доклад нацелен на джунов и всех тех, кто хочет делать дизайн эксперимента как по учебнику с соблюдением всех стандартов. Не мудреный какой-то там ML, но мое любимое - очередная порция базы.
Вот программа, очень крутая: очевидный ход это заранее ее посмотреть всю, выделить для себя интересные доклады и план на конфу готов! Только обязательно оставьте время для общения у кофе, его, общения, как правило, очень много, даже если вы его не планировали)
Конференция будет идти 3 дня: онлайн часть, где как раз будет наш доклад в том числе, 29 октября, и 7-8 ноября оффлайн в Москве, МГУ, кластер «Ломоносов», Раменский бульвар 1.
Купить билеты вы можете по ссылке. Конечно, есть промокод на 15%: ABBATESTING15. Вы можете мне сказать, ну блин, че-то все равно дорого. А я вам отвечу: для вас или все же для вашей компании, требующей YtY кратного роста и которая вроде как обещала вам при трудоустройстве оплату обучения и вот этого всего? Это конфа стоит того, чтобы ее посетить, так как может научить тому, как надо и как не надо: может, кратного роста компании она не даст, но сэкономить x2-3 стоимости билета - весьма-весьма вероятно.
🔥10
Привет, товарищи-статистики!
Обещал пост о личном, а напишу снова о статистике: поговорим о спорной теме.
Кажется, что, в общем-то, есть два способа протестировать среднее:
1. Сделать assumption, что наше воздействие не повлияет на дисперсию, поэтому t-test
2. Вполне справедливо не сделать такого assumption ("А на каких основаниях, собственно?"), поэтому передать в функции t-test, что дисперсии не равны, превратив t-test в Welch test.
Вы можете подумать, что вас спрашивают, равны ли дисперсии выборок - нет, спрашивают как раз именно об изменения дисперсии популяции под воздействием тритмента. Да и к тому же, дисперсии выборок в абсолютном значении почти никогда не будут равны.
Но есть вроде бы логичный выход, это провести предварительный тест дисперсии (preliminary test). Или это не выход? Давайте разбираться.
Обещал пост о личном, а напишу снова о статистике: поговорим о спорной теме.
Кажется, что, в общем-то, есть два способа протестировать среднее:
1. Сделать assumption, что наше воздействие не повлияет на дисперсию, поэтому t-test
2. Вполне справедливо не сделать такого assumption ("А на каких основаниях, собственно?"), поэтому передать в функции t-test, что дисперсии не равны, превратив t-test в Welch test.
Но есть вроде бы логичный выход, это провести предварительный тест дисперсии (preliminary test). Или это не выход? Давайте разбираться.
🔥5❤1
Привет, товарищи-статистики!
Или, как мы дошутились с коллегой Валерой, товарищи, - представили субкультуры,- абешники и абешницы.
В посте выше я вскользь написал, что мне в принципе понятна мотивация делать ошибочных ход: проверять тестом на нормальность выборку для t-test'a. Но думаю, было бы полезно объяснить почему это ход даже не столько ошибочный, сколько бессмысленный.
Продолжение бессмыслицы.
+ неожиданным образом пришлось откомментировать пост глубоко уважаемого мною Филлипа Ульянкина в попытке уменьшить разночтения от моих слов, слов коллег из X5 и Филлипа в голове тех, кто только трогает статистику
В посте выше я вскользь написал, что мне в принципе понятна мотивация делать ошибочных ход: проверять тестом на нормальность выборку для t-test'a. Но думаю, было бы полезно объяснить почему это ход даже не столько ошибочный, сколько бессмысленный.
Продолжение бессмыслицы.
+ неожиданным образом пришлось откомментировать пост глубоко уважаемого мною Филлипа Ульянкина в попытке уменьшить разночтения от моих слов, слов коллег из X5 и Филлипа в голове тех, кто только трогает статистику
👍7🔥3
Привет, товарищи-статистики!
Я, наконец-то, дописал статью про мета-анализ, о котором менее строго писал ранее в канале.
https://habr.com/ru/companies/X5Tech/articles/862202/
Что важно:
- в статье есть обещанный разбор тестирования зависимых гипотез.
- формализованный вывод метода Фишера через преобразование случайной величины
- рассмотрены еще ряд статистик для независимых тестов
Постарался как и всегда дать это максимально просто, надеюсь, получилось.
Статья большая, не меньше, чем я написал про Mann-Whitney, но должна быть максимально исчерпывающей.
P.S. Аналитик из Gett - это Дима, @DVars, спасибо и тебе за мотивацию написать эту простыню)
Я, наконец-то, дописал статью про мета-анализ, о котором менее строго писал ранее в канале.
https://habr.com/ru/companies/X5Tech/articles/862202/
Что важно:
- в статье есть обещанный разбор тестирования зависимых гипотез.
- формализованный вывод метода Фишера через преобразование случайной величины
- рассмотрены еще ряд статистик для независимых тестов
Постарался как и всегда дать это максимально просто, надеюсь, получилось.
Статья большая, не меньше, чем я написал про Mann-Whitney, но должна быть максимально исчерпывающей.
P.S. Аналитик из Gett - это Дима, @DVars, спасибо и тебе за мотивацию написать эту простыню)
Хабр
Гайд по мета-анализу результатов тестов
Привет! На связи команда аналитиков «Пятёрочки» X5 Tech. Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами,...
❤19🔥9
Привет, товарищи-статистики!
На днях вышла статья коллег из X5: “Diff-in-diff: жизнь за пределами идеального эксперимента”, о том, как метод Diff-in-Diff помогает бороться со смещенным отбором (selection bias). Крайне рекомендую к прочтению, так как написано со всеми необходимыми вводными и, - что я очень люблю, - интуицией метода. А так как метод использует линейные модели, то ребята наглядно (что тоже люблю) показали, что будет, если не учитывать смещение отбора или/и тренд как со стороны оценки эффекта, так и со стороны ошибок 1-го рода.
Единственное, что я добавлю от себя, это попробую чуть больше рассказать про ковариационную матрицу в контексте гомоскедастичности ошибок регрессии, чтобы постараться сделать статью нагляднее (при всем уважении к ребятам).
Читать далее про ковариационную матрицу.
На днях вышла статья коллег из X5: “Diff-in-diff: жизнь за пределами идеального эксперимента”, о том, как метод Diff-in-Diff помогает бороться со смещенным отбором (selection bias). Крайне рекомендую к прочтению, так как написано со всеми необходимыми вводными и, - что я очень люблю, - интуицией метода. А так как метод использует линейные модели, то ребята наглядно (что тоже люблю) показали, что будет, если не учитывать смещение отбора или/и тренд как со стороны оценки эффекта, так и со стороны ошибок 1-го рода.
Единственное, что я добавлю от себя, это попробую чуть больше рассказать про ковариационную матрицу в контексте гомоскедастичности ошибок регрессии, чтобы постараться сделать статью нагляднее (при всем уважении к ребятам).
Читать далее про ковариационную матрицу.
Telegraph
Ковариационная матрица для оценки гомоскедастичности ошибок регрессии
Давайте рассмотрим некоторого школьника “111” и его результаты 10 проверочных работ по одному и тому же предмету. [81, 80, 79, 72, 72, 70, 69, 77, 77, 76] Результаты записаны последовательно, перед нами условная временная линия: На графике зеленым выделена…
🔥12👍1
Привет, товарищи-статистики!
Сегодня пост про одно из мои важных достижений, которые не касаются работы (итоги года может завтра подведу). Я получил свидетельство частного пилота, теперь пилот значит.
На самом деле бумажка у меня на руках еще с октября, мне казалось, что я быстро напишу пост по мотивам, но в итоге написал пока первую часть, вторую попозже.
Вот, делюсь впечатлениями, каково оно учиться нынче пилотировать однодвигательный летательный, надеюсь, вам будет интересно:
Читать про причастие к небу, часть-1
Сегодня пост про одно из мои важных достижений, которые не касаются работы (итоги года может завтра подведу). Я получил свидетельство частного пилота, теперь пилот значит.
На самом деле бумажка у меня на руках еще с октября, мне казалось, что я быстро напишу пост по мотивам, но в итоге написал пока первую часть, вторую попозже.
Вот, делюсь впечатлениями, каково оно учиться нынче пилотировать однодвигательный летательный, надеюсь, вам будет интересно:
Читать про причастие к небу, часть-1
🔥41👍1
И, конечно, хочу выразить пожелания всем вам в Новом Году, дорогие товарищи-статистики!
Во-первых, я бы хотел, чтобы каждый из вас следовал своим мечтам и желаниям, не сходите с курса те, кто на нем, ищите свой, кто ещё не нашелну и на мой заглядывайте :)
Во-вторых, вероятно, большая часть из нас тут рабочие люди, а потому желаю, чтобы если вы и будете менять работу в 25-м (и далее тоже), то по своей воле и своих условиях, а не по "обоюдному согласию".
В-третьих, всем, в том числе всем вашим близким, откуда вы ни были, любви, благополучия, мира и здоровья. Действительность показывает, что это сейчас уже давно в дефиците.
С наступающим Новым Годом, ребята!
Во-первых, я бы хотел, чтобы каждый из вас следовал своим мечтам и желаниям, не сходите с курса те, кто на нем, ищите свой, кто ещё не нашел
Во-вторых, вероятно, большая часть из нас тут рабочие люди, а потому желаю, чтобы если вы и будете менять работу в 25-м (и далее тоже), то по своей воле и своих условиях, а не по "обоюдному согласию".
В-третьих, всем, в том числе всем вашим близким, откуда вы ни были, любви, благополучия, мира и здоровья. Действительность показывает, что это сейчас уже давно в дефиците.
С наступающим Новым Годом, ребята!
👍17❤15💯2
Пока продолжение про полёты пишется, подведу свои итоги года, тем более Новый год на носу.
Достижения за год (по работе в целом):
- Как оказалось, курс в ноябре этого года отметил свой годик, а на текущий момент идет уже 7-ой поток, перевалили за базу! И за год я курс перелопатил прилично (при том, что горжусь и самым первым). Похоже, что в 8-ом потоке будет почти 30 встреч!
- Прочитал курс внутри X5 команде, а там ребята все мозговитые, накидывали вопросы по теории и математике без стеснения только так. Свои накинут похлеще всех прочих)
- Наша команда так-то вообще очень славно поработала в этом году. Мне кажется, мы сейчас в самом, как говорится, "ресурсном" состоянии. И это при прекрасной атмосфере. Ребят, если читаете это, вы молодцы и большое вам спасибо!
- Кажется выполнил цель по передаче всех знаний своему джуну Ване как минимум по A/B. Теперь он даст фору ОЧЕНЬ многим по A/B, в том числе сеньорам. Теперь A/B дизайнит/считает не глядя. Горжусь тобой, Ваня! Ну и кстати, передаю по секрету его слова про статистику: "действительно, надо именно понять, без этого хоть тысячу тестов сделай - не поймешь". А я что? "А я говорил" (c)
- Обо мне хорошо осведомлен департамент, который делает A/B в оффлайне и вообще вся методологи X5. Дизайны Вани хвалят, как по учебнику говорят. Ну а то!
- 3 статьи, две прям фундаментальные по базе: Мета-анализ и Mann-Whitney, последнюю писал год.
- Несколько внешних выступлений и уже 2-ое выступление вместе с Ваней на Матемаркетинге! Я бы рад и первому, но 2 это уже, имхо, весомо.
- Вообще, разделю утверждение Юры Борзило, о том, что нравится развивать культуру A/B, объяснять, рассказывать об этом, преподавать. Делал, получал удовольствие!
В 25-ом году есть мысли больше понять про LLM, RL. Точнее укрепить теор. базу, чтобы лучше понимать вектор департамента, у нас этим плотно занялись, хочется больше быть в контексте, ML-то так-то не особо интересен, скучновато. То ли дело применять в 100-ый раз t-test,всегда как в первый раз.
Ну и курс улучшать!
Из личного:
- Еще один прекрасный год с любимой и дорогой супругой. Кажется, ты, Вика, улыбалась в этом году больше, чем в прошлом)
- Съездили второй раз в жизни на Мальдивы. Пост напишу. Пока кратко скажу следующее: один раз туда точно съездить стоит, хотя бы на недельку. Это дорого, но стоит той дозы эндорфинов в глаза, сердце и душу.
- Получил, наконец, лицензию пилота. Конечно, я зелень зелёная, но и не в самом начале.
- Вместе с братом откапиталили гараж: честно, на него было страшно смотреть уже, а входить так вообще. Сейчас будто новый! Приятно.
- Добрался до последней фазы лечения зубов, правда, на самой дорогой. Однако путь был долгий. Закончу, поделюсь.
- На даче садили новые плодовые деревья, еще и виноград.
В новом году поехать бы в Японию (Влад, Артур, это все ваше влияние, засранцы): говорят, еда и проживание дешевле чем в Питере, а по атмосфере будто в будущее попал. Хотеть.
Что было не очень:
- У меня был выраженный дисбаланс в сторону работы. Мне нравится работать, но я понял, что стал согласен с фразой "жизнь по календарю это свобода", эх. Да, приходится планировать уже более чем на неделю далеко не только календарь X5.
- Из-за этого я меньше отдавал времени хобби, и мы меньше куда выбирались, больше все работа и работа. А ведь мне скучновато делать одно и тоже, хочется больше разнообразия. Тем более, что вылазки делают жизнь насыщеннее, она не так быстро пробегает! А так работаешь и раз, месяц прошёл. Wat!?
- В это лето ни разу не выехали с Викой на конные прогулки, чтоб в полях этих хитрых ссыкунов (при всей любви) пустить в галоп. И это при том, что мы нашли комфортную конюшню/
- На даче мало перегнали яблок и прочего, да и вообще как-то не шла жизнь деревенская этим летом.
- Скучал по тренажерному залу, а он там у меня ух какой: гири, штанги и прочие снаряды на любой вкус. С одной стороны сил не было ездить, а с другой я потянул ногу по своей глупости. Ну хоть дома есть пара снарядов)
Буду рефлексировать, благо есть время подумать.
Достижения за год (по работе в целом):
- Как оказалось, курс в ноябре этого года отметил свой годик, а на текущий момент идет уже 7-ой поток, перевалили за базу! И за год я курс перелопатил прилично (при том, что горжусь и самым первым). Похоже, что в 8-ом потоке будет почти 30 встреч!
- Прочитал курс внутри X5 команде, а там ребята все мозговитые, накидывали вопросы по теории и математике без стеснения только так. Свои накинут похлеще всех прочих)
- Наша команда так-то вообще очень славно поработала в этом году. Мне кажется, мы сейчас в самом, как говорится, "ресурсном" состоянии. И это при прекрасной атмосфере. Ребят, если читаете это, вы молодцы и большое вам спасибо!
- Кажется выполнил цель по передаче всех знаний своему джуну Ване как минимум по A/B. Теперь он даст фору ОЧЕНЬ многим по A/B, в том числе сеньорам. Теперь A/B дизайнит/считает не глядя. Горжусь тобой, Ваня! Ну и кстати, передаю по секрету его слова про статистику: "действительно, надо именно понять, без этого хоть тысячу тестов сделай - не поймешь". А я что? "А я говорил" (c)
- Обо мне хорошо осведомлен департамент, который делает A/B в оффлайне и вообще вся методологи X5. Дизайны Вани хвалят, как по учебнику говорят. Ну а то!
- 3 статьи, две прям фундаментальные по базе: Мета-анализ и Mann-Whitney, последнюю писал год.
- Несколько внешних выступлений и уже 2-ое выступление вместе с Ваней на Матемаркетинге! Я бы рад и первому, но 2 это уже, имхо, весомо.
- Вообще, разделю утверждение Юры Борзило, о том, что нравится развивать культуру A/B, объяснять, рассказывать об этом, преподавать. Делал, получал удовольствие!
В 25-ом году есть мысли больше понять про LLM, RL. Точнее укрепить теор. базу, чтобы лучше понимать вектор департамента, у нас этим плотно занялись, хочется больше быть в контексте, ML-то так-то не особо интересен, скучновато. То ли дело применять в 100-ый раз t-test,
Ну и курс улучшать!
Из личного:
- Еще один прекрасный год с любимой и дорогой супругой. Кажется, ты, Вика, улыбалась в этом году больше, чем в прошлом)
- Съездили второй раз в жизни на Мальдивы. Пост напишу. Пока кратко скажу следующее: один раз туда точно съездить стоит, хотя бы на недельку. Это дорого, но стоит той дозы эндорфинов в глаза, сердце и душу.
- Получил, наконец, лицензию пилота. Конечно, я зелень зелёная, но и не в самом начале.
- Вместе с братом откапиталили гараж: честно, на него было страшно смотреть уже, а входить так вообще. Сейчас будто новый! Приятно.
- Добрался до последней фазы лечения зубов, правда, на самой дорогой. Однако путь был долгий. Закончу, поделюсь.
- На даче садили новые плодовые деревья, еще и виноград.
В новом году поехать бы в Японию (Влад, Артур, это все ваше влияние, засранцы): говорят, еда и проживание дешевле чем в Питере, а по атмосфере будто в будущее попал. Хотеть.
Что было не очень:
- У меня был выраженный дисбаланс в сторону работы. Мне нравится работать, но я понял, что стал согласен с фразой "жизнь по календарю это свобода", эх. Да, приходится планировать уже более чем на неделю далеко не только календарь X5.
- Из-за этого я меньше отдавал времени хобби, и мы меньше куда выбирались, больше все работа и работа. А ведь мне скучновато делать одно и тоже, хочется больше разнообразия. Тем более, что вылазки делают жизнь насыщеннее, она не так быстро пробегает! А так работаешь и раз, месяц прошёл. Wat!?
- В это лето ни разу не выехали с Викой на конные прогулки, чтоб в полях этих хитрых ссыкунов (при всей любви) пустить в галоп. И это при том, что мы нашли комфортную конюшню/
- На даче мало перегнали яблок и прочего, да и вообще как-то не шла жизнь деревенская этим летом.
- Скучал по тренажерному залу, а он там у меня ух какой: гири, штанги и прочие снаряды на любой вкус. С одной стороны сил не было ездить, а с другой я потянул ногу по своей глупости. Ну хоть дома есть пара снарядов)
Буду рефлексировать, благо есть время подумать.
❤16👍3
Привет, товарищи-статистики!
Прошло пару дней с наступления 25-го года, можно уже немного пошевелить мозгами, держите пост про фидуциальный вывод в статистике. Но пост будет больше как история, почти без математики, и не только потому, что ещё новогоднее настроение)
Сейчас в статистике превалируют два подхода:
- частотный (фреквенсистский) - некоторый параметр (среднее) неизвестен, но фиксирован, получаем данные, считаем точечное значение, строим доверительный интервал
- байесианский - есть некоторые предварительные (априорные) представления о параметре, - вероятности его значений, поэтому на основе данных мы обновляем (уточняем) наши представления, то есть получаем апостериорное распределение параметра.
И хотя если задать приор параметра в байесе максимально неопределенным, оба подхода в A/B сойдутся по результатам, превалирует все же частотный. Потому что любой приор параметра отличный от неопределенного сомнителен, так как субъективен: имея данные я могу по-разному задать априорное распределение, просто потому, что данные теряют актуальность с некоторым течением времени и истинное, например, Mu (среднее) также смещается, вопрос в том, какой период брать. Проблема-то в том, что разные приоры дают разные результаты при A/A тестах: один даст меньше ошибок 1-го рода, но больше 2-го рода, а чуть поменяешь его - наоборот, в общем так себе с контролем параметров. Поэтому-то частотники могут высказать о баейсианцах что-то вроде: “придумываете данные (приоры), а потом тесты свои проводите, получая каждый раз разное, фу!”. Подробнее критика A/B по Байесу тут.
...Но так ли далеко они друг от друга и, может, можно как-то подбирать “правильные” приоры? Думаю над этим.
Ведь на самом деле стат. подходов аж четыре штуки, к предыдущим прибавляются следующие:
- лайклихудистский (likelihoodism) - тут он так, просто к слову, но вообще, он уже известен тем, кто использует последовательное тестирование (sequential testing), в рамках таких тестов как SPRT и mSPRT. Вообще это близкий родственники байесианского: приор дает распределение вероятности значений параметра, которые в свою очередь используются для оценки правдоподобия (likelihood), то есть что данные были получены с учетом конкретной значения параметра.
- фидуциальный (fides - вера, доверие) - увы, умершее дитя Фишера, основная суть которого в выводе на базе данных правдоподобного (которому можно “доверять”) распределения для параметра, например для среднего - его распределение в абсолютных величинах. И вот про это и поговорим подробнее. Но предупрежу: это больше рассказать про то, что стало историей, а не то, что имеет место на практике.
Ёмко о фидуциальном выводе читаем далее
Прошло пару дней с наступления 25-го года, можно уже немного пошевелить мозгами, держите пост про фидуциальный вывод в статистике. Но пост будет больше как история, почти без математики, и не только потому, что ещё новогоднее настроение)
Сейчас в статистике превалируют два подхода:
- частотный (фреквенсистский) - некоторый параметр (среднее) неизвестен, но фиксирован, получаем данные, считаем точечное значение, строим доверительный интервал
- байесианский - есть некоторые предварительные (априорные) представления о параметре, - вероятности его значений, поэтому на основе данных мы обновляем (уточняем) наши представления, то есть получаем апостериорное распределение параметра.
И хотя если задать приор параметра в байесе максимально неопределенным, оба подхода в A/B сойдутся по результатам, превалирует все же частотный. Потому что любой приор параметра отличный от неопределенного сомнителен, так как субъективен: имея данные я могу по-разному задать априорное распределение, просто потому, что данные теряют актуальность с некоторым течением времени и истинное, например, Mu (среднее) также смещается, вопрос в том, какой период брать. Проблема-то в том, что разные приоры дают разные результаты при A/A тестах: один даст меньше ошибок 1-го рода, но больше 2-го рода, а чуть поменяешь его - наоборот, в общем так себе с контролем параметров. Поэтому-то частотники могут высказать о баейсианцах что-то вроде: “придумываете данные (приоры), а потом тесты свои проводите, получая каждый раз разное, фу!”. Подробнее критика A/B по Байесу тут.
...Но так ли далеко они друг от друга и, может, можно как-то подбирать “правильные” приоры? Думаю над этим.
Ведь на самом деле стат. подходов аж четыре штуки, к предыдущим прибавляются следующие:
- лайклихудистский (likelihoodism) - тут он так, просто к слову, но вообще, он уже известен тем, кто использует последовательное тестирование (sequential testing), в рамках таких тестов как SPRT и mSPRT. Вообще это близкий родственники байесианского: приор дает распределение вероятности значений параметра, которые в свою очередь используются для оценки правдоподобия (likelihood), то есть что данные были получены с учетом конкретной значения параметра.
- фидуциальный (fides - вера, доверие) - увы, умершее дитя Фишера, основная суть которого в выводе на базе данных правдоподобного (которому можно “доверять”) распределения для параметра, например для среднего - его распределение в абсолютных величинах. И вот про это и поговорим подробнее. Но предупрежу: это больше рассказать про то, что стало историей, а не то, что имеет место на практике.
Ёмко о фидуциальном выводе читаем далее
👍13
Привет, товарищи-статистики.
Недавно впервые за много лет выиграл в розыгрыше призов, лицензию игры MFS 2024 (пруф - тут он тоже нужен, иначе еще за рекламу сочтёте) - это было неожиданно и приятно.
Чуть раньше писал о том, что получил лицензию частного пилота (продолжение рассказа еще пишу), так вот, есть у меня планы озадачиться VR-полётами. Поэтому одним из пунктов была покупка MFS 2024, подводные мне были известны: современная классика игрового рынка - сырой продукт, но летать по гугл-картам того стоит.
В связи с СВО Steam не только перестал пополняться обычными методами (благо сейчас есть сервисы), но и часть игр перестала быть доступной для покупки для российского регион. Надо было искать обходы, один из них оказался следующим: получение игры в подарок через предварительный перевод тем, кто это может подарить игру. Вопрос в том, а можно ли доверять тому, кому деньги отдаешь. В целом, биржи ок, но вот MSF штука дорогая, как-то не хотелось идти на риск, искал дальше. И поиск привел меня на группу FlyWithLeo, пролистал и добавился на будущее. В праздники увидел объявление о конкурсе, от участников ничего и не требовалось кроме как согласиться.
Ловко ввернём сюда любимую статистику: это должен быть рандомный отбор из +600 человек, то есть p~1/600. Дело не в том, как же повезло, нет, а в том, что я рекомендую относится к конкурсам такого рода по-самурайски: "вы уже проиграли". Поэтому добавились, поставили себе напоминалку на день итогов, что участвуете (т.к. если победитель не отзовётся, то будет выбор нового победителя) и... забыли. Потому что рандом безжалостен и в ваше положение не войдет) Собственно, почти, так и сделал, - забыл напоминалку себе поставить. И 7-го числа получил сообщение в ЛС от организатора Лео, мол, ты победил, а далее: kind of reminder поскорее выйти на связь, иначе тыква вместо приза! Честно, было очень неожиданно, к тому же розыгрыш был Deluxe издания, а тут он стоит весьма дорого и я его не планировал брать, стандарта вполне хватило бы.
Подарок в стиме от Лео получил, свои договорённости он выполнил: надеюсь, скоро опробуем с супругой. Но закину маленькую интригу, что это будет не просто абы какой VR, планы там приличные. А о том, почему вообще в целом я иду в VR, расскажу во втором посте про полёты.
P.S. Повторюсь, не реклама, я вообще не собираюсь тут что-то размещать"а тебе и не предлагают", чем сам не пользуюсь и не знаю, как работает. Просто делюсь личным опытом взаимодействия, вдруг тут тоже кто думает о покупке MFS 2024.
Недавно впервые за много лет выиграл в розыгрыше призов, лицензию игры MFS 2024 (пруф - тут он тоже нужен, иначе еще за рекламу сочтёте) - это было неожиданно и приятно.
Чуть раньше писал о том, что получил лицензию частного пилота (продолжение рассказа еще пишу), так вот, есть у меня планы озадачиться VR-полётами. Поэтому одним из пунктов была покупка MFS 2024, подводные мне были известны: современная классика игрового рынка - сырой продукт, но летать по гугл-картам того стоит.
В связи с СВО Steam не только перестал пополняться обычными методами (благо сейчас есть сервисы), но и часть игр перестала быть доступной для покупки для российского регион. Надо было искать обходы, один из них оказался следующим: получение игры в подарок через предварительный перевод тем, кто это может подарить игру. Вопрос в том, а можно ли доверять тому, кому деньги отдаешь. В целом, биржи ок, но вот MSF штука дорогая, как-то не хотелось идти на риск, искал дальше. И поиск привел меня на группу FlyWithLeo, пролистал и добавился на будущее. В праздники увидел объявление о конкурсе, от участников ничего и не требовалось кроме как согласиться.
Ловко ввернём сюда любимую статистику: это должен быть рандомный отбор из +600 человек, то есть p~1/600. Дело не в том, как же повезло, нет, а в том, что я рекомендую относится к конкурсам такого рода по-самурайски: "вы уже проиграли". Поэтому добавились, поставили себе напоминалку на день итогов, что участвуете (т.к. если победитель не отзовётся, то будет выбор нового победителя) и... забыли. Потому что рандом безжалостен и в ваше положение не войдет) Собственно, почти, так и сделал, - забыл напоминалку себе поставить. И 7-го числа получил сообщение в ЛС от организатора Лео, мол, ты победил, а далее: kind of reminder поскорее выйти на связь, иначе тыква вместо приза! Честно, было очень неожиданно, к тому же розыгрыш был Deluxe издания, а тут он стоит весьма дорого и я его не планировал брать, стандарта вполне хватило бы.
Подарок в стиме от Лео получил, свои договорённости он выполнил: надеюсь, скоро опробуем с супругой. Но закину маленькую интригу, что это будет не просто абы какой VR, планы там приличные. А о том, почему вообще в целом я иду в VR, расскажу во втором посте про полёты.
P.S. Повторюсь, не реклама, я вообще не собираюсь тут что-то размещать
👍7❤1
Привет, comrades-статистики,
По мотивам поста Лены (всячески рекомендую ее канал).
О генерации гипотез.
Последние несколько лет в моде быть продуктовым аналитиком, об этой роли пишут много красивых слов, хотя по мне так, как показывает практика и ожидания заказчиков, это дата-аналитик с фокусом на некоторой части бизнеса: в основном, всё сужается до приложения (самая частая вотчина просто), а точнее даже некоторой его части, за которую отвечает продакт и к кому определяется этот аналитик в помощь.
То есть существует специализация - анализировать данные именно на приложении, все прочее рынок пока что за продуктовое не принимает (и зря!). Чтобы делать это успешно, нужно разбираться с трекерами (AppMetrica, Amplitude пр.), которые будут поставлять вам логи событий, а также исследовать пути пользователя и дизайнить-считать A/B.
Это-то и отличает продуктового от прочих. Продолжение.
По мотивам поста Лены (всячески рекомендую ее канал).
О генерации гипотез.
Последние несколько лет в моде быть продуктовым аналитиком, об этой роли пишут много красивых слов, хотя по мне так, как показывает практика и ожидания заказчиков, это дата-аналитик с фокусом на некоторой части бизнеса: в основном, всё сужается до приложения (самая частая вотчина просто), а точнее даже некоторой его части, за которую отвечает продакт и к кому определяется этот аналитик в помощь.
То есть существует специализация - анализировать данные именно на приложении, все прочее рынок пока что за продуктовое не принимает (и зря!). Чтобы делать это успешно, нужно разбираться с трекерами (AppMetrica, Amplitude пр.), которые будут поставлять вам логи событий, а также исследовать пути пользователя и дизайнить-считать A/B.
Это-то и отличает продуктового от прочих. Продолжение.
🔥9
Привет, мои дорогие товарищи-статистики,
Возлагаешь на PO ответственность (пост выше) - помогай.
У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.
Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?
А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.
Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.
Приоритизация по PIE, где P - Probability
Возлагаешь на PO ответственность (пост выше) - помогай.
У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.
Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?
А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.
Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.
Приоритизация по PIE, где P - Probability
Telegraph
Piece of PIE
Есть много подходов в приоритизации фичей, в основном они довольно простые, что в целом разумно для быстрого разбора бэклога. Но простота этих методов не позволяет применить наработки "предков" в виде той же теории принятия решений (decision theory), потому…
👍3
Привет, товарищи-шкодеры,
Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.
В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше.
Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:
Что нужно по Python, SQL и т.д.
Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.
В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше.
Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:
Что нужно по Python, SQL и т.д.
Telegraph
Требования к Python, SQL и пр. для аналитика данных в 2025
Начнем с Python: 0. Комментируйте, в особенности функции сразу после ее определения: что делает и пр. Просить комментировать это настолько избито, что сравнимо лишь с тем, насколько часто этого до сих пор не делают. 1. Неплохо бы познакомится получше со cтандартной…
👍19🔥10💯2
Привет, товарищи-статистики!
Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.
Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три:
- первый от того, для кого это все либо вновинку (“вкат с нуля”),
- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner),
- а третий (он последний) от участника прошлого потока, который возвращался к материалу.
Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.
Не обошлось без очередных обновлений:
1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!
Что нового:
- Стратификация и Variance Weighted Estimators
- Paired t-test и тест Welch’a
- Switchback тесты, Проблемы конечной популяции
- Ошибки S/M, False Positive Risk
- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)
- Тест Колмогорова-Смирнова
В материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.
Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.
Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.
Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.
К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.
2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.
Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр.
3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.
4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить.
Продолжение далее.
Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.
Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три:
- первый от того, для кого это все либо вновинку (“вкат с нуля”),
- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner),
- а третий (он последний) от участника прошлого потока, который возвращался к материалу.
Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.
Не обошлось без очередных обновлений:
1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!
Что нового:
- Стратификация и Variance Weighted Estimators
- Paired t-test и тест Welch’a
- Switchback тесты, Проблемы конечной популяции
- Ошибки S/M, False Positive Risk
- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)
- Тест Колмогорова-Смирнова
В материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.
Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.
Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.
Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.
К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.
2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.
Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр.
3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.
4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить.
Продолжение далее.
🔥8❤5👍1