Как правильно оценивать чатбота-"болталку"?
#ml

На работе мы делаем, в числе прочего, чатбота, который должен уметь поддержать разговор с пользователем на любую (приличную) тему, да так, чтобы непотребного чего-нибудь не ляпнул. С подобными чатботами есть известная проблема - автоматически оценить их качество не очень получается, нужна экспертная - то есть человеческая - оценка. А как её делать эффективно и результативно?

Первое соображение - "болталку" нужно оценивать по достаточно большому количеству примеров. Ещё хорошо, если ответы нашего бота будут случайно перемешаны с ответами других ботов и даже людей. Мы при обучении новой модели отдаём на оценку качества около полутора тысяч её ответов в разных контекстах (причём контексты разной длины). Ну, а чтобы не слишком уж полагаться на отдельно взятого эксперта - мало ли, не с той ноги сегодня встал(а), - делаем оценку с перекрытием. Каждый ответ модели оценивают три эксперта, независимо друг от друга.

Оценка тоже не самая простая. Чем чётче обозначены критерии, тем легче будет работа разметчиков, а значит, тем надёжнее результаты. Есть разные методики оценки, в их числе sensibleness and specificity average (SSA), которую разработали исследователи из Google. Она довольно проста и эффективна: оценивают разумность и специфичность ответов бота. Вот тут можно подробнее прочитать, но если вкратце, разумность - это про адекватность ответов, отсутствие в них бреда и оскорблений, например. Специфичность интереснее: ответы бота не должны быть слишком односложными, короткими, "на все случаи жизни". Простой пример:

Пользователь: У моего сына сегодня день рождения.

Бот А: Отличная песня!
Данный ответ не имеет смысла в этом контексте, поэтому он получает оценку 0 за разумность. Если за разумность 0, то и за специфичность автоматически тоже 0.

Бот Б: Понятно.
Данный ответ, в целом, разумен, но не специфичен, много на что можно сказать "понятно", но развитию темы это не способствует. Поэтому оценки 1 и 0, соответственно.

Бот В: Поздравляю от всей цифровой души. А сколько лет вашему сыну исполняется?
А вот это уже и разумный, и специфичный ответ. Да ещё и с юмором. Кстати, реальный ответ нашего бота. Вот бы он всегда так хорошо отвечал)

Мы добавили к SSA ещё пару дополнительных критериев, важных для бизнес-задачи. Итак, у нас есть оценки от трёх разметчиков по четырём параметрам. Что дальше? Имеет смысл также измерить согласие между аннотаторами. Каппа Коэна - отличная метрика, которую очень легко посчитать с помощью библиотеки scikit-learn. Она лучше, чем просто усреднение ответов разметчиков, потому что учитывает вероятность случайного совпадения. Другими словами, если у вас всего два возможных класса (0 и 1) и их распределение неравномерно, то вероятность случайного совпадения оценок гораздо выше, чем если бы классов было 15 и они встречались бы примерно с одинаковой частотой.

Каппа Коэна считается для каждой пары аннотаторов, благодаря чему мы можем увидеть, например, что ответы одного из разметчиков сильно отличаются от ответов двух других. Это может говорить о том, что данный эксперт не так понял задачу и его следует проинструктировать ещё раз. Или возможна ситуация, когда у всех троих разметчиков очень разные оценки по одному из критериев - тогда, возможно, данный критерий стоит сформулировать более понятно.

Выложили запись моего доклада про трансформеры и ChatGPT, в конце живая дискуссия. Если пропустили, можно посмотреть в записи. Особенно будет полезно тем, кто пока ещё не очень хорошо знаком с NLP:
https://www.youtube.com/watch?v=lVOPft5U500
#ml

Что нас ждёт в будущем
#ai #softskills

На вчерашней конференции я услышал увлекательный доклад Джасприта Биндры о будущем работы в эпоху искусственного интеллекта. Эта тема крайне актуальна для всех нас, ведь мы стоим на пороге новой эры технологий. Докладчик поделился своими мыслями о том, как изменится трудовая деятельность различных специалистов и какие навыки будут необходимы для успешной работы в новом мире. Я был поражен его взглядами на будущее и уверен, что они будут полезны для всех, кто хочет быть в курсе последних тенденций и готовится к переменам.

Очевидно, что искусственный интеллект заберёт часть работы у людей. Многие западные компании уже сокращают 10-15% своих сотрудников, делегируя их обязанности ИИ. Однако это коснётся, по мнению Джасприта, лишь специалистов - программистов, журналистов, иллюстраторов, врачей - с низкой квалификацией. Для остальных ИИ станет новым полезным инструментом, повышающим продуктивность и позволяющим добиваться большего. Например, хороший программист сможет быстро генерировать с помощью ИИ код для решения несложных задач. С последующей проверкой, разумеется - как после джуна. Квалифицированный дизайнер сможет получить от ИИ-модели первоначальные идеи, затем создать на их основе что-то своё. И так далее. Другими словами, "вашу работу отнимет не ИИ, а человек, умеющий пользоваться ИИ".

ИИ также создаст новые вакансии на рынке труда, пример - те же промпт-инженеры, но не только. Отсюда вывод - нужно продолжать учиться чему-то новому всю жизнь (что на самом деле полезно для мозга). Это один из главных софт-скиллов для будущего, наряду с гибкостью и умением адаптироваться к изменениям. Не поглупеют ли люди с дальнейшим развитием ИИ? Но такие опасения высказывались и с появлением калькулятора и первых компьютеров. Хотя Джасприт считает, что разрыв между "умными" и "глупыми" всё-таки увеличится. Люди, не желающие развиваться, ещё больше утвердятся в этом, ведь им станут доступны ещё более заманчивые развлечения, а любители изучать что-то новое получат новый мощный инструмент для этого.

Как видно, Джасприт с оптимизмом смотрит в будущее. Даже не в будущее, ведь оно уже наступило (futurism -> nowism). Да, есть разумные опасения относительно ИИ, высказываемые сообществом. Однако ИИ - лишь ещё один инструмент, который может использоваться как во зло, так и во благо - как расщепление атома. Лично мне кажется, что общество в целом не станет кардинально счастливее или несчастнее с развитием ИИ. Наше счастье гораздо больше зависит не от инструментов и технологий, а от нас самих, наших навыков и желания становиться лучше.

В эту субботу буду проводить мок-интервью. Это как обычное техническое собеседование, только тренировочное. Так что у вас есть редкая возможность посмотреть, как я собеседую. 🙂 Если интересно, приходите!

#career

Junior NLP Developer Mock Interview

На прошлой встрече с Алексеем в закадровой части было много вопросов про требования к соискателям работы в области NLP. Там же мы и решили, что неплохо было бы попробовать модный формат "мок интервью", чтобы понять эти требования ещё лучше.

Встречайте! В субботу 8 апреля в 13:00 в Zoom Наталья Соколова пройдёт мок интервью с Алексеем на позицию Junior NLP Developer.

Встреча будет состоять из следующих частей:
▫️Само мок интервью. Во время него мы просим никого не задавать вопросы и ничего не писать в чат, чтобы не отвлекать участников.
▫️Обратная связь от Алексея и Натальи
▫️Вопросы и свои варианты ответов от зрителей

Постараемся записать основную часть встречи для тех, кто не сможет прийти. Но лучше приходите поддержать участников и успеть выяснить, какие требования будут для вас наиболее актуальны.

Напоминаю про сегодняшнее мок-интервью. Я много собеседую по работе, но именно в таком формате вряд ли часто это буду делать, поэтому приходите, если интересно и есть возможность! Ссылка: https://us02web.zoom.us/j/86771868132

После вчерашнего мок-интервью мне в чате ODS NN задавали интересные вопросы, опубликую здесь ответы на некоторые из них. Надеюсь, что кому-то из вас будет полезно)

1. Если на собеседовании будут спрашивать про Python, какие вопросы могут быть?

На уровне мидла / сеньора по Питону можно ожидать вопросы про декораторы + functools.wraps, метаклассы и чем их лучше заменить, контекстные менеджеры, переписывание операторов (+ - * == > и т.д.), дескрипторы, наследование vs композиция vs микс-ины, pytest, разрешение circular imports, аннотирование типов и т.п.

На уровне джуниора часто спрашивают про то, когда лучше использовать какие типы данных (список vs словарь vs множество vs кортеж), list/dict comprehensions, generator expressions, принципы ООП.

Всем полезно знать про инженерные практики: SOLID, DRY, AHA, YAGNI и т.п.

2. Как оставаться в курсе трендов NLP (особенно когда уже владеешь теоретической базой)?

Я обычно, чтобы быть в курсе трендов, читаю телеграм-каналы наподобие:

https://news.1rj.ru/str/dlinnlp
https://news.1rj.ru/str/gonzo_ML
https://news.1rj.ru/str/doomgrad

Потом, если нужно более глубоко разобраться в том или ином методе / подходе, читаю научные статьи (а куда от них деваться) и блог-посты крупных компаний.

Иногда полезно выборочно читать новые книги, издаваемые авторитетными издательствами (O'Reilly, Manning), там бывает более систематичное и подробное изложение относительно "больших" тем (например, какой-то конкретный фреймворк или тип задач).

3. Какие есть бесплатные онлайн-курсы не про алгоритмы ML, а про выведение моделей в продакшн, применение ML в реальных приложениях и т.п.?

Вот эти рекомендую посмотреть:

https://www.coursera.org/specializations/machine-learning-engineering-for-production-mlops
https://ods.ai/tracks/ml-system-design-22
https://c.d2l.ai/stanford-cs329p/

#ml #career

Выложили на ютуб запись моего мок-интервью для Junior NLP Developer, посмотрите, если для вас актуально:
https://youtu.be/mCeZZvOq0qA

#ml #career

Про бескорыстие и разочарование

Сегодня хочется честно поговорить вот на какую тему. Когда я только начинал свой путь в IT, мне помогали более опытные коллеги. Они давали полезные советы, рекомендации, оценивали мой уровень, ставили эндорсы на линкедине. Они делали это вполне бескорыстно, и я был и остаюсь им очень благодарен. Их вклад в моё развитие сформировал во мне убеждение, что я тоже должен по мере сил помогать сообществу, вносить свою лепту. Отчасти поэтому я начал вести этот блог (ого, уже четыре месяца прошло). По этой же причине много раз безвозмездно помогал знакомым: сориентироваться в мире IT, привлекательно оформить резюме, подготовиться к собеседованиям, сформировать индивидуальный план обучения и т.д. Некоторых людей рекомендовал на конкретные вакансии в конкретные компании, и примерно в 50% случаев они успешно туда устраивались.

Но вы знаете, со временем мне становится всё сложнее помогать. Казалось бы, что может измениться? Я же не перестал считать это важным. Думаю, есть несколько факторов, но один из них стал для меня очевиден совсем недавно: накопление негативного опыта. Ты предложил кому-то бесплатно помочь с резюме и поиском работы, человек вроде бы с радостью согласился, но потом просто без объяснений пропал с радаров. Ты в свободное от основной работы время вкладываешься в студентов, читаешь в выходные и по ночам их курсовые и дипломные работы, даже помогаешь им решать проблемы с учёбой, возникающие нередко из-за их же раздолбайства, а они в ответ срывают дедлайны и примитивно врут.

Думаю, проблема во многом во мне самом. Наверное, помогая "бескорыстно", я не должен ожидать ничего взамен, ведь тогда это уже будет не бескорыстно? Но я, когда возникают описанные выше ситуации, чувствую себя либо ненужным, либо навязчивым, либо и тем и другим сразу. В результате приходит разочарование и желание опустить руки. И понятно, что в помощи людям у меня был не только негативный опыт, но и много позитивного тоже. Но как раз так совпало, что за последнее время было сразу несколько неприятных эпизодов, поэтому захотелось поднять эту тему.

Среди подписчиков моего скромного канала есть весьма опытные коллеги. Поделитесь, бывают ли у вас похожие мысли и ощущения? Если да, как справляетесь и что посоветуете? Если нет, что я делаю не так?

Тем людям, у которых пока не очень много опыта или кто ещё только начинает свой путь в IT, я хочу посоветовать / пожелать не отказываться от помощи, если вам её предлагает кто-то более опытный. А если вам бесплатно помогли - потратьте немного времени на слова благодарности. Мне кажется, этим вы тоже вносите свой вклад в развитие сообщества: вы поддерживаете мотивацию тех, кто вам помогает, а значит, эти люди будут, скорее всего, помогать и дальше.

Для себя же я решил, что буду реже предлагать знакомым свою помощь. Вместо этого завёл профиль эксперта на Хабр.Карьере - если кто захочет, могут обращаться через эту площадку и консультироваться за деньги, так, наверное, будет честнее. Кстати, уже один раз проконсультировал через эту платформу, очень положительный опыт.

Про одну неудачу
#career

На прошлой неделе у нас в МТС ИИ было необычное внутреннее мероприятие под названием Fuckup Evening. На нём топы (включая генерального директора) и лиды рассказывали о своих прошлых неудачах, а объединяющая тема была "управление командой". Такое у нас проводится уже не в первый раз, и это классно: неудачи тем и ценны, что из них можно извлечь важные уроки. А заодно и посмеяться - наши рассказчики не скупятся на юмор.

Не думайте, я не буду вам пересказывать истории с Fuckup Evening. Это замечательное мероприятие навело меня на мысль написать здесь об одной своей неудаче. Дело в том, что с месяц назад я по собственной инициативе перевёлся с должности тимлида обратно в инженеры. Тимлидом я пробыл в этой компании всего лишь 7 месяцев. Это можно смело назвать неудачей, ведь и я, и мои руководители изначально рассчитывали на то, что я проработаю на этой должности значительно дольше.

Причиной перехода стало осознание некоторых важных вещей, ранее ускользавших от меня. Поделюсь с вами - может, кого-то это наведёт на собственные инсайты.

1. Мне говорили, что я хороший тимлид, но сам я не получал удовольствия от этой работы. Оказывается, даже если у тебя что-то получается, но сам процесс не приносит тебе удовлетворения, - со временем этим будет всё труднее продолжать заниматься. Без искренней увлечённости эмоциональные и психологические затраты на твою деятельность будут постепенно расти. Именно поэтому, кстати, я скептически отношусь к тому, когда люди идут в IT-профессии за деньгами, а не "по любви" - у такой мотивации весьма ограниченный ресурс, и об этом важно знать заранее.

2. Я также понял, что общение с людьми, а особенно умными и профессиональными, - это прекрасно, но иногда его бывает слишком много, по крайней мере для меня. Я вообще-то интроверт, и никуда от этого (надолго) не денешься.

Моя ошибка была в том, что я не сразу извлёк эти уроки, не сразу смог себе признаться в этих вещах. Я ведь не в первый раз наступил на подобные грабли: мне и раньше доводилось работать тимлидом. Тогда мне тоже не понравилось, но почему-то я решил, что в этот раз всё будет по-другому. Также я медлил с принятием решения об уходе с должности, потому что мне было страшно, что руководство компании плохо это воспримет. К счастью, мои руководители меня, наоборот, поддержали. А вернувшись к любимым задачам с кодом и экспериментами, я снова почувствовал радость от работы.

Напоследок, неожиданный поворот в этой истории: буквально на днях пришли с начальством к тому, что я всё-таки буду техлидом, а не ведущим разработчиком, как до тимлидства. Это такой компромиссный вариант. Общения и административных обязанностей будет меньше, чем у тимлида, но зона ответственности всё-таки шире, чем у инженера.

Вот, поделился, надеюсь, кому-то из вас это релевантно / интересно. :)

Капитан Неочевидность
#soft_skills #career

Есть один важный фактор успеха в IT (и не только), о котором многие вообще не думают. Ни за что не догадаетесь, о чём я. Эксперты часто говорят о том, что нужно постоянно развиваться, читать техническую литературу, следить за трендами, пробовать применять новые инструменты и библиотеки в реальных проектах. Всё так, это очень важно. Для этого нужна высокая мотивация - но и с мотивацией вроде бы всё более-менее ясно, о ней также довольно много говорят. Так чего же ещё не хватает?

Как ни странно, многим людям даже при наличии сильных хард-скиллов и мотивации отчаянно не хватает довольно банального и скучного умения: ясно излагать свои мысли. Именно это порой становится барьером в развитии. Причём штука в том, что человеку бывает сложно догадаться, в чём на самом деле проблема. И кажется, на удалёнке такое бывает чаще, чем при работе в офисе.

Например, младший специалист Вася задаёт много вопросов по своим задачам более опытной коллеге Зине. Коммуникация не клеится. Вася думает, что Зина просто не хочет ему помогать. Зина думает, что Вася "тупой", потому что она же ему всё написала, а он опять спрашивает о том же самом. На самом деле оба просто не умеют понятно изъясняться. Вася не может чётко сформулировать свои затруднения. Зина не может внятно объяснить, что нужно сделать, чтобы решить проблему. В результате страдают тоже оба. Вася перестаёт обращаться за помощью и слишком медленно закрывает свои задачи. Зина не развивается как ментор, а ей бы хотелось однажды стать тимлидом.

Почему такое происходит? Иногда из-за высокой занятости и большого объёма коммуникации по работе. Иногда из-за разницы в бэкграунде и нежелания посмотреть на ситуацию глазами другого человека. Иногда, наверное, просто из-за небрежности.

Думаю, что многих подобных проблем можно избежать, если задаться целью быть более понятным другим людям. Смею утверждать, что любой человек при желании может найти в этом для себя точки роста. Эффективная коммуникация всё делает лучше. Быть понятными полезно и продуктовым менеджерам, и бизнес-аналитикам, и разработчикам, и тестировщикам, не говоря уже о технических писателях и "эйчарах". Взаимодействие с вами будет более продуктивным и приятным, а это ценится и приносит свои дивиденды.

Некоторые конкретные рекомендации:

1. Старайтесь развивать навык "взгляда со стороны" на то, как вы излагаете свои мысли (не важно, устно или письменно). Наблюдайте за реакцией собеседников. Если чувствуете, что вас не понимают, делайте выводы, пробуйте перефразировать. Если объясняете что-то, не спешите, не пренебрегайте важными подробностями. Не злоупотребляйте длинными и запутанными предложениями. От наблюдения и анализа к практике, это же такой же навык, как и другие. Всё обязательно получится.

2. Иногда советуют "объяснять как своей бабушке". Наверное, это слишком радикально. Нужно искать баланс между ясностью и избыточностью, краткостью и детализацией. Я вот иногда бываю склонен к избыточности. Это старая преподавательская привычка, с которой я пытаюсь бороться. И всё же кажется, что лучше переобъяснить, чем недообъяснить, особенно если речь о чём-то действительно важном.

3. Если это не вы, а ваш собеседник неясно выражается, а предмет разговора имеет значение, - не делайте вид, что вам всё понятно. Сформулируйте, что вы поняли, задайте уточняющие вопросы. Если сомневаетесь - лучше переспросить. Кто-то боится раздражить этим коллег, но риски обычно выше, если не переспросить и неправильно что-то понять.

А вы сталкиваетесь с подобными проблемами? Получается ли у вас доносить свои мысли до собеседников? Как бы вы посоветовали улучшать коммуникативные навыки?

На работе попросили записать короткое видео о том, что такое машинное обучение. Формат специфический: короткий клип, всего одна минута. Много за 60 секунд не расскажешь, но надеюсь, что будет небесполезно для совсем начинающих, кто ещё ничего не знает о машинном обучении. Для меня это был интересный первый опыт. Ролик здесь, если кому любопытно:

https://vk.com/clip-212087550_456239074?c=0

#ml