И зачем я читаю все эти интересные и практически бесполезные для практики ML инженера статьи? 🤔
😁46👍7❤2
#работа #лабораторный_журнал
Многим могло показаться, что мы слишком жестко собеседуем аналитиков данных, да и вообще всех.
Так вот, только что общался с кандидатом, который прошел все этапы на пять.
1. Chad резюме, где присутствовали такие вещи как построение модели данных в DWH с нуля. Самое главное, что на собеседовании он мог подтвердить этот опыт.
2. Дружелюбная и структурированная коммуникация. Рассказ о себе начал с основной сути, а затем перешел к деталям. Явно адаптировал рассказ под наш запрос, значит внимательно прочитал описание вакансии.
3. Не сыпется при вопросах по опыту, может объяснить почему делал так, а не иначе.
4. Грамотно решает кейсы: задает вопросы, уточняет задание, предлагает решение, не останавливается на первом попавшемся решении и сравнивает несколько вариантов.
5. Решил SQL задачу, способен сделать self-join таблицы.
6. Сделал follow up после собеседования, сказал всем спасибо.
Наверняка попросит много денег!
Это уже второй такой кандидат. Поэтому мне кажется, что наш процесс выбран верно, а отсев не слишком жесткий.
Многим могло показаться, что мы слишком жестко собеседуем аналитиков данных, да и вообще всех.
Так вот, только что общался с кандидатом, который прошел все этапы на пять.
1. Chad резюме, где присутствовали такие вещи как построение модели данных в DWH с нуля. Самое главное, что на собеседовании он мог подтвердить этот опыт.
2. Дружелюбная и структурированная коммуникация. Рассказ о себе начал с основной сути, а затем перешел к деталям. Явно адаптировал рассказ под наш запрос, значит внимательно прочитал описание вакансии.
3. Не сыпется при вопросах по опыту, может объяснить почему делал так, а не иначе.
4. Грамотно решает кейсы: задает вопросы, уточняет задание, предлагает решение, не останавливается на первом попавшемся решении и сравнивает несколько вариантов.
5. Решил SQL задачу, способен сделать self-join таблицы.
6. Сделал follow up после собеседования, сказал всем спасибо.
Наверняка попросит много денег!
Это уже второй такой кандидат. Поэтому мне кажется, что наш процесс выбран верно, а отсев не слишком жесткий.
👍69❤9🔥6👎4
Forwarded from DLStories
Помните, рассказывала, как я в Кембридже на Хинтона ходила? Наконец выложили запись доклада, она вот. Доклад реально интересный с необычными мыслями, посмотреть рекомендую. Еще там очень интересная (я бы даже сказала, веселая) часть в конце с ответами на вопросы. Где-то даже слово "коммунизм" промелькнуло 🌝
А тут скажу еще вот что. В тех постах выше я рассказывала о той части этой лекции, которая касается опасности AGI. Но там была еще другая часть, первая. Касалась она аналогового железа и mortal computation. Эта идея вот про что (по крайней мере, как ее поняла я): смотрите, современные AI-модели не привязаны к конкретному железу (например, к одному компьютеру). Одну и ту же модель можно запустить на разных устройствах, и мы точно знаем, как эта модель устроена и работает. Можно сказать, что AI-модели "бессмертны": если даже сломать сервер, модельку можно будет перенести и запустить на другом серваке.
А что если отказаться от принципа бессмертия моделей? Что если подумать о том, чтобы создавать AI-агентов, которые были бы неотделимы от своего "железа"? Которые в процессе обучения могли бы учиться использовать свойства своего железа по-максимуму и даже подстраивать его под свои задачи?
Такой подход потенциально может дать два важных преимущества:
1. Модели подобного рода могли бы потреблять гораздо меньше энергии для работы. Например, возможно, мы могли бы использовать что-то типа аналоговых компьютеров;
2. Возможно, мы могли бы придумать, как "выращивать" железо с разными архитектурами и свойствами под решение определенных задач. Т.е. процесс обучения модели будет сводиться не просто к подбору численных значений фиксированных параметров, но и к подбору самой архитектуры.
Но тут возникает проблема: алгоритм обучения моделей backpropagation для такого не подойдет. Причины такие:
1. Он очень энергозатратный;
2. Для backpropagation нужно знать точное устройство модели и вид ее forward pass. А если мы добиваемся пункта два выше (учимся выращивать железо), то точный вид функции, которую будет выражать модель, нам будет неизвестен.
Короче, есть мотивация подумать о других способах обучения моделей. Которые подошли бы и "смертным" моделям. А дополнительной мотивацией еще может служить то, что человеческий мозг, по всей видимости, ничего похожего на backprop не делает. То есть, точно можно придумать что-то еще и для AI.
Так вот. Первая часть Кембриджской лекции была как раз про эту идею отказа от "бессмертия" моделей. А конкретнее, переходы в лекции были такими:
- описание идеи "смертных" моделей;
- идея, как можно такие модели учить без backprop;
- а что если у нас есть куча "смертных" моделей: как заставить их взаимодействовать и делиться знаниями друг с другом?
- дистилляция — хороший способ делиться знаниями с моделью, но в современных моделях (включая LLM) она сейчас используется неэффективно;
- что если куча LLM-like моделей получали бы знания из реального мира, а не из интернета, и делились ими друг с другом;
- How AI can take control и далее то, о чем я писала в прошлых постах.
Вот так вот от идеи аналоговых компов мы пришли к "AI захватит мир🙃"
Напоследок снова скажу: посмотреть лекцию советую. Это может хорошо помочь посмотреть на привычный AI с немного другой стороны. После этого точно появляется, над чем подумать.
📽Ссылка на лекцию
А тут скажу еще вот что. В тех постах выше я рассказывала о той части этой лекции, которая касается опасности AGI. Но там была еще другая часть, первая. Касалась она аналогового железа и mortal computation. Эта идея вот про что (по крайней мере, как ее поняла я): смотрите, современные AI-модели не привязаны к конкретному железу (например, к одному компьютеру). Одну и ту же модель можно запустить на разных устройствах, и мы точно знаем, как эта модель устроена и работает. Можно сказать, что AI-модели "бессмертны": если даже сломать сервер, модельку можно будет перенести и запустить на другом серваке.
А что если отказаться от принципа бессмертия моделей? Что если подумать о том, чтобы создавать AI-агентов, которые были бы неотделимы от своего "железа"? Которые в процессе обучения могли бы учиться использовать свойства своего железа по-максимуму и даже подстраивать его под свои задачи?
Такой подход потенциально может дать два важных преимущества:
1. Модели подобного рода могли бы потреблять гораздо меньше энергии для работы. Например, возможно, мы могли бы использовать что-то типа аналоговых компьютеров;
2. Возможно, мы могли бы придумать, как "выращивать" железо с разными архитектурами и свойствами под решение определенных задач. Т.е. процесс обучения модели будет сводиться не просто к подбору численных значений фиксированных параметров, но и к подбору самой архитектуры.
Но тут возникает проблема: алгоритм обучения моделей backpropagation для такого не подойдет. Причины такие:
1. Он очень энергозатратный;
2. Для backpropagation нужно знать точное устройство модели и вид ее forward pass. А если мы добиваемся пункта два выше (учимся выращивать железо), то точный вид функции, которую будет выражать модель, нам будет неизвестен.
Короче, есть мотивация подумать о других способах обучения моделей. Которые подошли бы и "смертным" моделям. А дополнительной мотивацией еще может служить то, что человеческий мозг, по всей видимости, ничего похожего на backprop не делает. То есть, точно можно придумать что-то еще и для AI.
Так вот. Первая часть Кембриджской лекции была как раз про эту идею отказа от "бессмертия" моделей. А конкретнее, переходы в лекции были такими:
- описание идеи "смертных" моделей;
- идея, как можно такие модели учить без backprop;
- а что если у нас есть куча "смертных" моделей: как заставить их взаимодействовать и делиться знаниями друг с другом?
- дистилляция — хороший способ делиться знаниями с моделью, но в современных моделях (включая LLM) она сейчас используется неэффективно;
- что если куча LLM-like моделей получали бы знания из реального мира, а не из интернета, и делились ими друг с другом;
- How AI can take control и далее то, о чем я писала в прошлых постах.
Вот так вот от идеи аналоговых компов мы пришли к "AI захватит мир🙃"
Напоследок снова скажу: посмотреть лекцию советую. Это может хорошо помочь посмотреть на привычный AI с немного другой стороны. После этого точно появляется, над чем подумать.
📽Ссылка на лекцию
❤11👍5
Популярные курсы в ML
Anonymous Poll
6%
Я проходил Симулятор ML и оно того стоило
1%
Я проходил Симулятор ML и оно того не стоило
1%
Я проходил Hard ML и оно того стоило
2%
Я проходил Hard ML и оно того не стоило
91%
Результаты
😁34🤔5🔥2❤1😈1
Я уже достаточно долго занимаюсь вокалом с преподавателем.
Наблюдение: получается сильно лучше если я перед упражнением мысленно говорю себе “у меня получится.” Прям лайфхак какой-то. А/B тестом конечно не замерял, но субьективно эффект очень явно ощущается.
Наблюдение: получается сильно лучше если я перед упражнением мысленно говорю себе “у меня получится.” Прям лайфхак какой-то. А/B тестом конечно не замерял, но субьективно эффект очень явно ощущается.
😁54❤15👏14
#работа
# Как собеседовать инженеров
Сейчас я расскажу как построить найм инженеров от налача и до конца на основе своего многолетнего опыта. Многим он может показаться слишком суровым. Но к сожалению не вы изобрели правила этой игры. Какой рынок труда, такой и процесс.
Для начала надо поставить в вакансии зарплату примерно вдвое выше рынка. Например, 400 000 руб. для среднего разработчика. Не пугайтесь, это все часть стратегии.
Это обеспечит вам непрекращающийся поток кандидатов. Бонус: все они будут смелыми, потому что всех "наверное я не потяну" вы уже отсеяли. Это как быть самой красивой девушкой на вечеринке.
Далее зовем кандидатов на собеседование. Но ни в коем случае не по одному, а группами по 5 - 10 человек. В HR это называется Batch Processing. Этим вы экономите себе время, проверяете людей на способность к общению в коллективе и задаете соревновательный дух.
Поведенческий отсев это первый этап собеседования. Лучший выбор: игра с музыкой и стульями. Сразу отсеиваем кандидатов, которые отказываются играть: они и на работе будут ныть "ой, я фронтенд делать не нанимался" и все в таком духе. Играем до победителя и в конце его отсеиваем: слишком склонен к конкуренции, наверняка подсидит вас.
Технический отбор. Разыгрываем по модели телешоу: всем участникам задается технический вопрос, первый поднявший руку отвечает. Ответил правильно: плюс балл. Не ответил: минус. В конце отсеиваем нижнюю половину по баллам.
Наконец, переговоры о зарплатах. Устраиваем аукцион второй цены. Например, начинаем торги с 400 тыс. рублей. Кандидаты предлагают цифры меньше, если готовы работать за такую зарплату. После победы выгоняем победителя, все равно он терпила, и нанимаем человека с предпоследним предложением. Теория игр работает на вас!
Если вы все провернули верно стоимость должна была упасть сильно ниже рынка.
#щитпостинг
# Как собеседовать инженеров
Сейчас я расскажу как построить найм инженеров от налача и до конца на основе своего многолетнего опыта. Многим он может показаться слишком суровым. Но к сожалению не вы изобрели правила этой игры. Какой рынок труда, такой и процесс.
Для начала надо поставить в вакансии зарплату примерно вдвое выше рынка. Например, 400 000 руб. для среднего разработчика. Не пугайтесь, это все часть стратегии.
Это обеспечит вам непрекращающийся поток кандидатов. Бонус: все они будут смелыми, потому что всех "наверное я не потяну" вы уже отсеяли. Это как быть самой красивой девушкой на вечеринке.
Далее зовем кандидатов на собеседование. Но ни в коем случае не по одному, а группами по 5 - 10 человек. В HR это называется Batch Processing. Этим вы экономите себе время, проверяете людей на способность к общению в коллективе и задаете соревновательный дух.
Поведенческий отсев это первый этап собеседования. Лучший выбор: игра с музыкой и стульями. Сразу отсеиваем кандидатов, которые отказываются играть: они и на работе будут ныть "ой, я фронтенд делать не нанимался" и все в таком духе. Играем до победителя и в конце его отсеиваем: слишком склонен к конкуренции, наверняка подсидит вас.
Технический отбор. Разыгрываем по модели телешоу: всем участникам задается технический вопрос, первый поднявший руку отвечает. Ответил правильно: плюс балл. Не ответил: минус. В конце отсеиваем нижнюю половину по баллам.
Наконец, переговоры о зарплатах. Устраиваем аукцион второй цены. Например, начинаем торги с 400 тыс. рублей. Кандидаты предлагают цифры меньше, если готовы работать за такую зарплату. После победы выгоняем победителя, все равно он терпила, и нанимаем человека с предпоследним предложением. Теория игр работает на вас!
Если вы все провернули верно стоимость должна была упасть сильно ниже рынка.
#щитпостинг
😁194👎43🔥14❤11👏4😱3🐳2👍1😢1
Вечный цикл компутер вижна
1. Нагромодили костылей, получили SIFT
2. Устали от костылей, изобрели ResNet
3. Нагромодили костылей, получили Faster RCNN
4. Устали от костылей, изобрели DETR
5. Нагромодили костылей, получили Grounding DINO + SAM
6. Вы находитесь здесь
1. Нагромодили костылей, получили SIFT
2. Устали от костылей, изобрели ResNet
3. Нагромодили костылей, получили Faster RCNN
4. Устали от костылей, изобрели DETR
5. Нагромодили костылей, получили Grounding DINO + SAM
6. Вы находитесь здесь
❤49😁8🤔6👍3
Forwarded from Институт AIRI
Делимся расписанием ИИшницы «Диффузионные модели и их расширения», которая пройдет в этот четверг на YouTube-канале AIRI 🍳
🔵 15:30 – Вступление, Артур Кадурин, AIRI
🔵 15:35 – «Диффузионные модели: три стороны одной медали», Дмитрий Ветров, ФКН ВШЭ, AIRI
В докладе спикер рассмотрит три способа интерпретации диффузионных моделей и кратко перечислит основные преимущества, которые дают разные способы взгляда на эту популярную генеративную модель.
🔵 15:55 – "Star-Shaped Denoising Diffusion Probabilistic Models", Андрей Охотин, ФКН ВШЭ
Диффузионные модели сейчас достигают высокого качества на задачах генерации изображений и звука, однако, испытывают проблемы с генерацией данных со сложной внутренней структурой. Статья, про которую расскажет Андрей, представляет обобщение классических диффузионых моделей, позволяющее использовать не только гауссовское зашумляющее распределение. Благодаря этому удается добиться высокого качества генерации данных из таких специфических многообразий.
🔵 16:15 – «Применение генеративных картиночных моделей в рекламе» Валентин Хрульков, Яндекс
Валентин расскажет о практических сценариях использования технологии генерации картинок для улучшения привлекательности рекламных баннеров.
🔵 16:35 – "Entropic Neural Optimal Transport via Diffusion Processes" Никита Гущин, Сколтех
Доклад основан на статье "Entropic Neural Optimal Transport via Diffusion Processes" (NeurIPS 2023, oral). Оптимальный транспорт с помощью нейронных сетей — новое направление для решения задач непарного переноса стиля и доменной адаптации. В докладе Никита расскажет про способ связать оптимальный транспорт и диффузионные модели с помощью задачи моста Шрёдингера. Помимо рассказа о разработанном в статье алгоритме будут рассмотрены также другие уже известные алгоритмы для задачи моста Шрёдинегра и их приложения.
🔵 17:55 – "Training of an integrator of diffusion model trajectories" Вячеслав Мещанинов, ФКН ВШЭ
Диффузионные модели продемонстрировали огромный потенциал для генерации данных самой разной структуры. Однако главным их недостатком является большое количество шагов на этапе использования, необходимое для качественной генерации объектов. В докладе Вячеслав расскажет о том, как можно преодолеть данный недостаток и обучить модель, которая за один шаг способна пройти всю траекторию генерации диффузионной модели.
Сохраняйте ссылку на трансляцию, до встречи в четверг! 🍿
В докладе спикер рассмотрит три способа интерпретации диффузионных моделей и кратко перечислит основные преимущества, которые дают разные способы взгляда на эту популярную генеративную модель.
Диффузионные модели сейчас достигают высокого качества на задачах генерации изображений и звука, однако, испытывают проблемы с генерацией данных со сложной внутренней структурой. Статья, про которую расскажет Андрей, представляет обобщение классических диффузионых моделей, позволяющее использовать не только гауссовское зашумляющее распределение. Благодаря этому удается добиться высокого качества генерации данных из таких специфических многообразий.
Валентин расскажет о практических сценариях использования технологии генерации картинок для улучшения привлекательности рекламных баннеров.
Доклад основан на статье "Entropic Neural Optimal Transport via Diffusion Processes" (NeurIPS 2023, oral). Оптимальный транспорт с помощью нейронных сетей — новое направление для решения задач непарного переноса стиля и доменной адаптации. В докладе Никита расскажет про способ связать оптимальный транспорт и диффузионные модели с помощью задачи моста Шрёдингера. Помимо рассказа о разработанном в статье алгоритме будут рассмотрены также другие уже известные алгоритмы для задачи моста Шрёдинегра и их приложения.
Диффузионные модели продемонстрировали огромный потенциал для генерации данных самой разной структуры. Однако главным их недостатком является большое количество шагов на этапе использования, необходимое для качественной генерации объектов. В докладе Вячеслав расскажет о том, как можно преодолеть данный недостаток и обучить модель, которая за один шаг способна пройти всю траекторию генерации диффузионной модели.
Сохраняйте ссылку на трансляцию, до встречи в четверг! 🍿
Please open Telegram to view this post
VIEW IN TELEGRAM
❤16👍1
Forwarded from Первая Полоса
Компания, собравшая базу человеческих лиц со всего мира, обжаловала штраф в 9 миллионов долларов в суде Великобритании.
Американская фирма ClearviewAI, известная своим сотрудничеством с спецслужбами США и рядом скандалов из-за сбора персональных данных в европейских странах, выиграла аппеляцию по делу о штрафе в 7,5 миллионов фунтов (9,1 млн долларов), который ей в прошлом году назначил британский информационный надзорный орган — Information Commissioner's Office (ICO).
СlearviewAI использует социальные сети и другие открытые источники для сбора фотографий пользователей, а затем предоставляет свою базу данных для сопоставления, работая таким образом как сервис по установлению личности. В прошлом году в ICO пришли к выводу, что деятельность фирмы нарушает европейский и британский регламенты о защите персональных данных — людей, чья информация была использована, об этом не уведомляли.
Представители компании подали апелляцию, указав, что обслуживали в Британии только правоохранительные органы, а данные обрабатывались вне границ страны. Суд признал правоту Clearview и отменил решение о штрафе, поскольку существующие регламенты не касаются работы силовых ведомств с персональными данными.
Сейчас сервис в основном использует полиция разных государств. До 2020 года Clearview предоставлял свои услуги не только государственным, но и частным клиентам, но в результате одного из судебных разбирательств объявил, что переходит на исключительно государственное сотрудничество.
С судами по делам о незаконном использовании персональных данных пользователей фирма столкнулась в США, Франции, Италии, Греции, Канаде и Австралии. В некоторых случаях осталось неясно, удалила ли Clearview свои базы данных, признанные незаконными.
С февраля 2022 года компания бесплатно предоставляет свои услуги властям Украины, используя огромную базу фотографий из VK. По мнению экспертов, опрошенных изданием Wired, активное использование ВКонтакте украинскими силовиками для идентификации российских военнослужащих, «спорно» с точки зрения человеческих прав. Как отметили собеседники Wired, это лишь один из возможных способов применения такой технологии: она пригодна для использования и в сугубо военных целях, что само по себе имеет потенциал нарушения международно признанных прав человека.
Широко развёрнутая система распознавания лиц работает в российских городах с 2018 года. Для неё использовали технологию FindFace, которую в 2010 году называли «убийцей анонимности». Ранее в этом году СМИ сообщали, что основатели NtechLab, компании-разработчика этой технологии, покинули собственную фирму после того, как им не удалось уговорить её руководство остановить работу FindFace в России.
По различным данным, из 10 городов мира, наиболее плотно покрытых сетью видеонаблюдения, от 8 до 9 находятся в Китае. Если исключить китайские города из этого перечня, в десятке окажутся четыре крупнейших города Индии, а также Москва, Санкт-Петербург, Багдад, Лондон и Лос-Анджелес.
Фото: Ascannio / Shutterstock
#лихая_долина
Американская фирма ClearviewAI, известная своим сотрудничеством с спецслужбами США и рядом скандалов из-за сбора персональных данных в европейских странах, выиграла аппеляцию по делу о штрафе в 7,5 миллионов фунтов (9,1 млн долларов), который ей в прошлом году назначил британский информационный надзорный орган — Information Commissioner's Office (ICO).
СlearviewAI использует социальные сети и другие открытые источники для сбора фотографий пользователей, а затем предоставляет свою базу данных для сопоставления, работая таким образом как сервис по установлению личности. В прошлом году в ICO пришли к выводу, что деятельность фирмы нарушает европейский и британский регламенты о защите персональных данных — людей, чья информация была использована, об этом не уведомляли.
Представители компании подали апелляцию, указав, что обслуживали в Британии только правоохранительные органы, а данные обрабатывались вне границ страны. Суд признал правоту Clearview и отменил решение о штрафе, поскольку существующие регламенты не касаются работы силовых ведомств с персональными данными.
Сейчас сервис в основном использует полиция разных государств. До 2020 года Clearview предоставлял свои услуги не только государственным, но и частным клиентам, но в результате одного из судебных разбирательств объявил, что переходит на исключительно государственное сотрудничество.
С судами по делам о незаконном использовании персональных данных пользователей фирма столкнулась в США, Франции, Италии, Греции, Канаде и Австралии. В некоторых случаях осталось неясно, удалила ли Clearview свои базы данных, признанные незаконными.
С февраля 2022 года компания бесплатно предоставляет свои услуги властям Украины, используя огромную базу фотографий из VK. По мнению экспертов, опрошенных изданием Wired, активное использование ВКонтакте украинскими силовиками для идентификации российских военнослужащих, «спорно» с точки зрения человеческих прав. Как отметили собеседники Wired, это лишь один из возможных способов применения такой технологии: она пригодна для использования и в сугубо военных целях, что само по себе имеет потенциал нарушения международно признанных прав человека.
Широко развёрнутая система распознавания лиц работает в российских городах с 2018 года. Для неё использовали технологию FindFace, которую в 2010 году называли «убийцей анонимности». Ранее в этом году СМИ сообщали, что основатели NtechLab, компании-разработчика этой технологии, покинули собственную фирму после того, как им не удалось уговорить её руководство остановить работу FindFace в России.
По различным данным, из 10 городов мира, наиболее плотно покрытых сетью видеонаблюдения, от 8 до 9 находятся в Китае. Если исключить китайские города из этого перечня, в десятке окажутся четыре крупнейших города Индии, а также Москва, Санкт-Петербург, Багдад, Лондон и Лос-Анджелес.
Фото: Ascannio / Shutterstock
#лихая_долина
👍11😱8👀4❤3🤔1