Вчера читал лекции про SVM да RVM, и вот видео уже выложено, да и все материалы на странице курса доступны как обычно.
Что мне всегда нравилось в околоматематических науках, в том числе и в машинном обучении, — это то, что как бы быстро ни двигался прогресс, всё равно основные идеи сохраняются, не устаревают и время от времени возникают в самых разных местах.
В этих лекциях вот рассказывал про SVM и kernel trick. Казалось бы, кому в эпоху нейросетей захочется самому придумывать ядра для нелинейной классификации и применять kernel trick — сеть же сама выучит нужное нелинейное преобразование. И действительно, может выучить, и базовые SVM сейчас редко встретишь в живой природе — но трюк отнюдь не умер! Это математическая идея, и она вовсе не об SVM, а о том, что скалярные произведения в пространствах признаков высокой размерности φ(x) эквивалентны нелинейным функциям от исходных векторов малой размерности x.
Так что когда в трансформерах понадобилось решать проблему квадратичной сложности, одним из подходов стал как раз kernel trick, только наоборот: если перейти от softmax(q⋅k)⋅v в пространство признаков, где softmax будет линейным, φ(q)⋅φ(k) (приближённо, разумеется), то можно будет переставить скобочки и матрицу квадратичной от длины входа сложности не считать. Эта идея называется сейчас linear attention, и я об этом недавно подробно писал в посте про линейное внимание и Mamba.
Это хороший пример к извечной морали любого образовательного процесса: изучать надо не рецепты, не конкретные модели и решения, а идеи, которые лежат в их основе. Модели устареют, рецепты заменятся на другие, — а идеи вечны.
https://www.youtube.com/watch?v=tHjg8mH0VSM
Что мне всегда нравилось в околоматематических науках, в том числе и в машинном обучении, — это то, что как бы быстро ни двигался прогресс, всё равно основные идеи сохраняются, не устаревают и время от времени возникают в самых разных местах.
В этих лекциях вот рассказывал про SVM и kernel trick. Казалось бы, кому в эпоху нейросетей захочется самому придумывать ядра для нелинейной классификации и применять kernel trick — сеть же сама выучит нужное нелинейное преобразование. И действительно, может выучить, и базовые SVM сейчас редко встретишь в живой природе — но трюк отнюдь не умер! Это математическая идея, и она вовсе не об SVM, а о том, что скалярные произведения в пространствах признаков высокой размерности φ(x) эквивалентны нелинейным функциям от исходных векторов малой размерности x.
Так что когда в трансформерах понадобилось решать проблему квадратичной сложности, одним из подходов стал как раз kernel trick, только наоборот: если перейти от softmax(q⋅k)⋅v в пространство признаков, где softmax будет линейным, φ(q)⋅φ(k) (приближённо, разумеется), то можно будет переставить скобочки и матрицу квадратичной от длины входа сложности не считать. Эта идея называется сейчас linear attention, и я об этом недавно подробно писал в посте про линейное внимание и Mamba.
Это хороший пример к извечной морали любого образовательного процесса: изучать надо не рецепты, не конкретные модели и решения, а идеи, которые лежат в их основе. Модели устареют, рецепты заменятся на другие, — а идеи вечны.
https://www.youtube.com/watch?v=tHjg8mH0VSM
YouTube
СПбГУ -- 2025.02.18 -- SVM, kernel trick, ядерные методы, метод релевантных векторов
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
🔥33❤🔥13👍7❤1
На дворе пятница, так что продолжим традицию игровых мини-обзоров. Две первые игры я прошёл за последнюю неделю, а третью взял из архивов, чтобы пост был пожирнее. Там, в архивах, ещё много.)
Knock on the Coffin's Lid
Когда карточный roguelike хорошо сделан — это кайф. Здесь на первый взгляд кажется, что это очередной клон Slay the Spire, и в чём-то это так и есть. Но не во всём: к разнообразным механикам карточного рогалика здесь добавили ещё и довольно годный сюжет. Как глобальный, так и локальный: на карте много событий, которые повторяются не в точности, а каждый раз с новыми вариациями; ваш персонаж погибает и перерождается, но сохраняет информацию о том, что произошло в прошлый раз, и когда воскресает в следующем забеге, может попробовать другие варианты.
Правда, если вы перфекционист и любите собирать все ачивки, лучше проходите мимо: событий много, и ачивок тут более 150 (!), а в каждом забеге можно проверить только один вариант. К счастью, я этим не страдаю, один раз прошёл игру за Ванадис, получил свою порцию удовольствия и с чистой совестью пошёл дальше, ну то есть пошёл рекомендовать вам. Кстати, игра от русскоязычных разработчиков, так что смело можно играть по-русски, ничего не потеряете.
While We Wait Here
Короткий, но цепляющий симулятор ходьбы. По сути ты просто сидишь в придорожном дайнере и слушаешь переплетающиеся истории посетителей — но при этом, во-первых, переживаешь их от первого лица, а во-вторых, здесь много то ли сверхестественных, то ли галлюцинированных героями моментов, в которых интересно разобраться. К тому же это не просто чтение диалогов: основа геймплея — кухонный симулятор, но в какой-то момент появляется даже шутер от первого лица.) Все аспекты геймплея, конечно, весьма примитивные, но добавляют атмосферы.
Визуально напоминает Mouthwashing, но без бодихоррора — и это плюс, для меня здесь как раз правильный баланс, когда атмосфера нагнетается, но ни в какой момент не страшно. В общем, прошёл с удовольствием, а самое приятное — что всё это занимает меньше двух часов! Рекомендую.
Do Not Feed the Monkeys
Очень любопытная игра: ты сидишь, смотришь за живыми камерами наблюдения и пытаешься вычленить интересные факты, чтобы выполнить задания. Всё это подаётся через личную историю героя, которому надо платить за квартиру, покупать еду и иногда участвовать в разных странных событиях. Головоломки несложные, но порой весьма креативные, так что процесс затягивает.
Отдельное спасибо разработчикам за то, что игра закончилась ровно в тот момент, когда начал появляться элемент рутины (часа за три я дошёл до конца и получил концовку «Enlightened Monkey»). Но опять предупреждаю перфекционистов: насколько я понял, истории появляются случайным образом, так что бог знает, сколько раз нужно будет перезапускать игру, чтобы увидеть и пройти их все. В любом случае, игра интересная и очень необычная — как вы уже поняли, я такие люблю.)
Knock on the Coffin's Lid
Когда карточный roguelike хорошо сделан — это кайф. Здесь на первый взгляд кажется, что это очередной клон Slay the Spire, и в чём-то это так и есть. Но не во всём: к разнообразным механикам карточного рогалика здесь добавили ещё и довольно годный сюжет. Как глобальный, так и локальный: на карте много событий, которые повторяются не в точности, а каждый раз с новыми вариациями; ваш персонаж погибает и перерождается, но сохраняет информацию о том, что произошло в прошлый раз, и когда воскресает в следующем забеге, может попробовать другие варианты.
Правда, если вы перфекционист и любите собирать все ачивки, лучше проходите мимо: событий много, и ачивок тут более 150 (!), а в каждом забеге можно проверить только один вариант. К счастью, я этим не страдаю, один раз прошёл игру за Ванадис, получил свою порцию удовольствия и с чистой совестью пошёл дальше, ну то есть пошёл рекомендовать вам. Кстати, игра от русскоязычных разработчиков, так что смело можно играть по-русски, ничего не потеряете.
While We Wait Here
Короткий, но цепляющий симулятор ходьбы. По сути ты просто сидишь в придорожном дайнере и слушаешь переплетающиеся истории посетителей — но при этом, во-первых, переживаешь их от первого лица, а во-вторых, здесь много то ли сверхестественных, то ли галлюцинированных героями моментов, в которых интересно разобраться. К тому же это не просто чтение диалогов: основа геймплея — кухонный симулятор, но в какой-то момент появляется даже шутер от первого лица.) Все аспекты геймплея, конечно, весьма примитивные, но добавляют атмосферы.
Визуально напоминает Mouthwashing, но без бодихоррора — и это плюс, для меня здесь как раз правильный баланс, когда атмосфера нагнетается, но ни в какой момент не страшно. В общем, прошёл с удовольствием, а самое приятное — что всё это занимает меньше двух часов! Рекомендую.
Do Not Feed the Monkeys
Очень любопытная игра: ты сидишь, смотришь за живыми камерами наблюдения и пытаешься вычленить интересные факты, чтобы выполнить задания. Всё это подаётся через личную историю героя, которому надо платить за квартиру, покупать еду и иногда участвовать в разных странных событиях. Головоломки несложные, но порой весьма креативные, так что процесс затягивает.
Отдельное спасибо разработчикам за то, что игра закончилась ровно в тот момент, когда начал появляться элемент рутины (часа за три я дошёл до конца и получил концовку «Enlightened Monkey»). Но опять предупреждаю перфекционистов: насколько я понял, истории появляются случайным образом, так что бог знает, сколько раз нужно будет перезапускать игру, чтобы увидеть и пройти их все. В любом случае, игра интересная и очень необычная — как вы уже поняли, я такие люблю.)
🔥12❤2❤🔥2
Сегодня рассказывал про EM-алгоритм; видео выложил, материалы как всегда на сайте. И снова, как в прошлый раз с kernel trick, EM — это вечная базовая идея, которую можно использовать в самых разных контекстах.
Например, весь self-supervised learning, в котором предсказания модели используются для дальнейшего обучения, — это частный случай EM-алгоритма. Год назад DeepMind выпустил статью про RestEM, где EM есть буквально в названии, и идея как раз в этом и заключается: породить ответы, отфильтровать их хоть как-нибудь и использовать отфильтрованное для следующей итерации обучения.
Для кластеризации, конечно, EM тоже используется до сих пор, но там это совсем прямолинейно: deep clustering — это когда нейросеть делает representation learning, а кластеризация происходит в латентном пространстве, так что там сам бог велел использовать EM-алгоритм.
Написал и подумал, что, наверное, EM можно использовать для обучения mixture-of-experts моделей, но, кажется, никто в мейнстриме так не делает. Нашёл только одну свежую, но довольно obscure статью; видимо, это или не так прямолинейно, как кажется, или просто не особо помогает. Слышали что-нибудь о таком? Или о других современных применениях EM-алгоритма? У меня в курсе будет несколько интересных примеров, но они не очень свежие, да и примеров много не бывает.
https://www.youtube.com/watch?v=x0m4e3MFSTs
Например, весь self-supervised learning, в котором предсказания модели используются для дальнейшего обучения, — это частный случай EM-алгоритма. Год назад DeepMind выпустил статью про RestEM, где EM есть буквально в названии, и идея как раз в этом и заключается: породить ответы, отфильтровать их хоть как-нибудь и использовать отфильтрованное для следующей итерации обучения.
Для кластеризации, конечно, EM тоже используется до сих пор, но там это совсем прямолинейно: deep clustering — это когда нейросеть делает representation learning, а кластеризация происходит в латентном пространстве, так что там сам бог велел использовать EM-алгоритм.
Написал и подумал, что, наверное, EM можно использовать для обучения mixture-of-experts моделей, но, кажется, никто в мейнстриме так не делает. Нашёл только одну свежую, но довольно obscure статью; видимо, это или не так прямолинейно, как кажется, или просто не особо помогает. Слышали что-нибудь о таком? Или о других современных применениях EM-алгоритма? У меня в курсе будет несколько интересных примеров, но они не очень свежие, да и примеров много не бывает.
https://www.youtube.com/watch?v=x0m4e3MFSTs
YouTube
СПбГУ -- 2025.02.25 -- Кластеризация, EM алгоритм для кластеризации, EM в общем виде
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
🔥23❤🔥4💯3🤣1🖕1
Вышел мой большой пост про рассуждающие модели (large reasoning models, LRM), которые начались с OpenAI o1-preview в конце прошлого сентября, а самой громкой новостью начала года стал DeepSeek-R1.
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
Как обычно, я постарался рассказать всю структуру происходящего:
— сначала про chain-of-thought методы и как они развивались;
— потом про o1 и новые законы масштабирования;
— в середине небольшое отступление про самые последние новости — модель s1, которая за $50 обучилась почти до того же уровня;
— а потом уже подробно о том, что происходит в DeepSeek-V3 и DeepSeek-R1;
— в частности, о том, как там используется RL и какой именно (здесь у DeepSeek тоже есть своё новшество, алгоритм GRPO).
Думаю, рассуждающие модели — это самое главное, что произошло в AI за последние несколько месяцев. И, как всегда в последнее время, прогресс невероятно быстрый: только появилось, а уже прочно вошло в обиход, у всех есть свои варианты reasoning models, а где-то уже есть и следующие уровни надстройки над этим вроде deep research. Надеюсь, пост тоже интересный получился — или хотя бы познавательный.)
https://synthesis.ai/2025/02/25/large-reasoning-models-how-o1-replications-turned-into-real-competition/
Как обычно, я постарался рассказать всю структуру происходящего:
— сначала про chain-of-thought методы и как они развивались;
— потом про o1 и новые законы масштабирования;
— в середине небольшое отступление про самые последние новости — модель s1, которая за $50 обучилась почти до того же уровня;
— а потом уже подробно о том, что происходит в DeepSeek-V3 и DeepSeek-R1;
— в частности, о том, как там используется RL и какой именно (здесь у DeepSeek тоже есть своё новшество, алгоритм GRPO).
Думаю, рассуждающие модели — это самое главное, что произошло в AI за последние несколько месяцев. И, как всегда в последнее время, прогресс невероятно быстрый: только появилось, а уже прочно вошло в обиход, у всех есть свои варианты reasoning models, а где-то уже есть и следующие уровни надстройки над этим вроде deep research. Надеюсь, пост тоже интересный получился — или хотя бы познавательный.)
❤🔥29🔥13👍8❤1
Пока все AI-каналы пишут про GPT-4.5 (был бы рад тоже написать, да не знаю что, зачем вам от меня повторение тех же новостей...), я вам опять принёс пятничные мини-обзоры небольших, но интересных игр — тьфу-тьфу-тьфу, входит в традицию.
The Wreck
Эмоциональная короткая история о потере, примирении и взаимопонимании перед лицом смерти. Базовый геймплей здесь совсем простой — надо кликать по ключевым словам в коротких повествовательных сценках. А сама история... пожалуй, я бы назвал её уютной. Хотя сюжет посвящён трагическим событиям, он разворачивается в очень тёплом и любящем мире: здесь нет плохих или даже просто эгоистичных людей, нет материальных проблем (речь о семье известной художницы), все любят друг друга, принимают выбор каждого и делают всё возможное, чтобы помочь, одновременно справляясь со своими собственными проблемами.
Так что вывод слегка парадоксальный: это история о смерти в семье, но при этом это уютное и трогательное приключение, которое я рекомендую попробовать под настроение с (пусть виртуальными) пледом и какао.
No Case Should Remain Unsolved
Небольшой текстовый квест, где ты перекрёстно анализируешь улики, кликая по ключевым словам и переставляя карточки, пытаясь понять, кто что сказал и в каком порядке. Механика очень хорошо продумана, реализация детективной работы мне понравилась, определённо рекомендую.
Прозвучит тупо, но, честно говоря, единственной проблемой для меня стало то, что игра корейская — я, видимо, уже старенький, потому что у меня никак в голове не помещалось, кто там Choi Donggeon, кто Song Minyeong, а кто Seo Wonyeong, и даже кто из них мальчик, а кто девочка; всё это мгновенно вымывалось из головы, как только откладывал steam deck. Но в остальном я считаю, что механика очень крутая, и история тоже получилась в меру запутанная и в меру интересная, и я бы с удовольствием поиграл в следующие эпизоды в том же духе.
А Горюшко вслед собакою…
Очень короткая визуальная новелла, затрагивающая крайне тяжёлые темы (Великую отечественную) и очевидно претендующая на большую эмоциональную нагрузку. К сожалению, у меня игра сильных эмоций вызвать не смогла именно из-за своей краткости: у меня не было времени узнать что-то о персонажах, примерить их на себя, сформировать эмоциональную связь. Единственный момент, где игра для меня действительно сработала — финальная сцена, которая очень хорошо сделана, и идущие после неё титры, которые я не хочу спойлерить. Но если бы у нас было больше времени, чтобы проникнуться персонажами и историей, вся игра могла бы сработать так же хорошо...
Чуть обобщая, это как раз, на мой взгляд, хороший пример того, чем жанр игрового повествования отличается от, скажем, кино. В игре ты почти всегда проводишь с героями больше времени, чем в кино, причём это может быть quality time, в течение которого ты буквально вживаешься в героев. Мне кажется, именно это и должны давать игры, это их уникальная сильная сторона. И, например, недавно упоминавшаяся серия OPUS, в которой насквозь анимешные картонные персонажи живут в вымышленном фантастическом мире, тем не менее работает для меня лучше, чем эта игра, где речь идёт про абсолютно реальную огромную трагедию моего собственного народа — просто OPUS дал мне больше времени и лучше погрузил в контекст.
The Wreck
Эмоциональная короткая история о потере, примирении и взаимопонимании перед лицом смерти. Базовый геймплей здесь совсем простой — надо кликать по ключевым словам в коротких повествовательных сценках. А сама история... пожалуй, я бы назвал её уютной. Хотя сюжет посвящён трагическим событиям, он разворачивается в очень тёплом и любящем мире: здесь нет плохих или даже просто эгоистичных людей, нет материальных проблем (речь о семье известной художницы), все любят друг друга, принимают выбор каждого и делают всё возможное, чтобы помочь, одновременно справляясь со своими собственными проблемами.
Так что вывод слегка парадоксальный: это история о смерти в семье, но при этом это уютное и трогательное приключение, которое я рекомендую попробовать под настроение с (пусть виртуальными) пледом и какао.
No Case Should Remain Unsolved
Небольшой текстовый квест, где ты перекрёстно анализируешь улики, кликая по ключевым словам и переставляя карточки, пытаясь понять, кто что сказал и в каком порядке. Механика очень хорошо продумана, реализация детективной работы мне понравилась, определённо рекомендую.
Прозвучит тупо, но, честно говоря, единственной проблемой для меня стало то, что игра корейская — я, видимо, уже старенький, потому что у меня никак в голове не помещалось, кто там Choi Donggeon, кто Song Minyeong, а кто Seo Wonyeong, и даже кто из них мальчик, а кто девочка; всё это мгновенно вымывалось из головы, как только откладывал steam deck. Но в остальном я считаю, что механика очень крутая, и история тоже получилась в меру запутанная и в меру интересная, и я бы с удовольствием поиграл в следующие эпизоды в том же духе.
А Горюшко вслед собакою…
Очень короткая визуальная новелла, затрагивающая крайне тяжёлые темы (Великую отечественную) и очевидно претендующая на большую эмоциональную нагрузку. К сожалению, у меня игра сильных эмоций вызвать не смогла именно из-за своей краткости: у меня не было времени узнать что-то о персонажах, примерить их на себя, сформировать эмоциональную связь. Единственный момент, где игра для меня действительно сработала — финальная сцена, которая очень хорошо сделана, и идущие после неё титры, которые я не хочу спойлерить. Но если бы у нас было больше времени, чтобы проникнуться персонажами и историей, вся игра могла бы сработать так же хорошо...
Чуть обобщая, это как раз, на мой взгляд, хороший пример того, чем жанр игрового повествования отличается от, скажем, кино. В игре ты почти всегда проводишь с героями больше времени, чем в кино, причём это может быть quality time, в течение которого ты буквально вживаешься в героев. Мне кажется, именно это и должны давать игры, это их уникальная сильная сторона. И, например, недавно упоминавшаяся серия OPUS, в которой насквозь анимешные картонные персонажи живут в вымышленном фантастическом мире, тем не менее работает для меня лучше, чем эта игра, где речь идёт про абсолютно реальную огромную трагедию моего собственного народа — просто OPUS дал мне больше времени и лучше погрузил в контекст.
❤🔥11🔥5❤4👍3👏1
Вчера выступал на митапе "Расскажи мне про ИИ", который был в Центре ИИ СПбГУ организован коллегами-журналистами. Записывали только аудио, сделал вот из него видео со слайдами; к сожалению, не записались вопросы после лекции, там тоже было интересное обсуждение. На лёгкий американский акцент, иногда переходящий в китайский язык, не обращайте внимания — это мой шумоподавитель слегка передавил.)
https://youtu.be/rsaIXXb7bKs
Меня просили сделать доклад на 10 минут, так что я и правда уложился в двадцать, и в целом проводил одну-единственную мысль: как надо и как не надо использовать термин "искусственный интеллект". Проблема популяризации AI, конечно, не исчерпывается одним словосочетанием, но для меня это и правда кажется одним из самых больных вопросов, потому что он надолго задерживается в головах. Кратко изложу три тезиса здесь, а в докладе обсуждаю подробнее, с примерами и котиками.
1. "Искусственный интеллект" — очень неудачное название для области науки, потому что оно смешивает область науки и её цель, продукт. Это всё равно что экспериментальная ядерная физика называлась бы "коллайдер" или "бозон Хиггса". Но это неудачное название мы с вами уже не изменим, так что остаётся как-то mitigate damage, и для этого надо использовать слова так, чтобы в голове читателя наука и её продукт не смешивались.
2. Например, когда пишут "ИИ научился..." или "ИИ теперь умеет...", это формально верно, можно метафорически сказать "физика теперь знает" или "медицина научилась"; если вы пишете об AI целую книгу, во введении к этой книге такая фраза может быть уместной. Но как заголовок статьи это создаёт у читателя не образ области науки с тысячами разных исследований, а образ какого-то единого монолитного "искусственного интеллекта", который где-то живёт и чему-то учится; лично я много раз видел этот образ в головах людей, и не надо эту ошибку усугублять. Вместо этого лучше говорить "учёные разработали новую модель" или "новый метод ИИ" — это сразу подчёркивает, что методов тысячи, и вот ещё один.
3. Но самая нелюбимая мной фраза — это "учёные применили искусственный интеллект". Это даже формально неграмотно — никто не напишет "учёные применили физику". Когда говорят "учёные применили", дальше должен идти конкретный метод, который используется как чёрный ящик: "археологи применили радиоуглеродный анализ" или "учёные применили алгоритм PPO для обучения с подкреплением". А когда пишут "учёные применили ИИ", на самом деле имеют в виду "учёные разработали новую модель машинного обучения" — и во всех остальных науках так бы и написали! Не "учёные применили медицину", а "учёные разработали новое лекарство", с акцентом на то, что люди придумали что-то новое. И только в нашей науке почему-то популяризаторы отнимают у людей-учёных их агентность раньше времени...
https://youtu.be/rsaIXXb7bKs
Меня просили сделать доклад на 10 минут, так что я и правда уложился в двадцать, и в целом проводил одну-единственную мысль: как надо и как не надо использовать термин "искусственный интеллект". Проблема популяризации AI, конечно, не исчерпывается одним словосочетанием, но для меня это и правда кажется одним из самых больных вопросов, потому что он надолго задерживается в головах. Кратко изложу три тезиса здесь, а в докладе обсуждаю подробнее, с примерами и котиками.
1. "Искусственный интеллект" — очень неудачное название для области науки, потому что оно смешивает область науки и её цель, продукт. Это всё равно что экспериментальная ядерная физика называлась бы "коллайдер" или "бозон Хиггса". Но это неудачное название мы с вами уже не изменим, так что остаётся как-то mitigate damage, и для этого надо использовать слова так, чтобы в голове читателя наука и её продукт не смешивались.
2. Например, когда пишут "ИИ научился..." или "ИИ теперь умеет...", это формально верно, можно метафорически сказать "физика теперь знает" или "медицина научилась"; если вы пишете об AI целую книгу, во введении к этой книге такая фраза может быть уместной. Но как заголовок статьи это создаёт у читателя не образ области науки с тысячами разных исследований, а образ какого-то единого монолитного "искусственного интеллекта", который где-то живёт и чему-то учится; лично я много раз видел этот образ в головах людей, и не надо эту ошибку усугублять. Вместо этого лучше говорить "учёные разработали новую модель" или "новый метод ИИ" — это сразу подчёркивает, что методов тысячи, и вот ещё один.
3. Но самая нелюбимая мной фраза — это "учёные применили искусственный интеллект". Это даже формально неграмотно — никто не напишет "учёные применили физику". Когда говорят "учёные применили", дальше должен идти конкретный метод, который используется как чёрный ящик: "археологи применили радиоуглеродный анализ" или "учёные применили алгоритм PPO для обучения с подкреплением". А когда пишут "учёные применили ИИ", на самом деле имеют в виду "учёные разработали новую модель машинного обучения" — и во всех остальных науках так бы и написали! Не "учёные применили медицину", а "учёные разработали новое лекарство", с акцентом на то, что люди придумали что-то новое. И только в нашей науке почему-то популяризаторы отнимают у людей-учёных их агентность раньше времени...
YouTube
Семинар СПбГУ -- 2025.02.28 -- Как не надо рассказывать об AI
Короткий доклад на митапе "Расскажи мне про ИИ", где я провожу одну-единственную мысль: как правильно использовать и как не использовать словосочетание "искусственный интеллект", и к каким ложным идеям приводит неправильное использование.
Подписывайтесь…
Подписывайтесь…
👍30🔥8❤5❤🔥4🤣2
А вот и следующий пост про мою новую книжку. Пока авторских экземпляров у меня нет, но посмотрите, какое чудо мне вчера подарили! ❤️❤️❤️
Я весь растаял уже, очень-очень приятно.)
Напоминаю, что это про обложку книги "Машинное обучение: основы", которая уже доступна для заказа в издательстве "Питер"
https://www.piter.com/collection/biblioteka-programmista/product/mashinnoe-obuchenie-osnovy
Кто-то даже уже её физически получил - но пока не я.)
Я весь растаял уже, очень-очень приятно.)
Напоминаю, что это про обложку книги "Машинное обучение: основы", которая уже доступна для заказа в издательстве "Питер"
https://www.piter.com/collection/biblioteka-programmista/product/mashinnoe-obuchenie-osnovy
Кто-то даже уже её физически получил - но пока не я.)
❤63❤🔥8👏8
Вчерашние мои лекции были о приложениях и расширениях EM-алгоритма: обобщения EM, модели Брэдли-Терри, presence-only data на примере сусликов, которых не видно, а они есть...
В частности, каждый год вспоминаю историю о рейтинге спортивного "Что? Где? Когда?", к которому я когда-то очень давно сделал два подхода. Сначала мы с Александром Сироткиным @avsirotkin сделали обобщение системы TrueSkill; о нём поговорим в лекции про метод Expectation Propagation, если на него хватит времени. Это, конечно, самая ностальгическая часть истории, потому что это была наша первая серьёзная статья по машинному обучению, и сразу на ICML (Nikolenko, Sirotkin, 2011). С неё у меня всё это направление по сути и началось.
Через несколько лет я сделал ещё один подход: в таблицах рейтинга ЧГК появились плюсики команд по отдельным вопросам (раньше были только суммарные результаты). Это позволило сделать рейтинг гораздо проще и точнее — что тоже даёт важную общую мораль: когда структура данных меняется, пусть даже не очень сильно, есть смысл пересмотреть всю модель с самого начала.
Собственно, в итоге рейтинг превратился в нестандартное, но довольно простое применение EM: команда взяла вопрос, но рейтинг должен быть индивидуальным (в ЧГК составы команд всё время меняются, в том числе очень существенно), значит, давайте сделаем скрытые переменные вида "игрок ответил на вопрос", сделаем про них простые предположения и оформим EM-схему. На этот раз уже об ICML речи не шло, написал статью на AIST да и всё.
Сама идея такого байесовского рейтинга, правда, так никому и не пригодилась, да и бог с ним. Но всё равно получается, что в каком-то смысле всей моей AI-карьере один из первых серьёзных толчков дало именно спортивное ЧГК (не самый первый, но о первом я вам чуть позже расскажу). Жизнь — интересная штука.)
https://www.youtube.com/watch?v=7oOdBvhjxFE
В частности, каждый год вспоминаю историю о рейтинге спортивного "Что? Где? Когда?", к которому я когда-то очень давно сделал два подхода. Сначала мы с Александром Сироткиным @avsirotkin сделали обобщение системы TrueSkill; о нём поговорим в лекции про метод Expectation Propagation, если на него хватит времени. Это, конечно, самая ностальгическая часть истории, потому что это была наша первая серьёзная статья по машинному обучению, и сразу на ICML (Nikolenko, Sirotkin, 2011). С неё у меня всё это направление по сути и началось.
Через несколько лет я сделал ещё один подход: в таблицах рейтинга ЧГК появились плюсики команд по отдельным вопросам (раньше были только суммарные результаты). Это позволило сделать рейтинг гораздо проще и точнее — что тоже даёт важную общую мораль: когда структура данных меняется, пусть даже не очень сильно, есть смысл пересмотреть всю модель с самого начала.
Собственно, в итоге рейтинг превратился в нестандартное, но довольно простое применение EM: команда взяла вопрос, но рейтинг должен быть индивидуальным (в ЧГК составы команд всё время меняются, в том числе очень существенно), значит, давайте сделаем скрытые переменные вида "игрок ответил на вопрос", сделаем про них простые предположения и оформим EM-схему. На этот раз уже об ICML речи не шло, написал статью на AIST да и всё.
Сама идея такого байесовского рейтинга, правда, так никому и не пригодилась, да и бог с ним. Но всё равно получается, что в каком-то смысле всей моей AI-карьере один из первых серьёзных толчков дало именно спортивное ЧГК (не самый первый, но о первом я вам чуть позже расскажу). Жизнь — интересная штука.)
https://www.youtube.com/watch?v=7oOdBvhjxFE
YouTube
СПбГУ -- 2025.03.04 -- Расширения EM-алгоритма, модели Брэдли-Терри, presence-only data, рейтинг ЧГК
Это лекция из курса "Графические вероятностные модели", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Глубоким обучением". Все материалы этой…
👍22❤🔥10🔥6🤔1
Традиционный пятничный пост — две игры для меня новые, третья из архивов; и первая прямо великолепна!
1000xRESIST
По совету подписчика (спасибо @elteammate!) попробовал и остался в восхищении. Игра длится всего 6-7 часов, но умудряется впихнуть в них больше, чем многие другие умещают в 20-30. Здесь переплетаются темы несовершенной памяти и расставания с прошлым — главное, выбора того, что сохранить, а от чего отказаться при этом, — политического сопротивления авторитарному режиму, иммиграции, отчуждения, отношений родителей и детей, множественных точек зрения на одни и те же события, насилия и буллинга... Но всё это, во-первых, сочетается с отличным научно-фантастическим сюжетом, который как-то умудряется и историю двигать, и одновременно выделять те самые проблемы. А во-вторых, в этом слышится не совсем характерный для игр взгляд, более жёсткий и, видимо, более китайский; игра вообще о китайских иммигрантах, которым пришлось уезжать из Гонконга после того, как они там сопротивлялись большому Китаю.
Лишних глав в игре нет, каждая была хороша, но были два момента, которые мне особенно понравились (постараюсь без спойлеров): во-первых, когда игра внезапно начала показывать воспоминания из жизни Айрис, и во-вторых, финальная сцена, где ты делаешь свой последний выбор. Концовка особенно хороша тем, что это не бинарный или тернарный выбор aka "светофор", а целый ряд решений, и вопреки тому, как работает большинство игр и медиа, даже в финале есть варианты, которые выглядят добрыми и позитивными, но оказываются просто неверными.
Хотя это в основном чистая сюжетная игра, где проиграть нельзя, в ней есть и настоящий геймплей, который вполне вовлекает и разнообразит процесс между катсценами. Визуальный стиль работает хорошо, хотя и выглядит (и, вероятно, является) довольно бюджетным и простым. Пожалуй, единственное, что мне не понравилось, — это level design; станция, где в основном происходит действие, большая, и её структура очень сложная; мне никогда не было очевидно, как добраться из точки A в точку B, в голове возможные пути укладывались небыстро и тем более пропадали между запусками игры. Возможно, это был осознанный выбор, но тогда будем считать, что я его не понял.
Но в целом это пока один из лучших игровых опытов 2025 года для меня! Поздравляю авторов и разработчиков, и буду ждать их следующих шагов. Hekki Allmo!
Copycat
Короткая (на 2-3 часа) и очаровательная игра про не менее очаровательного котика, который пытается выжить в жестоком мире (ладно, не очень-то жестоком, но всё же). Мне понравился визуальный стиль, в том числе и хорошо визуально выделенные сны (да, сны кота!), лёгкий юмор и, конечно же, плюс балл за котиков! Сюжет, правда, откровенно банальный и пытается выдавить слезу, но мне понравилось, как авторы с этим играют. С таким сюжетом можно было бы сделать грустную серьёзную игру, и это скорее всего получилось бы плохо; а тут, несмотря на кое-какие эмоциональные моменты, в среднем всё иронично и весело. Геймплей состоит из нескольких мини-игр, которые, честно говоря, выглядят довольно дешёво и просто, но на фоне общей милоты это не напрягает.
Конечно, лучшей игрой про котиков всё ещё остаётся Stray, но провести приятный вечер за Copycat вполне рекомендую. Кстати, игра получила одобрение от Майлза: он сидел и смотрел внимательно и напряжённо, и даже после этого пришёл в несколько ажитированное состояние, что для него, мягко говоря, нехарактерно.
Abzu
А эта игра не зашла мне совсем. Океан красивый, рыбки и киты классные и, наверное, даже реалистичные. И... всё. Ни тебе нормального сюжета, ни адекватного геймплея – одна сплошная претенциозность и пустота. Если хочется посмотреть на подводный мир, лучше включить National Geographic. Пожалуй, единственный плюс игры – длится она всего около часа, так что страдания быстро закончатся. Не рекомендую, если только вы не фанат "симуляторов медитации" без особого смысла.
1000xRESIST
По совету подписчика (спасибо @elteammate!) попробовал и остался в восхищении. Игра длится всего 6-7 часов, но умудряется впихнуть в них больше, чем многие другие умещают в 20-30. Здесь переплетаются темы несовершенной памяти и расставания с прошлым — главное, выбора того, что сохранить, а от чего отказаться при этом, — политического сопротивления авторитарному режиму, иммиграции, отчуждения, отношений родителей и детей, множественных точек зрения на одни и те же события, насилия и буллинга... Но всё это, во-первых, сочетается с отличным научно-фантастическим сюжетом, который как-то умудряется и историю двигать, и одновременно выделять те самые проблемы. А во-вторых, в этом слышится не совсем характерный для игр взгляд, более жёсткий и, видимо, более китайский; игра вообще о китайских иммигрантах, которым пришлось уезжать из Гонконга после того, как они там сопротивлялись большому Китаю.
Лишних глав в игре нет, каждая была хороша, но были два момента, которые мне особенно понравились (постараюсь без спойлеров): во-первых, когда игра внезапно начала показывать воспоминания из жизни Айрис, и во-вторых, финальная сцена, где ты делаешь свой последний выбор. Концовка особенно хороша тем, что это не бинарный или тернарный выбор aka "светофор", а целый ряд решений, и вопреки тому, как работает большинство игр и медиа, даже в финале есть варианты, которые выглядят добрыми и позитивными, но оказываются просто неверными.
Хотя это в основном чистая сюжетная игра, где проиграть нельзя, в ней есть и настоящий геймплей, который вполне вовлекает и разнообразит процесс между катсценами. Визуальный стиль работает хорошо, хотя и выглядит (и, вероятно, является) довольно бюджетным и простым. Пожалуй, единственное, что мне не понравилось, — это level design; станция, где в основном происходит действие, большая, и её структура очень сложная; мне никогда не было очевидно, как добраться из точки A в точку B, в голове возможные пути укладывались небыстро и тем более пропадали между запусками игры. Возможно, это был осознанный выбор, но тогда будем считать, что я его не понял.
Но в целом это пока один из лучших игровых опытов 2025 года для меня! Поздравляю авторов и разработчиков, и буду ждать их следующих шагов. Hekki Allmo!
Copycat
Короткая (на 2-3 часа) и очаровательная игра про не менее очаровательного котика, который пытается выжить в жестоком мире (ладно, не очень-то жестоком, но всё же). Мне понравился визуальный стиль, в том числе и хорошо визуально выделенные сны (да, сны кота!), лёгкий юмор и, конечно же, плюс балл за котиков! Сюжет, правда, откровенно банальный и пытается выдавить слезу, но мне понравилось, как авторы с этим играют. С таким сюжетом можно было бы сделать грустную серьёзную игру, и это скорее всего получилось бы плохо; а тут, несмотря на кое-какие эмоциональные моменты, в среднем всё иронично и весело. Геймплей состоит из нескольких мини-игр, которые, честно говоря, выглядят довольно дешёво и просто, но на фоне общей милоты это не напрягает.
Конечно, лучшей игрой про котиков всё ещё остаётся Stray, но провести приятный вечер за Copycat вполне рекомендую. Кстати, игра получила одобрение от Майлза: он сидел и смотрел внимательно и напряжённо, и даже после этого пришёл в несколько ажитированное состояние, что для него, мягко говоря, нехарактерно.
Abzu
А эта игра не зашла мне совсем. Океан красивый, рыбки и киты классные и, наверное, даже реалистичные. И... всё. Ни тебе нормального сюжета, ни адекватного геймплея – одна сплошная претенциозность и пустота. Если хочется посмотреть на подводный мир, лучше включить National Geographic. Пожалуй, единственный плюс игры – длится она всего около часа, так что страдания быстро закончатся. Не рекомендую, если только вы не фанат "симуляторов медитации" без особого смысла.
❤🔥12🔥9💘1
Во-первых, поздравляю с праздником весны и эмансипации всех, кто считает его своим! ❤️ Желаю всем, чтобы первоначального смысла в этом празднике не осталось вовсе — хотя, кажется, до этого миру всё-таки ещё далеко...
А я вам давеча обещал рассказать о том, как начался мой путь в ML, и вот теперь есть повод. Дело было в 2007 или 2008 году, когда в ПОМИ РАН начинал свой путь Computer Science Club под руководством Александра Куликова. Первый спонсор клуба Антон Лиходедов пришёл тогда к нам — аспирантам лаборатории матлогики ПОМИ, которые вели там большую часть курсов, — и сказал, что machine learning is hot, и неплохо бы нам в клубе прочитать курс по машинному обучению.
Никто из нас тогда про машинное обучение никакого понятия не имел, так что все как-то замялись, а я вызвался.) Первая итерация моего курса была, конечно, очень смешная. Но прочитать курс — это действительно хороший способ разобраться в предмете, и с тех пор так потихоньку я и начал интересоваться ML. Сначала только разбираться и преподавать, а потом и наука подтянулась. Ностальгические фоточки снимал когда-то Саша Смаль в CS Club, но явно не в 2008 году, те вряд ли уже найдутся.
С тех пор утекло много воды, оба Саши уехали из России, и в последние годы CS Club фактически не существовал. Но вот он возрождается из пепла с новым названием CS Space, с новыми организаторами — и я очень рад объявить, что возрождается в том числе и моими лекциями!
Через неделю, в воскресенье 16 марта, буду в ПОМИ рассказывать о том, что в AI новенького, а ещё через неделю — о том, как нам всем этот AI пережить (если получится). Анонс прилагается.
А я вам давеча обещал рассказать о том, как начался мой путь в ML, и вот теперь есть повод. Дело было в 2007 или 2008 году, когда в ПОМИ РАН начинал свой путь Computer Science Club под руководством Александра Куликова. Первый спонсор клуба Антон Лиходедов пришёл тогда к нам — аспирантам лаборатории матлогики ПОМИ, которые вели там большую часть курсов, — и сказал, что machine learning is hot, и неплохо бы нам в клубе прочитать курс по машинному обучению.
Никто из нас тогда про машинное обучение никакого понятия не имел, так что все как-то замялись, а я вызвался.) Первая итерация моего курса была, конечно, очень смешная. Но прочитать курс — это действительно хороший способ разобраться в предмете, и с тех пор так потихоньку я и начал интересоваться ML. Сначала только разбираться и преподавать, а потом и наука подтянулась. Ностальгические фоточки снимал когда-то Саша Смаль в CS Club, но явно не в 2008 году, те вряд ли уже найдутся.
С тех пор утекло много воды, оба Саши уехали из России, и в последние годы CS Club фактически не существовал. Но вот он возрождается из пепла с новым названием CS Space, с новыми организаторами — и я очень рад объявить, что возрождается в том числе и моими лекциями!
Через неделю, в воскресенье 16 марта, буду в ПОМИ рассказывать о том, что в AI новенького, а ещё через неделю — о том, как нам всем этот AI пережить (если получится). Анонс прилагается.
🎉24🔥14❤🔥6⚡1❤1👍1🙈1💘1