🚀 @SBERLOGACOMPETE webinar on data science:
👨‍🔬 Anton Vakhrushev "SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems"
⌚️ Monday 11 December 19.00 (Moscow time)

Add to Google Calendar

Gradient Boosted Decision Tree (GBDT) is a widely-used machine learning algorithm that has been shown to achieve state-of-the-art results on many standard data science problems. We are interested in its application to multioutput problems when the output is highly multidimensional. Although there are highly effective GBDT implementations, their scalability to such problems is still unsatisfactory. In this paper, we propose novel methods aiming to accelerate the training process of GBDT in the multioutput scenario. The idea behind these methods lies in the approximate computation of a scoring function used to find the best split of decision trees. These methods are implemented in SketchBoost, which itself is integrated into our easily customizable Python-based GPU implementation of GBDT called Py-Boost. Our numerical study demonstrates that SketchBoost speeds up the training process of GBDT by up to over 40 times while achieving comparable or even better performance.

It easy to install: pip install py-boost

It easy to use - see tutorial notebooks: Kaggle Open problems notebook, Tutorial_1_Basics, Tutorial_2_Advanced_multioutput, Tutorial_3_Custom_features

Github

Paper: Iosipoi, Leonid, and Anton Vakhrushev. "SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems." Advances in Neural Information Processing Systems 35 (2022): 25422-25435.

Gold medals on Kaggle: CAFA5 , Open problems - single cell perturbations 2023, Open problems 2022,
Lots of silver/bronze medals in recent Open problems 2023 were based on Pyboost.

Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

📖 Presentation: https://news.1rj.ru/str/sberlogacompete/10211, Poster: https://news.1rj.ru/str/sberlogacompete/10215
📹 Video: https://youtu.be/5xRxuDh_cGk

🚀 @SBERLOGACOMPETE webinar on bionformatics and data science:
👨‍🔬 Дмитрий Руденко, Александр Червов "Обзор прошедшего соревнования "Open Problems – Single-Cell Perturbations""
⌚️ Четверг 20.00 (по Москве) 14 Декабря

Добавить в Гугл календарь

В соревнование требовалось предсказать как под действием лекарств (146 разных) меняются экспрессии генов. Было только две фичи и они категорные - название клеточного типа (6 типов клеток крови) и название лекарств. Это реальные экспериментальные данные полученные по топовым технологиям и стоящие огромных денег (200 тысяч клеток секвинировали мультимодально) - реально cutting-edge research questions. Семплов мало - 600+ в трейне, 255 в тесте, но таргетов было много 18211 (все гены). Удивительно, но особого шейкапа не было, хотя СВ-ЛБ билось плохо и семплов мало. Основные решения строились на PYBOOST и нейронках (удивительно, но нейронки хорошо работают даже при таком малом числе семплов).

Наша команда (Антонина Долгорукова, Дмитрий Руденко, Дмитрий Ершов, Антон Вахрушев, Александр Червов) заняла "счастливое" 13 место - ровно на 1 ниже золота (((((

Но у нас есть шанс еще на приз от экспертов - и ваши апвоуты - нам не помешают:
"U900 team - PYBOOST is what you need"
https://www.kaggle.com/competitions/open-problems-single-cell-perturbations/discussion/460858 описание решения и ответы на вопросы оргов. (Ваш альтруизм не будет забыт!)

В данном докладе мы напомним в чем была задача, немного расскажем о подходе на PYBOOST и перейдем к обзору решений других команд.


Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !
PS
Подписывайтесь на канал Дмитрия о дата сайнс и Каггл: https://news.1rj.ru/str/pseudolabeling

📹 Video: https://youtu.be/NvH0tQ4wVxA
📖 Presentations: https://news.1rj.ru/str/sberlogacompete/10469

🚀 NIPS Workshop on Challenge "Open Problems – Single-Cell Perturbations"
"Predict how small molecules change gene expression in different cell types"
⌚️ 16 December 2023 at 13:30-16:30 CST (GMT-6). You can find the schedule and Zoom link on Google Sheets here: https://docs.google.com/spreadsheets/d/19VF9s9jDVE76Hg4wJDi9S8Dg3ZC1E1SAS4sdUazuTWI/edit?usp=sharing

Everyone is invited to attend. Link to information post: https://www.kaggle.com/competitions/open-problems-single-cell-perturbations/discussion/461113

NIPS workshop посвященный челенджу "Open Problems – Single-Cell Perturbations" - уже завтра - Суббота.
Наш тим U900 (Антонина Долгорукова, Дмитрий Руденко, Дмитрий Ершов, Антон Вахрушев, Александр Червов)
тоже приглашен и презентует наше решение "PYBOOST - is what you need"

Присоединяйтесь послушать топовых спецов в теме (ну и нас тоже).

🚀 Дорогие коллеги, поздравляем всех Вас с наступающим Новым Годом, желаем огромных успехов, здоровья, счастья, удачи во всех начинаниях !

💰 Новый год - время подарков - вот, например, Каггл подарит 50 000$$ тем, кто соберет Кубики Рубика за меньшее число ходов, чем другие участники ежегодного новогоднего соревнования "Santa 2023 - The Polytope Permutation Puzzle - Solve twisty puzzles in the fewest moves".

👛 А мы предлагаем приз в 5000 р тому, кто опубликует публичный ноутбук с решением, который превосходит текущий лучший публичный ноутбук на 5% и расскажет решение на нашем вебинаре. (Если Ваш ноутбук будет лучше на 1% - приз 1000р, 2% - 2000р, 3%-3000р, 4%-4000р. Условия действительны до 7 января). Каггл - лучший способ изучать практический дата-сайнс, именно потому, что люди делятся там своим кодом, идеями. Мы всячески хотели бы поощрять эту активность, надеемся, что наш приз будет этому способствовать.

Комментарии, обсуждения постановки задачи - вы можете найти в нашем чате. Если кратко - то предложен набор позиций многомерных кубиков Рубиков и задача - предъявить наиболее короткую последовательность ходов для их сборки. С точки зрения математики это задача поиска кратчайшего пути на графе Кэли группы движений кубика. Хотя задача и выглядит игровой - она является модельной для многих серьезных проблем в комбинаторной оптимизации, и методы выработанные для ее решения будут полезны для многих практических задач.

Ваш шанс воплотить научные амбиции в жизнь вместе с ИТМО!

Передовая инженерная школа ИТМО объявляет уникальный набор научных коллективов для получения грантов на открытие собственных магистратур, лабораторий, а также развитие продуктов и их интеграцию в компании.

— Мечтаете о собственной магистратуре?

— Планируете основать научную лабораторию?

— Мыслите масштабно и хотите создать научно-образовательный центр?

— Хотите выйти в индустрию и работать с бизнесом?

ПИШ ИТМО готов системно поддерживать и инвестировать в вас до 50 миллионов рублей!

Подавайте заявку до 30 января включительно 👉🏻 https://pish.itmo.ru/domen

Уважаемые коллеги !

🚀 Сообщество админов научно-образовательных каналов во главе с админами каналов: «Наука и университеты» и «Кипящий МИФИ» сформировали папку каналов о науке и образовании.

❗️Собраны отличные каналы ! Вам остается только перейти по ссылке и сохранить папку или её часть себе.

https://news.1rj.ru/str/addlist/tmcQOBSpVmo4MzU6

🚀 @SBERLOGACOMPETE webinar on data science:
👨‍🔬 Dmitrii Rudenko "Introduction to the Kaggle competition 'HMS - Harmful Brain Activity Classification'"
⌚️Friday, 2 Febraury, 20.00 (Moscow time)

Add to Google Calendar. (The talk will be in English). Announcement on Kaggle

Вкатываемся в новое соревнование по определению патернов работы мозга: HMS - Harmful Brain Activity Classification

Цель соревнования- по данным ЭЭГ пациентов понять, что иэ мозг работает некорректно. В этом соревновании доступно целых две модальности: спектрограммы работы и сырые сигналы, на которые вполне себе тоже можно учить нейросетки. Самих данных 26 гб, что тоже не мало.
Разметка таких снимков работы мозга требует дорогого обучения специалистов и их напряженной работы, так что если удастся хорошо решать задачу- то и пропускная способность специалистов вырастет. В датасете отрывки каждого снимка показывали множеству экспертов, и каждый эксперт голосовал за тип аномальной активности. Кстати их тут всего 6:
1. seizure (SZ). На русский корректнее всего переводится как 'припадок'
2. generalized periodic discharges (GPD) и lateralized periodic discharges (LPD)- регулярные конвульсии
3. ateralized rhythmic delta activity (LRDA) и generalized rhythmic delta activity (GRDA) - дельта активность. Обычно она максимально выражена во время сна и если у человека высокая дельта-активность во время бодрствования- что-то идет не так.
4. И вполне себе привычные каглерам 'прочее'

Метрика- KL-дивергенция, т.к. по отрывкам голосвали разные эксперты и у нас есть целое распределение таргетов.
Соревнование Kernel Only, так что придется азпихивать инференс внутрь пайплайна на каггле. Но результаты будут сразу после конца соревнования, так что интрига быстро разрешится.
На соревнование еще два месяца, так что лб не плотный: с топового паблик кернела можно залететь аж в серебро. Многое еще изменится и Крис Дейот уже присоединился к сореве
Подписывайтесь на канал докладчика - https://news.1rj.ru/str/pseudolabeling - о дата сайнс.
📖 Presentation
📹 Video

Привет, Друзья!!

Мы рады сообщить вам, что у нас есть специальный канал, где вы можете найти актуальные вакансии, а также разместить своё резюме.

Присылай свои CV с указанием области интересов, попробуем помочь Вам найти интересную работу.

Уважаемый HR-ы, также ожидаем и вашего активного участия 😊

Контакт @Zabis13

🚀 @SBERLOGABIO:
👨‍🔬 А.Вахрушев, С.Фиронов, А.Червов "Предсказание свойств белков - топ2 в CAFA5"
⌚️ Четверг 15 Февраля 19.00 (по Москве)

Как известно, Альфафолд от Гугл Дипмайнд совершил прорыв в биологии , сумев решить задачу , которая 50 лет не поддавалась решению - предсказание пространственной структуры белка по последовательности аминокислот, выиграв конкурс CASP15. Наша команда почти как Дипмайнд 😃 . Мы почти выиграли схожий конкурс - CAFA5 - заняв второе место и опередив 1500+ других команд.

Задача CAFA ( Critical Assessment of Function Annotation ) - предсказать функции и локализации белков, используя последовательность аминокислот белка - как основную входную информацию. Наиболее полная информация о функциях/локализации белков собрана в базе Gene Ontology , которая содержит около 40 000 всевозможных характеристик белка, которые организованы в иерархическую структуру. Охватываются белки всего - от вирусов до эукариот. Тем самым результат работы модели - для каждого белка должны выдаваться 40 000 нулей или единиц - есть данное свойство у данного белка или нет.

Решение
Идея 1. Использование инновационного градиентного бустинга Pyboost разработанного лидером команды А. Вахрушевым. При наличии тысяч таргетов другие бустинги будут работать в сотни раз медленней чем Pyboost, и часто уступят ему по качеству.

Идея 2. Использование современных "protein language models". Поразительные способности ChatGPT известны всем. Актуальный подход к изучению свойств белковых последовательностей - состоит в переносе мощных моделей идейно (но не буквально) схожих с ChatGPT в биоинформатику. В данном конкурсе наиболее хорошо себя показала модель типа "T5" (Text-To-Text Transfer Transformer). Мы использовали "эмбединги", которые данные модели создают из белков. И далее обучали бустинги и нейросети на этих эмбедингах.

И еще множество других идей (см. write-up).

📖 Presentations: https://news.1rj.ru/str/sberlogabio/68835
📹 Video: https://youtu.be/FJThflSagQY

На гифе - процесс сборки многослойного кубика Рубика за 2869 ходов.

🚀 @SBERLOGACOMPETE webinar on mathematics and data science:
👨‍🔬 V. Shitov, P.Snopov, A.Chervov "Теория групп, пазлы Рубика и Каггл соревнование Санта23"
⌚️ Пятница 16 февраля 2024, 19.00 (по Москве)

Add to Google Calendar

Постановка задачи.
На задачу можно смотреть как минимум четырьмя способами 1) даны разобранные состояние пазлов типа многомерного кубика Рубика - надо предъявить последовательность ходов сборки - у кого меньше тот и выиграет 2) Даны два вектора v1, v2 - предъявить последовательность матриц из фиксированного набора так чтобы v2 = M_1M_2M_3 .. M_n v1 ( у кого короче - тот и выиграл) 3) Аналогично с заменой матриц на перестановки 4) Поиск наиболее короткого пути на графе между двумя вершинами - только граф может быть такой, что число вершин в нем больше чем атомов во вселенной.

Теория групп. И подходы к решениям.
Мы обсудим разные взгляды на эту задачу и разные способы ее решать.
Поговорим о простых трюках из теории групп, которые позволили написать хороший оптимизатор публичных решений. Обсудим идею в основе топовых решений и как её можно улучшить

Подходы через MILP ( смешенное целочисленно-линейное программирование) и реинфорсмент ленинг.
Расскажем про постановку задачи как задачи целочисленного программирования и (если останется время, немного расскажу про RL подход в соревновании)

Нерешенные математические проблемы .
В теории групп много гипотез над которыми думают лучшие умы такие как Т.Тао (См. например обзор Хельфгота Growth and expansion in algebraic groups over finite fields https://arxiv.org/abs/1902.06308) - на языке пазлов - эти гипотезы содержат оценки для "числа Бога" - наименьшего количества ходов сборки пазла, отметим что это число неизвестно науке уже для кубика 4х4х4. Мы планируем обсудить подходы к подобным вопросам через машин ленинг на этом и последующих вебинарах.


📖 Presentations: https://news.1rj.ru/str/sberlogacompete/14423
📹 Video: https://youtu.be/aoKzd8snKLE?si=47QZqtP85JsxkfTL

🚀 Субботний нетворкинг.
Позвольте порекомендовать Вам замечательные каналы, которые мы сами читаем сами и рекомендуем Вам:

@ivoryzoo - легендарный канал - "Зоопарк" держит руку на пульсе всего, что происходит в науке и образовании. Как им вообще удается отслеживать столько информации ?

@dealerAI - от одного из лучших специалистов в дата-сайнс и natural language processing - вы узнаете ключевые новости по этим темам

@datastorieslanguages - от не менее замечательного специалиста по дата сайнс, каггл грандмастера и полиглота Андрея Лукьяненко, вы узнаете все не только о дата сайнс, но и о том как изучать иностранные языки и о некоторых аспектах жизни за границей

@smart_lab_news @Nano_by_Nano @Polymer_scientists - Новости биотеха: научные события, конкурсы, конференции, гранты, вакансии и др. От научной группы ИБХФ РАН под руководством Елены Никольской

@finitely_presented - Теория групп, дата-сайнс и все вокгруг от нашего докладчика П.Снопова.

@diagrams_every_day - совершенно замечательный молодой канал - интереснейшие визуализации и объяснения простыми словами современных концепций в физике и математике - кто любит эти науки - обязательно подписывайтесь !

Подписывайтесь на эти замечательные каналы (и не забывайте о нас, Ваша @sberlogabig ) !

Молекулярные микрочипы, передовое образование и тесная связь с бизнесом. Передовая инженерная школа ИТМО поделилась результатами защит и выиграла грант на 634,5 миллиона рублей!

На прошлой неделе прошли ежегодные защиты в рамках федерального проекта Передовых инженерных школ в 2023 году. Университеты представили результаты научных работ, достижения, наиболее значимые для экономики и общества результаты разработок, а также — планы развития и задачи 2024 год.

В ПИШ ИТМО реализуется креативный подход к образованию студентов, которые во время обучения участвуют в создании высокотехнологичных разработок или создают свои стартапы. Смотрите видео и подписывайтесь на их канал, чтобы не пропустить интересные новости!

🚀 @SBERLOGABIO :
👨‍🔬 Д.Пензар, В.Вяльцев, "Предсказание реактивностей нуклеотидов РНК по ее последовательности при помощи ArmNet — Ribonanza competition 1st place solution"
⌚️ Пятница 23 февраля 2024, 19.00 (по Москве)

Команда VIGG ( Vavilov Institute of General Genetics (Д.Пензар, В.Вяльцев, А.Бакулин, А.Зинкевич, Е.Носкова ) заняла первое место в научном конкурсе по предсказанию свойств РНК, опередив 700+ команд и даже команду грандмастеров NVIDIA во главе с легендарным "Dieter" (топ1 в общем рейтинге Кагггл). Заходите на их доклад:

Add to Google Calendar

Точное предсказание структуры РНК может помочь совершить революцию в науке и медицине, облегчив исследователям процесс выявления уникальных РНК мишеней для лекарств и разработки лекарств на основе РНК. С целью создания модели, эффективно предсказывающей структурные характеристики молекул РНК, был создан международный конкурс Stanford Ribonanza RNA Folding на платформе Kaggle, в котором решение нашей команды заняло первое место, значительно опередив остальные команды со всего мира и известные SOTA-решения.
В основе нашего подхода лежит трансформерная encoder-only архитектура, показавшая себя намного лучше сверточных нейросетей. Значительно качество сети улучшило добавление BPPM (Base Pair Probability Matrix), а также отказ от абсолютного позиционного кодирования в пользу относительного. В качестве финальной модели мы использовали ансамбль из 28 одиночных моделей, который показал лучшее качество в конкурсе.
В ходе дальнейшего исследования, мы смогли ещё больше улучшить качество нашей модели, использовав идеи из SqueezeFormer. В новую модель - ArmNet - мы добавили возможность двусторонней коммуникации между признаками, основными на BPPM и матрицами внимания.

Zoom link will be in @sberlogabig just before start.
Video records: https://www.youtube.com/c/SciBerloga - subscribe !

Write-up на Каггл.
📖 Presentation: https://news.1rj.ru/str/sberlogabio/69195
📹 Video: https://youtu.be/YGRHoj-sris?si=7o3YSBhaVAtoQpYH

🚀 @SBERLOGASCI webinar on data science and mathematics:
👨‍🔬 Mark Obozov "Применение стандартных методов RL и Alpha-подобных методов к сложным графовым задачам."
⌚️ Четверг, 29 февраля, 19.00 (по Москве)

Add to Google Calendar

Контекст: Коллеги, мы планируем начать активность по применению методов РЛ, МЛ к задачам на стыке теории групп/графов, где много нерешенных проблем над которыми бьются лучшие умы математики типа Терранса Тао. Иллюстрация задачи - оценки "числа Бога" (диаметра) для групп - см. пример гипотез в посте И. Пака и Х.Хельфгота , а , по-простому, - даже для кубиков Рубика задача не решена. В теме есть вопросы от совсем простых до сложных - если у Вас есть желание поучаствовать - отметьтесь в голосовалке тут. Будем рады всем - не важно сколько у вас опыта - часть вопросов простые - доступны всем. Примерный список вопросов-направлений тут (будет обновлен). Cтартовый митинг активности планируем на пятнцу 1 марта - анонс позднее.

А начнем мы с доклада - который даст введение в один из аспектов этой темы - РЛ (реинфорсмент ленинг).

Абстракт: В рамках данной лекции мы разберём как множество стандартных методов RL(Q-learning, SARSA, etc.) так и различные Alpha модели, включая их применения к большому классу задач - от каких-либо "игровых", до достаточно серьёзных биологических проблем. Одним из возможных интересных продолжений этой темы, является применение полученных знаний и идей в рамках "Каггл Соревнования Санта23" и различных задачах теории групп, которые сводятся к графам. Как более приземленный пример применения RL к графам, будут рассмотрены 3 примера:

1) Решению оптимизационной задачи поиска равновесия в двухстадийной модели транспортной сети с помощью RL

2) Поиск кратчайших расстояний с помощью RL

3) Различные игры на графе, раскраски, тоже с помощью RL

О докладчике: Mark Obozov - CTO, Stanford, Berkeley Research, лектор в ШАДе

📖 Presentation: https://news.1rj.ru/str/sberlogasci/8048
📹 Video: https://youtu.be/lIvq8zFvTx0?si=qt2Z13h7zofYKamp

👨‍🔬 Александр Червов "МЛ/РЛ подходы к задачам теории групп/графов"
⌚️ Пятница, 1 марта, 19.00 (по Москве)

По любой группе (набору матриц или перестановок) легко строится граф (Кэли) - вершины вектора, между v,w есть ребро, если существует "M" из нашего набора, такое что v = Mw . Такие графы краеугольный камень современной математики - известная теорема Громова - о том, что если "рост" (то есть набор чисел $g_i$ - количество вершин на расстоянии "i") - растет экспоненциально по i - то группа далека от коммутативной, а если полиномиально - то группа близка к коммутативной, то есть граф близок к решетке.

Возможно, это имеет прямое отношение к эмбедингам графов - графы с экпоненциальным ростом лучше вкладывать в гиперболические пространства, а с полиномиальным ростом - в обычное R^n. Но правда ли это ? и что значит "лучше" ?

Но, Громов - бесконечные группы, нужны конечные. В ситуации "попроще" (там где рост НЕ экспоненциален) - "рост" иногда хорошо приближается нормальным гауссовым "колокольчиком" (см. мои гипотезы на матоферлоу). "Хороший" эмбединг - должен "уважать" метрики - метрика на графе - длина кратчайшего пути - метрика в эмбединге - расстояние евликдово или гиперболическое. "Хороший" эмбединг должен не сильно искажать эти метрики. А значит гауссово распределение должно сохраняться и после эмбедингов. А сохраняют ли его современные пакеты эмбедингов - node2vec, DeepWalk ... ? Науке не известно, но мы можем это поизучать - сделать бенчмарк эмебедингов графов. А как правильно думать об эмбедингах графов с экспоенциальным ростом - вот вопрос - пока не понятно - но что-ть придумаем.

Другая тема - всем интересна оценка диаметров ("числа Бога") - где крайняя точка на графике роста ? или какое самое большое расстояние на графе , или на языке кубиков - за сколько шагов можно точно собрать кубик из любого положения ? Науке тут тоже многое не известно.

О докладчике: к.ф.-м.н А.Червов, Институт Кюри, Париж. Scholar, Kaggle, попутно создатель Сберлог)

📖 Presentation
📹 Video

Воскресный нетворкинг. Коллеги, позвольте порекомендовать Вам замечательные каналы:

@boilingmephi - канал о жизни, науке и образовании с акцентом на НИЯУ МИФИ.

@chernovdev разработка в направлении big data.

@efmchannel - автор канала Полина (жила 13 лет за границей, работала в ООН, работала с IT-компаниями) рассказывает про тонкости международной карьеры и английского, а также в предпоследнем закрепе развенчивает мифы о получении оффера за рубежом 🚀

@AGI_and_RL Искусственный интеллект и reinforcement learning

@botka_chronics интересные вещи, с которыми автор сталкивается по работе над диссером (обобщение keypoints detection с помощью дифференциальной геометрии) и работой над работой (ML и матстат в основном)

@chelovek_nauk Канал о науке и учёбе. Здесь вы найдёте объяснение сложных научных вещей простым языком.

@mathematics_not_for_you о математике - простым языком. Думаете, канал не для Вас? Постойте, Вы это зря. Математика - царица наук, окружающая нас с рождения до самой смерти.

@sberlogabig Дата-сайнс, биоинформатика, биология, математика

Если у Вас есть интересный канал, блог, или проект - не стесняйтесь - напишите нам - @alexander_v_c @zabis13

Все каналы подборки в одной папке: https://news.1rj.ru/str/addlist/0z9tiI3orEJhNjA6 (добавляйте ее к себе).