А вот кстати видео моего доклада

#tech

Прорывы в нейронауках

Помимо основной работы я немного занимаюсь машинным обучением в нейронауках.

Сегодня хочу рассказать про исследование, которое в августе вышло в Nature, и которое меня поразило.

https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full

С помощью имплантированых в кору микроэлектродов (так называемая electocorticography, ECoG) удалось достичь распознавания речи на достаточном для повседневной жизни уровне. Такой имплант может вернуть речь людям, которые в силу заболеваний утратили возможность говорить.

Как работает такой имплант. Исследование проводилось на одном пациенте, 67-летней женщине с амиотрофическмм склерозом, которая в течении нескольких дней «записывала» заданные экспериментаторами предложения. На сигналах с 64 электродов обучали рекуррентную нейронную сеть на предсказание фонем. Модель выдавала вероятность фонем для каждого момента времени (с окном 80мс). Далее эти вероятности уточнялись с помощью языковой модели (т.е. модель, которая содержит вероятности какие фонемы после каких обычно идут)

В результате удалось получить распознавание речи в реальном времени с ошибкой в 21% на большом корпусе слов и 9% на 50 основных словах и скоростью распознавания более 60 слов в минуту.

Это феноменальный результат. Да, по сути нейросеть нужно обучать на каждом отдельном пациенте и это требует с его стороны немалых усилий. Но результат позволяет вернуть человеку речь.

Насколько я читал, имплант BrainGate2, используемый в данном исследовании, может устанавливаться на 10 лет.

#tech

Интервью Дарона Аджемоглу

Когда-то в этом канале я рекомендовал Гришу Мастридера, но честно говоря моя любовь к нему как-то угасла. Во многом потому что он начал заниматься инфобизнесом

Но за последнее время он выпустил пару интересных интервью. Одно с Даниилом Дубовым (топовым шахматистом). А вот теперь с автором книги Почему одни страны богатые, а другие бедные, Дароном Аджемоглу.

Книгу мне советовал Жора Таранов и на меня она произвела яркое впечатление. В общем, кто читал, да и все остальные думаю тоже, с удовольствием послушают интервью с этим очень интересным человеком

https://youtu.be/HNdUxFIIhwo?si=vPEN1TXgkU2iuvAt

Креативщикам респект 🔥 посмеялся от души 😂

Локация: по дороге от Филей к офису Сбера

Ps. Что получить промокод нужно запустить код на питоне)
Pps. Главное чтобы не под рутом запускали, а то будет как в меме про перловский однострочник

#memes

Фридман x Цукерберг. И про мое восприятие технологического роста

Кто не знает, Лекс Фридман - это американский Дудь, ведущий популярного подкаста. Однако он является AI исследователем и среди его гостей преобладают выдающиеся технологические предприниматели, ученые и другие интеллектуалы

Последний выпуск с Цукербергом прошел в VR шлемах. У меты получилось сделать фотореалистичные 3д модели. То, что хочет создать Марк - это смешанная реальность. Когда на конференции часть людей сидит вживую, а часть в виде голограмм. Или когда у вас не окон, но они создаются vr очками. В общем, очень интересный выпуск, советую посмотреть.

Я тем временем осознаю, что ошибался в скорости прогресса в машинном обучении и смежных технологиях. В 2018 году, когда я учился в ШАДе, я не ожидал такого быстрого прогресса в текстовых нейросетях и такого быстрого внедрения алгоритмов компьютерного зрения.

Зная принципы работы рекуррентный нейронных сетей, я не верил в то, что им удастся настолько эффективно работать. Ведь они просто выдают статистически подходящие слова, не понимая никакого смысла. Тем не менее появившийся в то время аттеншн координально улучшил перформанс существовавших алгоритмов, а увеличение мощностей позволило обучать огромные end-to-end модели, которым можно подать на вход буквально любую задачу.

С другой стороны, машинное обучение стало действительно сложным. И если когда я начинал им заниматься, было относительно несложно разобраться во всех основных алгоритмах, то теперь это не так. Машинным обучением занимаются сотни тысяч людей, и каждое направление стало отдельной областью. И возможно скоро специалисты машинного обучения из разных направлений перестанут друг друга понимать, как это произошло в математике.

Сейчас я вижу своей задачей, как прикладного инженера, уметь использовать существующие модели как чёрный ящик, дообучать их под свои задачи и строить готовые решения. Но находиться в мете становится все сложнее и сложнее.

Новая техническая статья на Хабре

А я тем временем выпустил очередную техническую статью про PySpark в блоге Авито, которая будет интересна аналитикам, которые работают с большими данными. В этот раз учимся читать план запроса, чтобы делать свои вычисления эффективнее

https://habr.com/ru/companies/avito/articles/764996/

#tech

Новость про Артемия Лебедева

Артемий Лебедев стал директором по дизайну VK ВКонтакте. Это конечно PR ход и делать он там ничего не будет. Максимум пару раз придет прочитает лекции.

В Сбере я несколько раз видел, когда на топ позиции приглашали известных людей парттайм.

Например, на должность руководителя лаборатории нейронаук пригласили Курпатова, у которого есть действующий собственный бизнес. А году в 2018 директором по науке был один известный преподаватель по ML, у которого была своя активная научная группа в МГУ и несколько потоков студентов.

Совмещать такие работы невозможно. На позиции топ менеджера нужно выкладываться так, что больше ни на что времени не останется. А подобные назначения нужны для создания HR бренда.

Теперь люди будут приходить на собесы и спрашивать:

- Это у вас Артемий Лебедев работает?
- У нас!!
- Круто!

Почему вы спросите не пойти тогда дизайнером в Студию Лебедева? Потому что у Лебедева говорят нужно вкалывать. А в VK кажется не обязательно.

Дисклеймер. Конечно, где-то в VK тоже вкалывать придется( но тут как повезет

Традиционно в октябре мы смотрим номерной UFC в Абу Даби 🔥

#lifestyle

Видео про продуктивность (которое не вызовет у вас тревожность)

Как большой фанат самокатов, хотел сперва зарепостить Собчак про то, как Госдума рассматривает ограничение скорости до 15 км/ч, фактически сделав их бесполезными.

Но, надеюсь, этого не произойдёт, а я лучше расскажу вам про это видео. Мне понравился ролик, где парень творческого склада характера пробует утренний режим Эндрю Хубермана

В течении 30 дней ему пришлось вставать в 6-30, мыться под холодным душем и делать прочие вещи, которые для него были сущим мучением.

Он выдержал, а вот помогло ли ему это и какие оказались его впечатления можете посмотреть сами 🙂

PS. Извините, что делюсь англоязычными видео. Русскоязычные вам посоветуют и без меня)

#productivity

https://youtu.be/roK4g1e28mM?si=kxUFQfV9TgNJTygP

Не пропустите этот персональный блог

Друзья, привет!

Я являюсь фанатом персональных телеграм каналов. В крупных каналах, даже тематических, постоянно заваливают ненужной информацией. А в персональных пишут редкие, но крутые посты с инсайтами, которые практически невозможно найти в мейнстриме.

Наконец-то завел свой канал Андрей Мухин https://news.1rj.ru/str/botlnek. Андрей - старший менеджер продукта в Авито, мой коллега по цеху и человек, который близок мне по майндсету. С ним можно затереть и про продуктовое мышление, и консалтинг, и про алгоритмы, и про парламентские дебаты в физтехе. Всем рекомендую подписаться, очень люблю мысли Андрея!

#management

В AI сообществе происходят драматические события, достойные бразильских сериалов. Из OpenAI уволили Сэма Альтмана и Грега Брокмана. Под их руководством кампания выпустила ChatGPT, DALL-E и много других замечательных разработок.

Сэм Альтман, что-то вроде современного Стива Джобса. Вот только недавно он выступал на OpenAI DevDay под град оваций. А сегодня его увольняют одним днем. Он сам и все сообщество в шоке.

Ниже чуть больше подробностей. Ох, прям дух захватывает!

Greg написал, что они с Sam всё ещё пытаются понять, что произошло. Sam накануне получил приглашение на рабочий созвон с Ilya Sutskever на полдень пятницы. Там при поддержке совета директоров было анонсировано решение об увольнении. 28 минут спустя был опубликован твит со ссылкой на страницу компании с публичным анонсом.

Greg получил приглашение на созвон в 12:19, где он узнал про своё понижение (Brockman не был уволен) и увольнение Sam в 12:23 (то есть первый разговор продлился меньше 20 минут).

В твите также указывается, что «насколько мы [прим.: Sam and Greg] знаем, Мира узнала про это накануне вечером».

Также, по информации источников журналистики Kara Swisher, в Microsoft про процесс увольнения ничего не знали, и были уведомлены буквально за несколько минут до публичного релиза.

Согласно изданию TheInformation, OpenAI также покинули по собственному желанию:
— Jakub Pachocki, director of research
— Aleksander Madry, руководитель отдела оценки рисков AI (помните, я писал про него, он ещё из MIT ушёл на время?)
— Szymon Sidor, ведуший исследователь, проработавший в OpenAI 7 лет