Случилась первая карьерная консультация в этом году и вот какое наблюдение.

Ко мне повторно обратился человек из большого консалтинга. В первый раз хотел поменять работу на по-лучше, с тех пор вырос, теперь снова хочет поменять работу на ещё по-лучше. Как и в прошлый раз у него всё и без моих консультаций очень хорошо.

Это не единственный такой случай и вообще этот эффект я наблюдаю много лет: за помощью обращаются те, кому она в общем-то не необходима. В результате они становятся ещё круче и она ещё меньше им необходима, но они обращаются снова. Те, кому помощь действительно нужна, не обращаются вообще.

Например, несколько лет назад мои друзья делали социальный проект "Бадди" где школьники могли посоветоваться с выпускниками топовых университетов насчет поступления и планов на жизнь. Я помог примерно десяти ребятам. Большинство из них пришли ко мне с готовым планом поступления, а некоторые даже с выигранными олимпиадами. То есть ребята были в положении гораздо лучшем, чем я в их возрасте! Получается, что школьники с хорошими шансами поступить в отличные места приходили и спрашивали: как мне сделать ещё лучше? Школьники которым действительно нужна помощь вопросов не задавали.

Где бы я не преподавал и не менторил, везде повторялась эта история. Причем это явно не только мой опыт. Мой психолог говорил тоже самое: к психологам ходят успешные люди.

Это, конечно, selection bias. Крутым ребятам не так нужна помощь потому что они умеют обращаться за помощью, готовы признавать свои слабости и работать над ними. Те кому больше всех нужна помощь или не понимают этого, или по каким-то причинам не могут за ней обратиться даже когда им предлагают.

Иронично, что я и сам склонен действовать как упертый баран. Как правило я сначала перепробую всё, что в моих силах, и лишь когда все попытки провалились я иду за помощью. Поэтому в школе я не думал посоветоваться с недавно поступавшими, никогда не обращался к менторам, а при поиске работы не платил за моки или консультации. Зато плачу терапевтам, так что не безнадежен.

Лишь последние пару лет я учусь задавать вопросы не когда я в тупике, а заранее. Теперь начиная что-то новое стараюсь как можно больше посоветоваться. Часто один разговор может сэкономить какое-то невероятное количество времени. Например, в начале процесса написания книги я обращался к коучу/консультанту: помогите, у меня не пишется. Немного помогло!

Кол ту экшна записываться на моки не будет, но я надеюсь тонкий намек все уловили 👀

🌸ИИ Агенты и научный метод на пути к AGI: подход Ben Goertzel🌸
#nlp #про_nlp #nlp_papers

Сегодня немного про филосоция науки и ИИ. С большим удовольствием прочитала новый драфт от Бена Герцеля, автора термина AGI. (Вообще очень многие, кто делал экстраполяции про AGI, стали рассуждать на тему SuperIntelligent AI Researcher, см AI-2027, lesswrong и др.)

🌸TLDR: В статье What is "Science", Exactly? поднимется вопрос о том, как нам вообще подходить к методологии науки сейчас — и ее акселерации/автоматизации с помощью агентов.

Я сама уже поднимала вопрос о том, что Попперовские критерии фальсифицируемости не соблюдаются в массе ML статей (смотрят только бенчмарки, а значит, верифицирумость, а ablation studies игнорируют). А часть работ вообще идет по пути чистого методологического анархизма по Фейерабенду и пробует все подряд: агент что-то придумывает и сам проверяет, часто полную чушь, или RL методы сами по себе оказываются на поверку бесполезными — но на бенчмарке прирост, а значит, нам все равно, почему (см мой keynote тут).

🟣Здесь тезис такой же: если мы контролируем агентов, которые ставят эксперименты, то какую методологию им вообще давать?

🌸Cultural/Pragmatic Probabilism

Бен предлагает новый подход, который он называет Cultural/Pragmatic Probabilism (CPP):
Хорошая научная теория — это та, которая избегает ненужных различий.

В таком случае, когда мы сравниваем две научные теории или две ML модели, описывающие мир, мы сравниваем их так, чтобы не искать точечные различия в отдельных метриках бенчмарков, а скорее ориентируемся на их общую робастность, воспроизводимость результата, и в целом простоту и практическую применимость.

Cultural/Pragmatic Probabilism предлагает способ формализации научной методологии, который признает разнообразие способов получения новых знаний, отмеченное Фейерабендом, и в то же время отражает то, что делает науку уникальной. Ключевые тезисы:
— Наука основывается на вероятностном канале доказательств.
— Лучше та теория, которая проще: но культурная "простота" является слабым звеном, стандарты которого зависят от парадигмы.
— Лучше та теория, которая практичнее: прагматическая полезность также является слабым звеном.

🌸А что с Научными агентами?

Можно сформулировать три уровня их развития:

Tier 1: Paradigm-internal validator. Валидатор экспериментов и результатов: агенту можно дать задачу, и он автоматизирует эксперимент в рамках заданных условий, кодовой базы, данных и метрик. Например, может оптимизировать обучение модели под определенные бенчмарки.

Tier 2: Paradigm-internal discoverer. Агент способен предложить идею эксперимента сам, в рамках принятой методологии, и вывести новое научное знание в рамках существующей парадигмы. Например, новую разновидность архитектуры трансформера.

Tier 3: Paradigm innovator. Агент способен вывести и систематизировать новое научное знание, пересматривать существующие теории и основывать новые, основывать новое направление. Может придумать "следующий трансформер".

Та же трехступенчатая структура применима и к экспериментальной науке: на первом этапе разрабатываются эксперименты для проверки фиксированных гипотез; на втором этапе разрабатываются эксперименты для получения данных, позволяющих лучше объяснить слабые стороны вопроса; на третьем этапе возникает новая научная школа/парадигма.

Что думаете?

🟣Блогпост
🟣Полный драфт статьи

Лучшая попытка соптимизировать моё резюме MLE под позицию пастуха овец 😂