Forwarded from epsilon correct
Пара мыслей об AI alignment
На днях рассказывал на квартирнике про AI alignment, и для многих людей такие мысли были как будто в новинку. Для других замкадышей, которые к нам доехать не смогли, записал кусочек из того, что рассказывал.
При словах “катастрофа ИИ” мы представляем мощный и злонамеренный ИИ, который внезапно захватывает контроль над человечеством. На самом деле, катастрофа может быть менее голливудско-взрывной. Например, с улучшением качества машинного обучения, корпорации могут все больше сосредотачиваться на легко измеримых метриках, таких как прибыль, что приведет к манипулированию потребителями и коррупции. В результате, со временем человеческое мышление станет все менее конкурентоспособным по сравнению с систематическими механизмами манипуляции и обмана, созданными с помощью ИИ. Думеры знают такой сценарий как “going out with a whimper”.
На самом деле, в нашей жизни и без этих ваших ИИ практически невозможно идеально согласовать цели и метрики. Из интересных примеров – promo-driven development в больших компаниях, запоротый Hacktoberfest, и спешное изменение в законодательстве Нью-Йорка по выкупу огнестрельного оружия. Чуть больше примеров можно посмотреть в статье на Википедии.
В этом смысле я вижу очень интересное пересечение на стыке рисерча про alignment и поведенческой экономики. Хороший дизайн структуры стимулов, учёт неопределённости, эгоистического поведения рациональных агентов, и стабильных исходов может позволить нам проектировать системы ориентированные в первую очередь на людей, например, налоговую. А в совсем прекрасном мире будущего, может, и мэрия Сан-Франциско решит alignment-related проблемы города.
На днях рассказывал на квартирнике про AI alignment, и для многих людей такие мысли были как будто в новинку. Для других замкадышей, которые к нам доехать не смогли, записал кусочек из того, что рассказывал.
При словах “катастрофа ИИ” мы представляем мощный и злонамеренный ИИ, который внезапно захватывает контроль над человечеством. На самом деле, катастрофа может быть менее голливудско-взрывной. Например, с улучшением качества машинного обучения, корпорации могут все больше сосредотачиваться на легко измеримых метриках, таких как прибыль, что приведет к манипулированию потребителями и коррупции. В результате, со временем человеческое мышление станет все менее конкурентоспособным по сравнению с систематическими механизмами манипуляции и обмана, созданными с помощью ИИ. Думеры знают такой сценарий как “going out with a whimper”.
На самом деле, в нашей жизни и без этих ваших ИИ практически невозможно идеально согласовать цели и метрики. Из интересных примеров – promo-driven development в больших компаниях, запоротый Hacktoberfest, и спешное изменение в законодательстве Нью-Йорка по выкупу огнестрельного оружия. Чуть больше примеров можно посмотреть в статье на Википедии.
В этом смысле я вижу очень интересное пересечение на стыке рисерча про alignment и поведенческой экономики. Хороший дизайн структуры стимулов, учёт неопределённости, эгоистического поведения рациональных агентов, и стабильных исходов может позволить нам проектировать системы ориентированные в первую очередь на людей, например, налоговую. А в совсем прекрасном мире будущего, может, и мэрия Сан-Франциско решит alignment-related проблемы города.
👍3
🤔1
#memo Нужно найти время и внимательно почитать, чем отличается виза для посетителя Франции (в частности от португальской D7. В частности – обязательно ли показывать французам пассивный доход, или достаточно накоплений.
www.oise.gouv.fr
Visiteur -
Vie privée et/ou familiale -
Etrangers dans l'Oise…
Vie privée et/ou familiale -
Etrangers dans l'Oise…
Portail de l'Etat en Les services de l'État dans l'Oise
Сегодня понял очень важную вещь: на столик для ноутбука должен помещаться не только ноутбук, но и чашка!
👍5🤔5🔥2
Нашёл энерготу с 800 мг таурина
Бутылка на литр
Вкус лучше среднего
Что ещё нужно?
Бутылка на литр
Вкус лучше среднего
Что ещё нужно?
😁2🔥1
Чтобы корове повысить ROI – меньше корми её, больше дои!
#рабочее
#рабочее
😁12