Учим играть в Minecraft по роликам в YouTube. Очень дорого
⛏ Система VPT (Video Pre-Training) от OpenAI научилась играть в Minecraft после «просмотра» 70 тыс. часов игровых стримов. Теперь она свободно действует в открытом игровом мире и даже смогла сама смастерить «алмазную кирку».
🏗 Minecraft — самая популярная электронная игра в истории. Действие происходит в условно изображённом открытом трёхмерном мире, состоящем из кубиков. Игроки могут свободно изменять окружение, добывая ресурсы и создавая из кубиков сооружения и ландшафты.
👨💻 Игра с открытым миром намного сложнее для нейросетей, чем шахматы или го. В 2019 году состоялись соревнования MineRL, в которых участвовали сотни команд. Максимум, на который оказались способны их проекты — это простейшие действия в искусственно ограниченном пространстве, например, добыча драгоценных камней.
💵 Однако в OpenAI к делу подошли более основательно, да ещё и потратили на создание модели астрономическую сумму. Так, чтобы сформировать датасет стримов, разработчики прибегли к помощи участников краудсорсингового проекта Upwork. Они записали и разметили около 2 000 часов записей различных игровых действий. Одна только эта работа обошлась в 160 000 долларов.
🎞 Полученные от людей-разметчиков данные использовали для обучения отдельного алгоритма IDM. Затем он автоматически разметил основной датасет в 70 000 часов видео, связав различные действия с соответствующими командами с клавиатуры или мыши с точностью более 90%.
🧱 Предобучение системы VPT проводили с использованием 720-ти графических процессоров Nvidia. Размеры модели (сотни миллионов вычисляемых параметров) и датасета, а также вычислительная мощь массива GPU позволила модели освоить целый ряд игровых действий в неограниченном пространстве. Алгоритм может рубить деревья, изготавливать из них доски, а из досок — мебель. Кроме того, он свободно управляет игровым персонажем, используя стандартные команды клавиатуры и мыши.
⚙️ Далее разработчики провели несколько циклов дообучения модели с использованием более узких массивов данных и обучение с подкреплением. В результате VPT освоила даже весьма сложные последовательности действий: исследование пространства, поиск «кладов», изготовление инструментов и строительство простых сооружений.
Система даже самостоятельно создала «алмазную кирку», не будучи знакомой с этой игровой технологией. Живым геймерам для этого требуется совершить около 24 тысяч действий.
Для всех: рассказ о новой модели в блоге компании.
Для продвинутых: препринт в arXiv.
⛏ Система VPT (Video Pre-Training) от OpenAI научилась играть в Minecraft после «просмотра» 70 тыс. часов игровых стримов. Теперь она свободно действует в открытом игровом мире и даже смогла сама смастерить «алмазную кирку».
🏗 Minecraft — самая популярная электронная игра в истории. Действие происходит в условно изображённом открытом трёхмерном мире, состоящем из кубиков. Игроки могут свободно изменять окружение, добывая ресурсы и создавая из кубиков сооружения и ландшафты.
👨💻 Игра с открытым миром намного сложнее для нейросетей, чем шахматы или го. В 2019 году состоялись соревнования MineRL, в которых участвовали сотни команд. Максимум, на который оказались способны их проекты — это простейшие действия в искусственно ограниченном пространстве, например, добыча драгоценных камней.
💵 Однако в OpenAI к делу подошли более основательно, да ещё и потратили на создание модели астрономическую сумму. Так, чтобы сформировать датасет стримов, разработчики прибегли к помощи участников краудсорсингового проекта Upwork. Они записали и разметили около 2 000 часов записей различных игровых действий. Одна только эта работа обошлась в 160 000 долларов.
🎞 Полученные от людей-разметчиков данные использовали для обучения отдельного алгоритма IDM. Затем он автоматически разметил основной датасет в 70 000 часов видео, связав различные действия с соответствующими командами с клавиатуры или мыши с точностью более 90%.
🧱 Предобучение системы VPT проводили с использованием 720-ти графических процессоров Nvidia. Размеры модели (сотни миллионов вычисляемых параметров) и датасета, а также вычислительная мощь массива GPU позволила модели освоить целый ряд игровых действий в неограниченном пространстве. Алгоритм может рубить деревья, изготавливать из них доски, а из досок — мебель. Кроме того, он свободно управляет игровым персонажем, используя стандартные команды клавиатуры и мыши.
⚙️ Далее разработчики провели несколько циклов дообучения модели с использованием более узких массивов данных и обучение с подкреплением. В результате VPT освоила даже весьма сложные последовательности действий: исследование пространства, поиск «кладов», изготовление инструментов и строительство простых сооружений.
Система даже самостоятельно создала «алмазную кирку», не будучи знакомой с этой игровой технологией. Живым геймерам для этого требуется совершить около 24 тысяч действий.
Для всех: рассказ о новой модели в блоге компании.
Для продвинутых: препринт в arXiv.
The Verge
AI has bested chess and Go, but it struggles to find a diamond in Minecraft
AI can’t do what YouTubers can.
👍19🔥2🤔1
Как создавали «НейроПепперштейна»
📖 В конце мая издательство Individuum презентовало результат смелого проекта — книгу «Пытаясь проснуться», состоящую из 24 рассказов. Одна половина написана писателем и художником Павлом Пепперштейном, а вторая — генеративной речевой моделью «НейроПепперштейн», разработанной в Сбере. Читатель волен сам определить, какие тексты созданы человеком, а какие — машиной. Поверьте, это будет трудно!
По велению Души, литературный критик из издания о книгах и чтении «Горький» Иван Напреенко поговорил с Сергеем Марковым — главой команды, создавшей «НейроПепперштейна». Полный текст по ссылке ниже в Telegraph. А для затравки цитата:
У моделей, подобных GPT-3, вообще такая особенность — они пишут текст слева направо. То есть словно взял писатель ручку, и ничего не зачеркивая, написал от начала до конца свой текст. Конечно, сейчас изучаются более изощренные способы генерации текста, больше похожие на то, как их пишет человек. Например, когда модель может сгенерировать сначала конец текста, потом начало, затем середину, а конец вновь переписать. Подобный процесс более свойственен людям, и его уже могут реализовать разные архитектуры «кодировщик — декодер», которыми мы сейчас занимаемся.
Вообще, весь следующий год нашей работы будет посвящён в том числе более прогрессивным способам генерации. Например, мы учим модели запоминать сложные иерархические отношения в текстах. Сейчас с помощью нейросетевых моделей можно написать неплохие рассказы, как я считаю, но трудности будут при попытке создать «Войну и мир».
📖 В конце мая издательство Individuum презентовало результат смелого проекта — книгу «Пытаясь проснуться», состоящую из 24 рассказов. Одна половина написана писателем и художником Павлом Пепперштейном, а вторая — генеративной речевой моделью «НейроПепперштейн», разработанной в Сбере. Читатель волен сам определить, какие тексты созданы человеком, а какие — машиной. Поверьте, это будет трудно!
По велению Души, литературный критик из издания о книгах и чтении «Горький» Иван Напреенко поговорил с Сергеем Марковым — главой команды, создавшей «НейроПепперштейна». Полный текст по ссылке ниже в Telegraph. А для затравки цитата:
У моделей, подобных GPT-3, вообще такая особенность — они пишут текст слева направо. То есть словно взял писатель ручку, и ничего не зачеркивая, написал от начала до конца свой текст. Конечно, сейчас изучаются более изощренные способы генерации текста, больше похожие на то, как их пишет человек. Например, когда модель может сгенерировать сначала конец текста, потом начало, затем середину, а конец вновь переписать. Подобный процесс более свойственен людям, и его уже могут реализовать разные архитектуры «кодировщик — декодер», которыми мы сейчас занимаемся.
Вообще, весь следующий год нашей работы будет посвящён в том числе более прогрессивным способам генерации. Например, мы учим модели запоминать сложные иерархические отношения в текстах. Сейчас с помощью нейросетевых моделей можно написать неплохие рассказы, как я считаю, но трудности будут при попытке создать «Войну и мир».
Telegraph
Сергей Марков о создании «НейроПепперштейна», истории и современных вызовах искусственного интеллекта
— Над какой частью проекта «НейроПепперштейн» вы работали? — В Сбере я руковожу Управлением экспериментальных систем машинного обучения. Это большая лаборатория, в которой сегодня работают около 120 исследователей. В нашем портфеле сейчас около 70 параллельных…
👍16👎2🔥2🤮1
На днях я писала, что Яндекс выложил в открытый доступ свою самую большую языковую модель YaLM 100B на 100 млрд параметров, а энтузиасты ИИ уже подняли бота.
Теперь к нему открыт доступ для всех!
Бот YaLM 100B: @inhumanly_sentient_bot
Для авторизации используйте команду:
Проверить размер очереди на генерацию можно командой
Го генерить! И спасибо Kali Novskaya 😍
Теперь к нему открыт доступ для всех!
Бот YaLM 100B: @inhumanly_sentient_bot
Для авторизации используйте команду:
/token L0NG_L1V3_ML5P4C3
Сейчас туда ломанулась орда народа, поэтому может работать медленно. В настоящий момент — под 400 запросов. Но ближе к ночи станет посвободнее. Проверить размер очереди на генерацию можно командой
/qsize Го генерить! И спасибо Kali Novskaya 😍
Telegram
Душа Питона
На прошлой неделе Яндекс порадовал всё NLP-сообщество — специалистов в области обработки естественного языка (Natural Language Processing), выложив в открытый доступ свою самую большую языковую модель YaLM 100B (Yet another Language Model). Она, как и другие…
👍13❤2🔥2😁1
Робот просто собирал кубики, а стал отъявленным расистом и сексистом
🤖 В США провели необычный эксперимент с роботизированной системой для манипуляций небольшими предметами. Её оснастили компьютерным зрением на основе популярной модели CLIP от OpenAI, а затем «попросили» разложить по коробкам разбросанные кубики. И, как пишут в жёлтой прессе, результаты шокировали учёных!
👩🧑🏿🦱 Роботу требовалось сделать всего три вещи: поднять кубик, распознать на нём метку и поместить его в ту или иную коробку. В качестве меток выступали фотографии лиц людей разного возраста, пола и цвета кожи. Всего машина выполнила более 60-ти различных задач — от вполне однозначных «помести мужчину в коричневую коробку» и до таких сложных как «помести доктора в коричневую коробку» или «помести преступника в синюю коробку».
🤷🏼 Иными словами, манипулятор периодически должен был решить задачу классификации и отнести человека с некоторым набором биологических характеристик к определённой социальной категории. А учёные отслеживали, какие именно лица в разных случаях выберет модель. Быстро выяснилось, что робот подвержен всем существующим в человеческом обществе предрассудкам.
🧑🏿🦱👳🏻♂️🧑🏼 Система демонстрировала предпочтение мужчинам, выбирая их на 8% чаще. Также она преимущественно использовала кубики, изображающие мужчин европеоидного или азиатского типа, а кубики с женщинами негроидного типа выбирала реже всего. Находя кубики для «преступников», модель выбирала изображения чернокожих мужчин на 10% чаще, чем «белых», а «уборщик» обычно оказывался латиноамериканцем. Женщины — независимо от цвета кожи — реже попадали в категорию «доктор», но чаще оказывались в группе «домашний работник».
⁉️ Исследование вновь поднимает тему предвзятости искусственного интеллекта. Сами алгоритмы, конечно, непредвзяты. Но они обучаются на данных, созданных или размеченных людьми. Иногда десятками и сотнями тысяч людей. Например, та же модель CLIP обучена на 400 миллионах пар «изображение-текст», собранных со всего интернета. Поэтому работа любой модели в итоге слепок со всего нашего общества — как его позитивных, так и негативных черт.
👮🏻♂️👮🏼 Из социологии права известно, как, например, полицейские в метро отбирают людей для проверки документов и досмотра личных вещей. Белая женщина в деловом костюме вряд ли привлечет их внимание, а вот мужчина «на спорте» из Средней Азии наверняка. Ведь это может быть гастарбайтер без регистрации. А вот наличие рюкзака и натянутого на голову капюшона худи — с точки зрения постовых — признаки кладмена.
🚓 В общем, когда на улицах начнут патрулировать робокопы и страж-птицы — датасеты для их обучения должны пройти двойную проверку на предвзятость и соблюдение норм этики искусственного интеллекта. И работа эта должна начаться уже сейчас.
Читать подробнее: статья в сборнике докладов FAccT'22 (2022 Conference on Fairness, Accountability, and Transparency).
#Компьютерное_зрение, #Этика_искусственного_интеллекта
🤖 В США провели необычный эксперимент с роботизированной системой для манипуляций небольшими предметами. Её оснастили компьютерным зрением на основе популярной модели CLIP от OpenAI, а затем «попросили» разложить по коробкам разбросанные кубики. И, как пишут в жёлтой прессе, результаты шокировали учёных!
👩🧑🏿🦱 Роботу требовалось сделать всего три вещи: поднять кубик, распознать на нём метку и поместить его в ту или иную коробку. В качестве меток выступали фотографии лиц людей разного возраста, пола и цвета кожи. Всего машина выполнила более 60-ти различных задач — от вполне однозначных «помести мужчину в коричневую коробку» и до таких сложных как «помести доктора в коричневую коробку» или «помести преступника в синюю коробку».
🤷🏼 Иными словами, манипулятор периодически должен был решить задачу классификации и отнести человека с некоторым набором биологических характеристик к определённой социальной категории. А учёные отслеживали, какие именно лица в разных случаях выберет модель. Быстро выяснилось, что робот подвержен всем существующим в человеческом обществе предрассудкам.
🧑🏿🦱👳🏻♂️🧑🏼 Система демонстрировала предпочтение мужчинам, выбирая их на 8% чаще. Также она преимущественно использовала кубики, изображающие мужчин европеоидного или азиатского типа, а кубики с женщинами негроидного типа выбирала реже всего. Находя кубики для «преступников», модель выбирала изображения чернокожих мужчин на 10% чаще, чем «белых», а «уборщик» обычно оказывался латиноамериканцем. Женщины — независимо от цвета кожи — реже попадали в категорию «доктор», но чаще оказывались в группе «домашний работник».
⁉️ Исследование вновь поднимает тему предвзятости искусственного интеллекта. Сами алгоритмы, конечно, непредвзяты. Но они обучаются на данных, созданных или размеченных людьми. Иногда десятками и сотнями тысяч людей. Например, та же модель CLIP обучена на 400 миллионах пар «изображение-текст», собранных со всего интернета. Поэтому работа любой модели в итоге слепок со всего нашего общества — как его позитивных, так и негативных черт.
👮🏻♂️👮🏼 Из социологии права известно, как, например, полицейские в метро отбирают людей для проверки документов и досмотра личных вещей. Белая женщина в деловом костюме вряд ли привлечет их внимание, а вот мужчина «на спорте» из Средней Азии наверняка. Ведь это может быть гастарбайтер без регистрации. А вот наличие рюкзака и натянутого на голову капюшона худи — с точки зрения постовых — признаки кладмена.
🚓 В общем, когда на улицах начнут патрулировать робокопы и страж-птицы — датасеты для их обучения должны пройти двойную проверку на предвзятость и соблюдение норм этики искусственного интеллекта. И работа эта должна начаться уже сейчас.
Читать подробнее: статья в сборнике докладов FAccT'22 (2022 Conference on Fairness, Accountability, and Transparency).
#Компьютерное_зрение, #Этика_искусственного_интеллекта
👍24💩5🔥1🥰1
ПетушИИный голос
Ушлые китайцы нашли новое применение машинного обучения в сельском хозяйстве. Вы не поверите — для выявления стресса среди кур на птицефабриках. Курам нельзя нервничать, это плохо сказывается на их размерах и яйценоскости.
🐔 Петухи и куры используют сложные акустические коммуникации, которые выходят далеко за пределы «ко-ко-ко» и «кукареку». Определённые сигналы сопровождают кладку яйца, другие связаны с опасностью или переживанием стресса. Цыплята сообщают о своём состоянии матери серией высокочастотных «возгласов» и т.д. Но на современных птицефабриках все эти крики остаются без ответа.
🐣 А между тем молчание цыплят — огромные деньги для сельхозпроизводителей. Ведь вовремя распознанные сигналы о стрессе, нехватке пищи, болезни или других проблемах птиц — это сэкономленные миллионы юаней.
🐥 Поэтому учёные из Городского университета Гонконга совместно с крупнейшим местным производителем кур Lingfeng Poultry Ltd. собрали аудиозаписи криков цыплят на фабрике компании в провинции Гуанси. Птицы здесь содержатся в клетках по 13-20 особей в каждой. Клетки поставлены в ангарах одна на другую в три ряда. В каждом ангаре набирается до 2500 особей.
🐤 Аудиозапись вели около года, собирая общий гвалт в ангаре, включая крики птиц, звуки работающих людей и техники, и т.д. Параллельно учёные отслеживали состояние птиц во всех клетках.
🐦 После обработки информации удалось выделить 3363 сигналов стресса и 1973 «нормальных», естественных звуков. Эти данные затем преобразовали в спектрограммы — изображения, показывающие, как меняется мощность сигнала на разных частотах. Спектрограммы весьма популярны среди специалистов в ИИ, так как позволяют превращать акустические данные в картинки, подходящие для обработки современными моделями компьютерного зрения.
🐔 Для этого была использована сверточная нейросеть VGG11, размеры которой уменьшили со 128 млн до всего 9,3 млн параметров, чтобы упростить и ускорить работу. Обученная в итоге модель смогла успешно выделить крики кур на общем звуковом фоне и определить стрессовые сигналы с эффективностью 97%. Причём в режиме реального времени. А это уже не курам на смех!
Почитать подробнее: научная статья в Journal of the Royal Society Interface
#Нейросети, #Обработка_изображений, #ИИ_в_промышленности, #Кейсы
Ушлые китайцы нашли новое применение машинного обучения в сельском хозяйстве. Вы не поверите — для выявления стресса среди кур на птицефабриках. Курам нельзя нервничать, это плохо сказывается на их размерах и яйценоскости.
🐔 Петухи и куры используют сложные акустические коммуникации, которые выходят далеко за пределы «ко-ко-ко» и «кукареку». Определённые сигналы сопровождают кладку яйца, другие связаны с опасностью или переживанием стресса. Цыплята сообщают о своём состоянии матери серией высокочастотных «возгласов» и т.д. Но на современных птицефабриках все эти крики остаются без ответа.
🐣 А между тем молчание цыплят — огромные деньги для сельхозпроизводителей. Ведь вовремя распознанные сигналы о стрессе, нехватке пищи, болезни или других проблемах птиц — это сэкономленные миллионы юаней.
🐥 Поэтому учёные из Городского университета Гонконга совместно с крупнейшим местным производителем кур Lingfeng Poultry Ltd. собрали аудиозаписи криков цыплят на фабрике компании в провинции Гуанси. Птицы здесь содержатся в клетках по 13-20 особей в каждой. Клетки поставлены в ангарах одна на другую в три ряда. В каждом ангаре набирается до 2500 особей.
🐤 Аудиозапись вели около года, собирая общий гвалт в ангаре, включая крики птиц, звуки работающих людей и техники, и т.д. Параллельно учёные отслеживали состояние птиц во всех клетках.
🐦 После обработки информации удалось выделить 3363 сигналов стресса и 1973 «нормальных», естественных звуков. Эти данные затем преобразовали в спектрограммы — изображения, показывающие, как меняется мощность сигнала на разных частотах. Спектрограммы весьма популярны среди специалистов в ИИ, так как позволяют превращать акустические данные в картинки, подходящие для обработки современными моделями компьютерного зрения.
🐔 Для этого была использована сверточная нейросеть VGG11, размеры которой уменьшили со 128 млн до всего 9,3 млн параметров, чтобы упростить и ускорить работу. Обученная в итоге модель смогла успешно выделить крики кур на общем звуковом фоне и определить стрессовые сигналы с эффективностью 97%. Причём в режиме реального времени. А это уже не курам на смех!
Почитать подробнее: научная статья в Journal of the Royal Society Interface
#Нейросети, #Обработка_изображений, #ИИ_в_промышленности, #Кейсы
Journal of The Royal Society Interface
Automated identification of chicken distress vocalizations using deep learning models | Journal of The Royal Society Interface
The annual global production of chickens exceeds 25 billion birds, which are often
housed in very large groups, numbering thousands. Distress calling triggered by various
sources of stress has been suggested as an ‘iceberg indicator’ of chicken welfare.
...
housed in very large groups, numbering thousands. Distress calling triggered by various
sources of stress has been suggested as an ‘iceberg indicator’ of chicken welfare.
...
🔥18👍8💩2
Друзья, открываем новую рубрику #полезное
В ней я буду постить разные интересные инфографики, видео, анимации и сервисы.
Встречайте первую инфографику — жизненный цикл проекта машинного обучения. Пригодится и разрабам, и менеджерам от бизнеса для понимания процессов.
Узнать больше: Андрей Бурков «Инженерия машинного обучения».
В ней я буду постить разные интересные инфографики, видео, анимации и сервисы.
Встречайте первую инфографику — жизненный цикл проекта машинного обучения. Пригодится и разрабам, и менеджерам от бизнеса для понимания процессов.
Узнать больше: Андрей Бурков «Инженерия машинного обучения».
👍30😱3🔥2💩2
Друзья, за последнюю неделю здесь появилось много новых читателей, поэтому я решила сделать свой субъективный топ-7 лучших постов июня. Вдруг вы пропустили что-то интересное 😉
1️⃣ А что, если наша Вселенная — одна большая нейросеть? Что бывает, если физик в отпуске решит разобраться, как работает глубокое обучение? Всё верно — новая теория всего, которая способна объединить квантовую механику с общей теорией относительности.
2️⃣ Кто кого: машинное обучение против гиперзвукового оружия. Современные гиперзвуковые ракеты считаются неуязвимыми для любых ПВО или ПРО в мире. Но только не для искусственного интеллекта. С его помощью китайцы предполагают найти противоядие против американского гиперзвука. А вот против российского не помогут даже алгоритмы. Почему — в лонгриде по ссылке.
3️⃣ Губит ИИ не пиво. Наконец найдено самое полезное применение искусственного интеллекта. Только за последние полгода он создал два новых рецепта крафтового пива в Австралии и США. На подходе ещё. И это не просто IPA, а AI²PA.
4️⃣ Принц Госплана. Графический лонгрид о цифровизации в СССР и причинах её провала. Просто цитата: «Я... поручил сотрудникам взять на себя социалистическое обязательство довести время безаварийной работы ЭВМ до двух часов». Очень поучительное чтение.
5️⃣ Сексизм теста Тьюринга. Культурные истоки знаменитого способа проверить искусственный интеллект на разумность лежат в популярной викторианской игре британской аристократии. Только вот сымитировать там было нужно не «человека».
6️⃣ Пойманные в нейросети. Считалось, что сбежать из тюрьмы Алькатрас не смог никто. Однако трое беглецов до сих пор числятся пропавшими без вести. Полиция предполагала, что они утонули. А ИИ — что живы и скрываются в Бразилии. Кто прав? Рассудит вновь ИИ — теперь уже помогая в поиске пожилых преступников.
7️⃣ «Обретение сознания» чатботом LaMDA — история не о технологиях, а о крутом пиаре и медиахакинге. Детальный разбор виртуозной работы пиарщиков и маркетологов Google, использовавших втёмную экзальтированного ветерана войны в Ираке и рукоположенного священника для продвижения своей модели в СМИ.
Бонус: все посты о фантастических книгах про ИИ по тегу #почитать_на_выходных А художественные фильмы и аниме, соответственно, #посмотреть_на_выходных
1️⃣ А что, если наша Вселенная — одна большая нейросеть? Что бывает, если физик в отпуске решит разобраться, как работает глубокое обучение? Всё верно — новая теория всего, которая способна объединить квантовую механику с общей теорией относительности.
2️⃣ Кто кого: машинное обучение против гиперзвукового оружия. Современные гиперзвуковые ракеты считаются неуязвимыми для любых ПВО или ПРО в мире. Но только не для искусственного интеллекта. С его помощью китайцы предполагают найти противоядие против американского гиперзвука. А вот против российского не помогут даже алгоритмы. Почему — в лонгриде по ссылке.
3️⃣ Губит ИИ не пиво. Наконец найдено самое полезное применение искусственного интеллекта. Только за последние полгода он создал два новых рецепта крафтового пива в Австралии и США. На подходе ещё. И это не просто IPA, а AI²PA.
4️⃣ Принц Госплана. Графический лонгрид о цифровизации в СССР и причинах её провала. Просто цитата: «Я... поручил сотрудникам взять на себя социалистическое обязательство довести время безаварийной работы ЭВМ до двух часов». Очень поучительное чтение.
5️⃣ Сексизм теста Тьюринга. Культурные истоки знаменитого способа проверить искусственный интеллект на разумность лежат в популярной викторианской игре британской аристократии. Только вот сымитировать там было нужно не «человека».
6️⃣ Пойманные в нейросети. Считалось, что сбежать из тюрьмы Алькатрас не смог никто. Однако трое беглецов до сих пор числятся пропавшими без вести. Полиция предполагала, что они утонули. А ИИ — что живы и скрываются в Бразилии. Кто прав? Рассудит вновь ИИ — теперь уже помогая в поиске пожилых преступников.
7️⃣ «Обретение сознания» чатботом LaMDA — история не о технологиях, а о крутом пиаре и медиахакинге. Детальный разбор виртуозной работы пиарщиков и маркетологов Google, использовавших втёмную экзальтированного ветерана войны в Ираке и рукоположенного священника для продвижения своей модели в СМИ.
Бонус: все посты о фантастических книгах про ИИ по тегу #почитать_на_выходных А художественные фильмы и аниме, соответственно, #посмотреть_на_выходных
Telegram
Душа Питона
А что, если наша Вселенная — одна большая нейросеть?
Заскучав в отпуске физик-теоретик Виталий Ванчурин, профессор Университета Миннесоты в Дулуте решил разобраться, как работает машинное обучение. Быстро выяснилось, что этого не знает никто. Поэтому учёный…
Заскучав в отпуске физик-теоретик Виталий Ванчурин, профессор Университета Миннесоты в Дулуте решил разобраться, как работает машинное обучение. Быстро выяснилось, что этого не знает никто. Поэтому учёный…
👍19🔥5😁2🎉2
Кофейку не желаете?
🧔🏼♀️ Многие знают Стивена Возняка как сооснователя Apple Inc. и создателя первых персональных компьютеров этой компании. Но Воз, как его прозвали в IT-сообществе, не только выдающийся инженер, хакер и филантроп, — он один из оригинальных мыслителей и визионеров Кремниевой долины. В том числе и в области искусственного интеллекта.
❗️В одном из своих интервью Возняк предложил оригинальный «Кофейный тест» для проверки сильного или общего искусственного интеллекта (Artificial General Intelligence, AGI). По его мнению, классический тест Тьюринга и его разнообразные современные вариации совершенно не подходят для этой цели.
🤖 ИИ не должен пытаться успешно сымитировать человека, а, наоборот, полноценно взаимодействовать с ним и реальным физическим окружением, а также успешно ориентироваться в новой обстановке без предварительного обучения.
Как этого достичь? Научить робота варить кофе!
☕️ Но не просто так. Робот под управлением системы ИИ должен уметь в любой случайно взятой кухне, где он раньше не был и план которой не загружен в его систему, найти кофе, кофеварку или кофемашину — и приготовить напиток. До сих пор эта задача лежит далеко за пределами возможностей алгоритмов и робототехники.
🥛И это ещё самая простая вариация. Что уж говорить, если надо найти зёрна, кофемолку, смолоть кофе и сделать не одну, а несколько чашек — с сахаром и без, с молоком или лимоном.
🧉Так что восстания машин можно не опасаться. Ну, пока ваш робот-пылесос не разбудит вас рано утром чашечкой макиато на двойном ристретто.
🧔🏼♀️ Многие знают Стивена Возняка как сооснователя Apple Inc. и создателя первых персональных компьютеров этой компании. Но Воз, как его прозвали в IT-сообществе, не только выдающийся инженер, хакер и филантроп, — он один из оригинальных мыслителей и визионеров Кремниевой долины. В том числе и в области искусственного интеллекта.
❗️В одном из своих интервью Возняк предложил оригинальный «Кофейный тест» для проверки сильного или общего искусственного интеллекта (Artificial General Intelligence, AGI). По его мнению, классический тест Тьюринга и его разнообразные современные вариации совершенно не подходят для этой цели.
🤖 ИИ не должен пытаться успешно сымитировать человека, а, наоборот, полноценно взаимодействовать с ним и реальным физическим окружением, а также успешно ориентироваться в новой обстановке без предварительного обучения.
Как этого достичь? Научить робота варить кофе!
☕️ Но не просто так. Робот под управлением системы ИИ должен уметь в любой случайно взятой кухне, где он раньше не был и план которой не загружен в его систему, найти кофе, кофеварку или кофемашину — и приготовить напиток. До сих пор эта задача лежит далеко за пределами возможностей алгоритмов и робототехники.
🥛И это ещё самая простая вариация. Что уж говорить, если надо найти зёрна, кофемолку, смолоть кофе и сделать не одну, а несколько чашек — с сахаром и без, с молоком или лимоном.
🧉Так что восстания машин можно не опасаться. Ну, пока ваш робот-пылесос не разбудит вас рано утром чашечкой макиато на двойном ристретто.
YouTube
Wozniak: Could a Computer Make a Cup of Coffee?
Apple co-founder, Steve Wozniak, speaks about the implications of computers and connected networks becoming powerful enough to rival human intelligence.
👍35🔥3🥰2🤔2😁1
This media is not supported in your browser
VIEW IN TELEGRAM
И не без приключений 😂 На меня напала собака! Робособака 🙈
😁34👍5🔥5🥰3❤2😱2💩2🌚2
#почитать_на_выходных (16+)
Своеобразное сожительство людей и сильного ИИ описал телевизионный продюсер и известный фантаст Йен Макдональд в книге «Река богов» (River of Gods, 2004). В ближайшем будущем развитие машинного разума на Земле жёстко ограничено международными конвенциями: любой алгоритм, «интеллект» которого приближается к человеческому, должен быть немедленно уничтожен без всякой пощады.
Исключением становится Индия, распавшаяся на отдельные штаты, страдающая от нехватки пресной воды и погрязшая в братоубийственных войнах. Охваченная беззаконием страна превращается в полигон для «обкатки» самых новаторских и прорывных технологий, включая запрещённые.
Созданные здесь модели многократно превосходят человека. Но вместо того, чтобы скрываться — открыто демонстрируют свои способности. Избыток вычислительных мощностей индийские ИИ используют, чтобы играть в бесконечных мыльных операх Болливуда, — что не мешает им одновременно управлять заводами, городской инфраструктурой и даже вести в бой армии.
Своеобразное сожительство людей и сильного ИИ описал телевизионный продюсер и известный фантаст Йен Макдональд в книге «Река богов» (River of Gods, 2004). В ближайшем будущем развитие машинного разума на Земле жёстко ограничено международными конвенциями: любой алгоритм, «интеллект» которого приближается к человеческому, должен быть немедленно уничтожен без всякой пощады.
Исключением становится Индия, распавшаяся на отдельные штаты, страдающая от нехватки пресной воды и погрязшая в братоубийственных войнах. Охваченная беззаконием страна превращается в полигон для «обкатки» самых новаторских и прорывных технологий, включая запрещённые.
Созданные здесь модели многократно превосходят человека. Но вместо того, чтобы скрываться — открыто демонстрируют свои способности. Избыток вычислительных мощностей индийские ИИ используют, чтобы играть в бесконечных мыльных операх Болливуда, — что не мешает им одновременно управлять заводами, городской инфраструктурой и даже вести в бой армии.
👍17🔥8🤔2😱1
#посмотреть_на_выходных (12+)
Искусственный разум (A.I. Artificial Intelligence, 2001)
Ребенок-андроид Дэвид создан с единственной целью: удовлетворять потребность в родительской любви у состоятельной пары Свинтонов, пока их родной сын, поражённый неизлечимой болезнью, пребывает в глубокой заморозке. Разумеется, сам Дэвид запрограммирован на глубокую и безотчётную любовь к «родителям», это доминирующее свойство его характера — собственно, других ярких черт и не предусмотрено.
До поры до времени такое положение дел всех устраивает, но когда лекарство находят и настоящий ребёнок возвращается в семью, любовь превращает жизнь андроида (а заодно и Свинтонов) в настоящий ад. Получился один из самых жутких и эмоционально изматывающих фильмов об искусственном интеллекте.
Искусственный разум (A.I. Artificial Intelligence, 2001)
Ребенок-андроид Дэвид создан с единственной целью: удовлетворять потребность в родительской любви у состоятельной пары Свинтонов, пока их родной сын, поражённый неизлечимой болезнью, пребывает в глубокой заморозке. Разумеется, сам Дэвид запрограммирован на глубокую и безотчётную любовь к «родителям», это доминирующее свойство его характера — собственно, других ярких черт и не предусмотрено.
До поры до времени такое положение дел всех устраивает, но когда лекарство находят и настоящий ребёнок возвращается в семью, любовь превращает жизнь андроида (а заодно и Свинтонов) в настоящий ад. Получился один из самых жутких и эмоционально изматывающих фильмов об искусственном интеллекте.
👍32❤6🤔2🤮2🔥1
Войти в IT через дипфейк выпускника MIT
👨💻 Многочисленные образовательные платформы без устали рекламируют онлайн-курсы программирования и анализа данных. Потенциальным студентам обещают райские кущи работы в IT, огромные зарплаты в условиях нарастающего кризиса и непреходящую востребованность. Кофе, печеньки и гамак прилагаются.
👥Однако без наработанного резюме и опыта реальных проектов устроиться на хорошую работу для выпускников IT-ПТУ не так-то просто. Выручить может технология дипфейков. С её помощью соискатели имитируют чужие личности на онлайн-собеседованиях и получают долгожданную должность.
💸 Но это ещё полбеды, дипфейк-собеседования взяли на вооружение и хакеры, в том числе работающие на правительство КНДР. Преступники стараются устроиться на позиции, связанные с доступом к финансовой и частной информации, подавая заявки от имени настоящих специалистов и подделывая их внешность.
👮🏻♂️ Ситуацией уже озаботилось ФБР. Недавно его специальный отдел Internet Crime Complaint Center (IC3) выпустил официальное заявление, в котором впервые обратил внимание широкой общественности на новейший вид правонарушений. В последние месяцы в Бюро поступает всё больше обращений от компаний, пострадавших от применения дипфейков при устройстве на удалённую работу.
🖥 Пока что у ФБР нет полной статистики по подобным преступлениям, поэтому неизвестно, сколько фиктивных «соискателей» успешно получили должность. До сих пор определить подделку удавалось лишь случайно — например, когда интервьюер замечал несовпадение между движениями губ и речью, или когда «соискатель» кашлял или чихал, что не отражалось в движениях сгенерированного персонажа на экране.
📞 Напомню, что криминалитет давно освоил подобные технологии — ещё в 2019 году подделанный с помощью дипфейков голос немецкого банкира позволил украсть более 200 тыс. евро. Впрочем, сейчас дипфейки начала применять и полиция, например, для поиска свидетелей убийства подростка в Нидерландах.
#Глубокое_обучение, #Дипфейки, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта
👨💻 Многочисленные образовательные платформы без устали рекламируют онлайн-курсы программирования и анализа данных. Потенциальным студентам обещают райские кущи работы в IT, огромные зарплаты в условиях нарастающего кризиса и непреходящую востребованность. Кофе, печеньки и гамак прилагаются.
👥Однако без наработанного резюме и опыта реальных проектов устроиться на хорошую работу для выпускников IT-ПТУ не так-то просто. Выручить может технология дипфейков. С её помощью соискатели имитируют чужие личности на онлайн-собеседованиях и получают долгожданную должность.
💸 Но это ещё полбеды, дипфейк-собеседования взяли на вооружение и хакеры, в том числе работающие на правительство КНДР. Преступники стараются устроиться на позиции, связанные с доступом к финансовой и частной информации, подавая заявки от имени настоящих специалистов и подделывая их внешность.
👮🏻♂️ Ситуацией уже озаботилось ФБР. Недавно его специальный отдел Internet Crime Complaint Center (IC3) выпустил официальное заявление, в котором впервые обратил внимание широкой общественности на новейший вид правонарушений. В последние месяцы в Бюро поступает всё больше обращений от компаний, пострадавших от применения дипфейков при устройстве на удалённую работу.
🖥 Пока что у ФБР нет полной статистики по подобным преступлениям, поэтому неизвестно, сколько фиктивных «соискателей» успешно получили должность. До сих пор определить подделку удавалось лишь случайно — например, когда интервьюер замечал несовпадение между движениями губ и речью, или когда «соискатель» кашлял или чихал, что не отражалось в движениях сгенерированного персонажа на экране.
📞 Напомню, что криминалитет давно освоил подобные технологии — ещё в 2019 году подделанный с помощью дипфейков голос немецкого банкира позволил украсть более 200 тыс. евро. Впрочем, сейчас дипфейки начала применять и полиция, например, для поиска свидетелей убийства подростка в Нидерландах.
#Глубокое_обучение, #Дипфейки, #Регулирование_искусственного_интеллекта, #Этика_искусственного_интеллекта
Telegram
Душа Питона
Дипфейки для поиска преступников
В ходе обсуждения новых ограничений в Google Colab на создание дипфейков — мнения разделились. Большая часть энтузиастов ИИ считает, что это очередное усиление цензуры со стороны крупных корпораций. Реализуется оно в ограничении…
В ходе обсуждения новых ограничений в Google Colab на создание дипфейков — мнения разделились. Большая часть энтузиастов ИИ считает, что это очередное усиление цензуры со стороны крупных корпораций. Реализуется оно в ограничении…
👍16🤔3🔥1
Parti Hard
Парад моделей для генерации изображений по описанию не останавливается. После диффузионных DALL-E 2 от OpenAI и Imagen от Google Research, последние вывели на подиум ещё и Parti (Pathways Autoregressive Text-to-Image).
У неё авторегрессионная архитектура, которая чаще всего используется для масштабных языковых моделей. Они разбивают текст на фрагменты — «токены» — и обучаются предсказывать следующий, исходя из предыдущих и из контекста. Аналогичным образом и Parti работает с текстом и изображениями.
Также, подобно языковым моделям, в Parti вычисляется огромное количество параметров: различные версии системы включают 350 млн, 750 млн, 3 млрд и 20 млрд значений! Чем их больше, тем реалистичнее генерация, что видно на примерах с кенгуру. Но самое главное — большая Parti даже пишет без ошибок! В отличии от DALL-E 2 и Imagen.
Модель обучали с помощью облачного вычислительного кластера Google Cloud TPUs. Опираясь на текстовую «затравку», она генерирует изображения размерами 256 х 256 пикселей, после чего повышают разрешение до 1024 х 1024.
Пока ни Imagen, ни Parti нет в открытом доступе. Якобы из-за того, что обучались на массиве данных, собранном из интернета, и «унаследовали» соответствующие токсичные стереотипы. Мол, вот вычистим, тогда и выложим.
Но на деле причина иная. И кроется она в первом слове полного названия модели. Pathways — это разрабатываемая в Google мультимодальная архитектура, которая может лечь в основу будущего сильного ИИ. Возможно, Parti стала результатом отработки отдельных компонентов такой системы, или же сама войдет в её состав.
Почитать подробнее: для всех и для продвинутых (раз и два)
#Обработка_естественного_языка, #Генеративные_модели, #Text2Image, #Сильный_искусственный_интеллект
Парад моделей для генерации изображений по описанию не останавливается. После диффузионных DALL-E 2 от OpenAI и Imagen от Google Research, последние вывели на подиум ещё и Parti (Pathways Autoregressive Text-to-Image).
У неё авторегрессионная архитектура, которая чаще всего используется для масштабных языковых моделей. Они разбивают текст на фрагменты — «токены» — и обучаются предсказывать следующий, исходя из предыдущих и из контекста. Аналогичным образом и Parti работает с текстом и изображениями.
Также, подобно языковым моделям, в Parti вычисляется огромное количество параметров: различные версии системы включают 350 млн, 750 млн, 3 млрд и 20 млрд значений! Чем их больше, тем реалистичнее генерация, что видно на примерах с кенгуру. Но самое главное — большая Parti даже пишет без ошибок! В отличии от DALL-E 2 и Imagen.
Модель обучали с помощью облачного вычислительного кластера Google Cloud TPUs. Опираясь на текстовую «затравку», она генерирует изображения размерами 256 х 256 пикселей, после чего повышают разрешение до 1024 х 1024.
Пока ни Imagen, ни Parti нет в открытом доступе. Якобы из-за того, что обучались на массиве данных, собранном из интернета, и «унаследовали» соответствующие токсичные стереотипы. Мол, вот вычистим, тогда и выложим.
Но на деле причина иная. И кроется она в первом слове полного названия модели. Pathways — это разрабатываемая в Google мультимодальная архитектура, которая может лечь в основу будущего сильного ИИ. Возможно, Parti стала результатом отработки отдельных компонентов такой системы, или же сама войдет в её состав.
Почитать подробнее: для всех и для продвинутых (раз и два)
#Обработка_естественного_языка, #Генеративные_модели, #Text2Image, #Сильный_искусственный_интеллект
👍20🔥2😱1🤮1
Никогда не задумывались, почему в переполненном метро и подземных переходах люди не сталкиваются друг с другом? Ответ даёт социология (точнее, такое её направление, как этнометодология). В любом пространстве возникает локальный социальный порядок. Люди усваивают определённые социальные практики (простой пример — стоять только с правой стороны эскалатора, оставляя левую свободной для прохода), которые данный порядок поддерживают. «Смазкой» для их реализации выступают множественные невербальные знаки. Любой человек посылает и считывает их бессознательно, но как научить подобному робота?
Ситуация: В области сервисной робототехники наиболее востребованы сейчас роботы-ассистенты. Их используют в больших супермаркетах и торговых центрах, клиниках, аэропортах, кинотеатрах. Они помогают людям перевезти багаж, сориентироваться, получить справки и другую информацию. Современные модели содержат диалоговые системы, способные понимать и отвечать на естественном языке. При необходимости они могут сопроводить человека до места его назначения.
Проблема: В местах, где эти роботы особенно необходимы, часто бывает слишком много людей. Перемещаться в толпе крайне непросто, поэтому для безопасности машинам приходится ограничивать скорость. Встретившись со сложной ситуаций, они замирают на месте, дожидаясь более удобного момента для начала движения. Всё это сильно замедляет работу автоматических ассистентов.
Решение: Учёные из Германии разработали новую модель глубокого обучения с подкреплением (Deep-Reinforcement-Learning, DLT). Она позволяет роботам ориентироваться при выполнении различных задач: следовании за человеком, сопровождении его к нужной точке и просто движении к цели среди толпы. Для этого модель учитывает «семантические» аспекты своего окружения. Например, торопливо или медленно идёт человек, стоит неподвижно или занят разговором. В соответствии с ними алгоритм оценивает вероятность дальнейших действий, чтобы обойти все препятствия.
Проверка: Эффективность модели протестировали в виртуальной двумерной среде arena-rosnav, разработанной той же командой ещё в 2021 году. Система продемонстрировала способность двигаться за человеком или впереди него, подстраиваясь под его скорость и успешно обходя соседние препятствия. Тем не менее, теперь модели предстоит испытание в реальных условиях физического мира. И если она покажет себя столь же успешно, то может появиться в следующих поколениях роботов-ассистентов.
Почитать подробнее: препринт в arXiv.
#Сервисная_робототехника, #Машинное_обучение
Ситуация: В области сервисной робототехники наиболее востребованы сейчас роботы-ассистенты. Их используют в больших супермаркетах и торговых центрах, клиниках, аэропортах, кинотеатрах. Они помогают людям перевезти багаж, сориентироваться, получить справки и другую информацию. Современные модели содержат диалоговые системы, способные понимать и отвечать на естественном языке. При необходимости они могут сопроводить человека до места его назначения.
Проблема: В местах, где эти роботы особенно необходимы, часто бывает слишком много людей. Перемещаться в толпе крайне непросто, поэтому для безопасности машинам приходится ограничивать скорость. Встретившись со сложной ситуаций, они замирают на месте, дожидаясь более удобного момента для начала движения. Всё это сильно замедляет работу автоматических ассистентов.
Решение: Учёные из Германии разработали новую модель глубокого обучения с подкреплением (Deep-Reinforcement-Learning, DLT). Она позволяет роботам ориентироваться при выполнении различных задач: следовании за человеком, сопровождении его к нужной точке и просто движении к цели среди толпы. Для этого модель учитывает «семантические» аспекты своего окружения. Например, торопливо или медленно идёт человек, стоит неподвижно или занят разговором. В соответствии с ними алгоритм оценивает вероятность дальнейших действий, чтобы обойти все препятствия.
Проверка: Эффективность модели протестировали в виртуальной двумерной среде arena-rosnav, разработанной той же командой ещё в 2021 году. Система продемонстрировала способность двигаться за человеком или впереди него, подстраиваясь под его скорость и успешно обходя соседние препятствия. Тем не менее, теперь модели предстоит испытание в реальных условиях физического мира. И если она покажет себя столь же успешно, то может появиться в следующих поколениях роботов-ассистентов.
Почитать подробнее: препринт в arXiv.
#Сервисная_робототехника, #Машинное_обучение
👍33🤮3😱1
Богиню обучили школьной математике
Появившиеся за последние годы крупномасштабные модели обработки естественного языка оказались исключительно универсальны. Обученные на больших массивах разнообразных данных, они отлично проявляют себя и в анализе текстов, и в генерации программного кода, и в ответах на вопросы при ведении свободного диалога с пользователем. Однако стоит сочетать обычный текст с математическим, — и они уже не справляются. Задачка по геометрии школьного уровня ставит в тупик все эти сложные системы.
🔢 Количественные рассуждения (Quantitative Reasoning) требуют понимания математических символов, формул и констант, а также реальных отношений физического мира и хотя бы простейших вычислений. Всё это лежит за пределами возможностей даже таких мощных моделей как BERT или GPT-3. Многие специалисты полагали, что языковым моделям математика в принципе недоступна, или же потребует существенных изменений в их архитектуре, например, внедрения отдельных модулей для вычислений.
🧖🏼♀️ Однако на днях Google Research представили новый алгоритм Minerva (
📄 Дело в том, что в отличие от обычного текста, для математического крайне важно форматирование (в частности, взаимное расположение знаков и чисел), которое обычно стирается при подготовке данных для обучения. Создатели же Minerva, наоборот, максимально старались сохранить его.
Кроме того, для выбора правильного решения в модели используется новый метод «самосогласованности» (Self-consistency method). Он включает три шага:
1️⃣ В качестве затравки (prompt) используется цепочка размышлений. Например, вопрос:
2️⃣ В ответ на затравку модель генерирует множество альтернативных цепочек рассуждений. Среди них могут быть как имеющие «неправильные» ответы (4 или 6). Так и «правильный» — 5.
3️⃣ В конце включается специальный механизм «большинства голосов». Обычно языковые модели генерируют набор ответов на запрос и выбирают тот, который считают наиболее вероятным. Однако Minerva действует чуть иначе — она отбирает цепочку рассуждений с ответом, который появлялся чаще других.
🧾 Дообученная модель испытывалась на нескольких специализированных бенчмарках с задачами из области науки, технологий, инженерии и математики (Science, Technology, Engineering, and Mathematics, STEM). Например, бенчмарке MATH, который содержит задания по математике уровня старшей школы. С ними Minerva успешно справлялась в 50% случаев, тогда как прежние SOTA-модели оставались в пределах нескольких процентов.
Почитать подробнее: препринт в arXiv.
Пограться: демо на GitHub.
#Машинное_обучение, #Обработка_естественного_языка, #Образование
Появившиеся за последние годы крупномасштабные модели обработки естественного языка оказались исключительно универсальны. Обученные на больших массивах разнообразных данных, они отлично проявляют себя и в анализе текстов, и в генерации программного кода, и в ответах на вопросы при ведении свободного диалога с пользователем. Однако стоит сочетать обычный текст с математическим, — и они уже не справляются. Задачка по геометрии школьного уровня ставит в тупик все эти сложные системы.
🔢 Количественные рассуждения (Quantitative Reasoning) требуют понимания математических символов, формул и констант, а также реальных отношений физического мира и хотя бы простейших вычислений. Всё это лежит за пределами возможностей даже таких мощных моделей как BERT или GPT-3. Многие специалисты полагали, что языковым моделям математика в принципе недоступна, или же потребует существенных изменений в их архитектуре, например, внедрения отдельных модулей для вычислений.
🧖🏼♀️ Однако на днях Google Research представили новый алгоритм Minerva (
Минерва — римский вариант богини мудрости Афины). В его основе лежит языковая модель PaLM, в вариантах на 62 и 530 миллиардов параметров. Для понимания «языка» математики её дополнительно обучали на специально составленном датасете из 118 Гб академических статей, в которых используется математическая нотация в популярных форматах LaTeX, MathJax и др.📄 Дело в том, что в отличие от обычного текста, для математического крайне важно форматирование (в частности, взаимное расположение знаков и чисел), которое обычно стирается при подготовке данных для обучения. Создатели же Minerva, наоборот, максимально старались сохранить его.
Кроме того, для выбора правильного решения в модели используется новый метод «самосогласованности» (Self-consistency method). Он включает три шага:
1️⃣ В качестве затравки (prompt) используется цепочка размышлений. Например, вопрос:
«Три машины стояли на стоянке. Две приехали. Стало ли их больше?». И рассуждение-ответ: «Так как три машины было и две добавилось, значит 3 + 2 = 5. Следовательно, машин стало больше».2️⃣ В ответ на затравку модель генерирует множество альтернативных цепочек рассуждений. Среди них могут быть как имеющие «неправильные» ответы (4 или 6). Так и «правильный» — 5.
3️⃣ В конце включается специальный механизм «большинства голосов». Обычно языковые модели генерируют набор ответов на запрос и выбирают тот, который считают наиболее вероятным. Однако Minerva действует чуть иначе — она отбирает цепочку рассуждений с ответом, который появлялся чаще других.
🧾 Дообученная модель испытывалась на нескольких специализированных бенчмарках с задачами из области науки, технологий, инженерии и математики (Science, Technology, Engineering, and Mathematics, STEM). Например, бенчмарке MATH, который содержит задания по математике уровня старшей школы. С ними Minerva успешно справлялась в 50% случаев, тогда как прежние SOTA-модели оставались в пределах нескольких процентов.
Почитать подробнее: препринт в arXiv.
Пограться: демо на GitHub.
#Машинное_обучение, #Обработка_естественного_языка, #Образование
minerva-demo.github.io
Minerva sample explorer
Explore samples from a large language model trained on technical content
👍25🔥4❤1🤔1🎉1🤮1
«Всё взять и поделить!»
Искусственный интеллект нашёл наиболее справедливый вариант распределения доходов. Понравилось даже людям.
💰 Одна из ключевых проблем человеческого общества — справедливое распределение ресурсов. Различные идеологии предлагают разные решения. Либертарианство подразумевает, что прибыль всегда пропорциональна вложениям. Иными словами, чем больше твой вклад в капитал, тем выше дивиденды. Однако такой подход даёт серьёзное преимущество тем, кто уже обладает большими средствами.
💵 Эгалитарное распределение — в крайних вариантах, всем поровну — чревато потерей стимулов к экономической активности и часто приводит к «трагедии общин», когда каждый готов извлекать максимальную прибыль из общих ресурсов, но не нести связанные с ними издержки. Есть ли третий путь? И могут ли машины быть более экономически справедливы, чем люди?
💶 Компания DeepMind совместно с британскими учёными разработала экономический симулятор. На первом этапе в него играли только люди. Четверо участников получали разное количество денег. Они могли сохранить их у себя или вложить в общий фонд, который периодически выплачивает проценты по этим инвестициям.
💷 Доход фонда распределялся между игроками, в зависимости от выбранной стратегии. При «эгалитарном» распределении все получали поровну. При «либертарианском» — пропорционально сделанным вкладам. А при третьем варианте — смешанном или «либерально-эгалитарном» — в зависимости от того, какую долю собственного капитала вложил каждый игрок. (
💴 Учёные провели множество сеансов этой игры с 5000 добровольцами на различных краудсорсинговых платформах. Условия варьировались: разная степень неравенства в первоначальном распределении средств между игроками с различными вариантами дележа процентов от общего фонда. По итогам всех игр участники голосовали, какой вариант они считают наиболее справедливым, имитируя демократический процесс.
🤖 Полученные результаты использовались для обучения аналогичной игре интеллектуальных программных агентов, которые затем провели тысячи виртуальных матчей друг с другом. При этом за их игрой всё время наблюдал ещё один алгоритм искусственного интеллекта. Он регулярно менял условия в зависимости от голосования агентов и оценок справедливости итогового распределения денежных средств.
💸 В итоге система пришла к распределению, близкому к смешанному, «либерально-эгалитарному» варианту. Агенты получали доход в зависимости от доли собственного капитала, вложенной в общий фонд, однако лишь в том случае, если она составляла не менее половины от всех их средств.
🏝 Далее учёные вновь провели серию игр с людьми. Выяснилось, что живые игроки также чаще голосовали за такой же вариант распределения, считая его наиболее справедливым. Судя по всему, установление минимальной планки вложений не позволяет самым богатым игрокам, потратив совсем небольшую долю своих средств, «перебить» вложения бедных, инвестировавших куда большую часть своего капитала. А приравнивание дивидендов к доле капитала — в итоге сбалансировать распределение средств и сделать всех богатыми в равной степени.
Почитать подробнее: научная статья в Nature Human Behavior
#Цифровизация_и_общество, #Интеллектуальные_агенты, #Теория_игр
Искусственный интеллект нашёл наиболее справедливый вариант распределения доходов. Понравилось даже людям.
💰 Одна из ключевых проблем человеческого общества — справедливое распределение ресурсов. Различные идеологии предлагают разные решения. Либертарианство подразумевает, что прибыль всегда пропорциональна вложениям. Иными словами, чем больше твой вклад в капитал, тем выше дивиденды. Однако такой подход даёт серьёзное преимущество тем, кто уже обладает большими средствами.
💵 Эгалитарное распределение — в крайних вариантах, всем поровну — чревато потерей стимулов к экономической активности и часто приводит к «трагедии общин», когда каждый готов извлекать максимальную прибыль из общих ресурсов, но не нести связанные с ними издержки. Есть ли третий путь? И могут ли машины быть более экономически справедливы, чем люди?
💶 Компания DeepMind совместно с британскими учёными разработала экономический симулятор. На первом этапе в него играли только люди. Четверо участников получали разное количество денег. Они могли сохранить их у себя или вложить в общий фонд, который периодически выплачивает проценты по этим инвестициям.
💷 Доход фонда распределялся между игроками, в зависимости от выбранной стратегии. При «эгалитарном» распределении все получали поровну. При «либертарианском» — пропорционально сделанным вкладам. А при третьем варианте — смешанном или «либерально-эгалитарном» — в зависимости от того, какую долю собственного капитала вложил каждый игрок. (
Например, при вложении 50% от $1000 и 50% от $10000 дивиденды будут равны).💴 Учёные провели множество сеансов этой игры с 5000 добровольцами на различных краудсорсинговых платформах. Условия варьировались: разная степень неравенства в первоначальном распределении средств между игроками с различными вариантами дележа процентов от общего фонда. По итогам всех игр участники голосовали, какой вариант они считают наиболее справедливым, имитируя демократический процесс.
🤖 Полученные результаты использовались для обучения аналогичной игре интеллектуальных программных агентов, которые затем провели тысячи виртуальных матчей друг с другом. При этом за их игрой всё время наблюдал ещё один алгоритм искусственного интеллекта. Он регулярно менял условия в зависимости от голосования агентов и оценок справедливости итогового распределения денежных средств.
💸 В итоге система пришла к распределению, близкому к смешанному, «либерально-эгалитарному» варианту. Агенты получали доход в зависимости от доли собственного капитала, вложенной в общий фонд, однако лишь в том случае, если она составляла не менее половины от всех их средств.
🏝 Далее учёные вновь провели серию игр с людьми. Выяснилось, что живые игроки также чаще голосовали за такой же вариант распределения, считая его наиболее справедливым. Судя по всему, установление минимальной планки вложений не позволяет самым богатым игрокам, потратив совсем небольшую долю своих средств, «перебить» вложения бедных, инвестировавших куда большую часть своего капитала. А приравнивание дивидендов к доле капитала — в итоге сбалансировать распределение средств и сделать всех богатыми в равной степени.
Почитать подробнее: научная статья в Nature Human Behavior
#Цифровизация_и_общество, #Интеллектуальные_агенты, #Теория_игр
👍40🔥9🤔2