Anil Seth on machine consciousness, difference between consciousness and intelligence, another petition, and a new set of risks. Worth reading.
"There are two main reasons why creating artificial consciousness, whether deliberately or inadvertently, is a very bad idea. The first is that it may endow AI systems with new powers and capabilities that could wreak havoc if not properly designed and regulated. Ensuring that AI systems act in ways compatible with well-specified human values is hard enough as things are. With conscious AI, it gets a lot more challenging, since these systems will have their own interests rather than just the interests humans give them.
The second reason is even more disquieting: The dawn of conscious machines will introduce vast new potential for suffering in the world, suffering we might not even be able to recognize, and which might flicker into existence in innumerable server farms at the click of a mouse. As the German philosopher Thomas Metzinger has noted, this would precipitate an unprecedented moral and ethical crisis because once something is conscious, we have a responsibility toward its welfare, especially if we created it. The problem wasn’t that Frankenstein’s creature came to life; it was that it was conscious and could feel."
https://nautil.us/why-conscious-ai-is-a-bad-bad-idea-302937/
"There are two main reasons why creating artificial consciousness, whether deliberately or inadvertently, is a very bad idea. The first is that it may endow AI systems with new powers and capabilities that could wreak havoc if not properly designed and regulated. Ensuring that AI systems act in ways compatible with well-specified human values is hard enough as things are. With conscious AI, it gets a lot more challenging, since these systems will have their own interests rather than just the interests humans give them.
The second reason is even more disquieting: The dawn of conscious machines will introduce vast new potential for suffering in the world, suffering we might not even be able to recognize, and which might flicker into existence in innumerable server farms at the click of a mouse. As the German philosopher Thomas Metzinger has noted, this would precipitate an unprecedented moral and ethical crisis because once something is conscious, we have a responsibility toward its welfare, especially if we created it. The problem wasn’t that Frankenstein’s creature came to life; it was that it was conscious and could feel."
https://nautil.us/why-conscious-ai-is-a-bad-bad-idea-302937/
Nautilus
Why Conscious AI Is a Bad, Bad Idea
Our minds haven’t evolved to deal with machines we believe have consciousness.
🤯7❤5🔥3👍1🤔1🤡1
Пересекается с сегодняшним кейноутом на Google I/O, но тоже интересно:
https://hai.stanford.edu/events/yoav-shoham-understanding-understanding
The question of whether machines can really understand is as old as computing. Lovelace and Searle thought not. Turing thought yes. (Ok that’s not totally accurate, but let’s not ruin a good story.) With the advent of LLMs the question has resurfaced in force, again with some strong skeptics such as Bender et al. I’ll share my views, based mostly on our work at AI21 Labs. Spoilers: (1) I’m with Turing, I think yes. (2) LLMs, as currently built, are necessary but not sufficient. (3) The question is more interesting than the answer.
https://hai.stanford.edu/events/yoav-shoham-understanding-understanding
The question of whether machines can really understand is as old as computing. Lovelace and Searle thought not. Turing thought yes. (Ok that’s not totally accurate, but let’s not ruin a good story.) With the advent of LLMs the question has resurfaced in force, again with some strong skeptics such as Bender et al. I’ll share my views, based mostly on our work at AI21 Labs. Spoilers: (1) I’m with Turing, I think yes. (2) LLMs, as currently built, are necessary but not sufficient. (3) The question is more interesting than the answer.
hai.stanford.edu
Yoav Shoham | Understanding Understanding | Stanford HAI
👍5❤1
[Google] PaLM 2 Technical Report
Авторов много, но я традиционно передаю Диме привет :)
Статья: https://ai.google/static/documents/palm2techreport.pdf
Пост в блоге: https://blog.google/technology/ai/google-palm-2-ai-large-language-model/
Вчера на Google I/O компания анонсировала свою новую модель PaLM 2. Это наследник модели PaLM с 540B параметров 2022 года (https://arxiv.org/abs/2204.02311), более вычислительно эффективный, меньший по размеру, но более качественный, а также мультиязычный с поддержкой более 100 языков, с хорошими способностями генерации кода и улучшенными способностями к reasoning’у.
Работа опубликована в формате похожем на GPT-4 (https://news.1rj.ru/str/gonzo_ML/1383), технический отчёт без технических деталей.
Что при этом можно сказать про модель?
Это трансформер, скорее всего только декодер, как и PaLM.
В работе снова фокус на скейлинге, авторы незавиcимо подтвердили наблюдения из работы про Шиншиллу (https://news.1rj.ru/str/gonzo_ML/1216), что с ростом вычислительного бюджета данные надо скейлить в той же пропорции, что и саму модель. И получили оценки оптимального размера модели под бюджет очень близкие к той работе. При этом на downstream задачах более крупная модель всё равно может быть лучше, чем оптимальная по лоссу предобучения.
Текстовый корпус для предобучения модели существенно больше, чем был у PaLM. При этом доля не-английского в нём увеличилась. Кроме монолингвальных неанглийских текстов, в обучение также добавили параллельные данные по сотням языков в паре с английским. Благодаря этому модель сходу может и переводить, как могут переводить и ChatGPT (https://news.1rj.ru/str/gonzo_ML/1405) с GPT-4 (https://news.1rj.ru/str/gonzo_ML/1413). Скоро померяем и для PaLM 2 (как только текущая модель в preview скорректирует свою паранойю про несоответствие запросов полиси). Но заявлено, что она уже лучше текущего Google Translate.
В целом для задач работы с языками модель выглядит очень интересно, и по пока не подкреплённому реальным опытом ощущению это должно быть лучше GPT-4 в реальных задачах, где нужен не только английский.
Модель была обучена на контекстах значительно большей длины, чем PaLM (там было 2048 токенов). В обучении используется смесь разных objectives аналогичная UL2 (https://news.1rj.ru/str/gonzo_ML/1113). Вероятно есть и какие-то архитектурные улучшения.
Проверялись на трёх вариантах размера модели: Small (S), Medium (M), и Large (L). Самая большая из них значительно меньше по размеру, чем 540B PaLM, но требует вычислений больше. В API при этом будет вынесено 4 разных модели: Gecko, Otter, Bison, Unicorn (самая большая). Gecko заявлено что будет влезать на мобильные устройства и работать там достаточно быстро в локальном режиме оффлайн. Предположу, что Gecko меньше Small. По умолчанию все результаты репортятся для модели Large. При этом ещё и делают усреднение по последним пяти чекпойнтам модели.
Продолжая традицию измерения качества моделей не на специальных датасетах, а на человеческих экзаменах, модель успешно проходит множество экзаменов на разных языках (за вычетом разговорной части), например, у неё проходной балл на Goethe-Zertifikat C2, “proving high-level German language ability”.
Хорошее улучшение относительно PaLM на английских задачах QA и классификации в 1-shot. Заметное улучшение на неанглийских.
Новые SoTA на reasoning, включая заметно побитый результат GPT-4. Есть также версия модели Flan-PaLM 2, зафайнтюненная на инструкциях. Она, например, лучше обычной PaLM 2 в математических задачах.
Для работы с кодом взяли PaLM 2-S (для интерактивности нужна быстрая небольшая модель) и продолжили обучение на специальном мультиязычном датасете, где много кода. Она обошла намного более тяжёлую и медленную PaLM-540B-Coder.
Генерацию оценивать сложно, но там модель тоже, похоже, хороша. Намного лучше PaLM.
Исследовали запоминание данных моделью, оно ниже, чем у PaLM, особенно если не было много повторов в исходных данных.
Отдельная большая часть работы про токсичность и Responsible AI.
Авторов много, но я традиционно передаю Диме привет :)
Статья: https://ai.google/static/documents/palm2techreport.pdf
Пост в блоге: https://blog.google/technology/ai/google-palm-2-ai-large-language-model/
Вчера на Google I/O компания анонсировала свою новую модель PaLM 2. Это наследник модели PaLM с 540B параметров 2022 года (https://arxiv.org/abs/2204.02311), более вычислительно эффективный, меньший по размеру, но более качественный, а также мультиязычный с поддержкой более 100 языков, с хорошими способностями генерации кода и улучшенными способностями к reasoning’у.
Работа опубликована в формате похожем на GPT-4 (https://news.1rj.ru/str/gonzo_ML/1383), технический отчёт без технических деталей.
Что при этом можно сказать про модель?
Это трансформер, скорее всего только декодер, как и PaLM.
В работе снова фокус на скейлинге, авторы незавиcимо подтвердили наблюдения из работы про Шиншиллу (https://news.1rj.ru/str/gonzo_ML/1216), что с ростом вычислительного бюджета данные надо скейлить в той же пропорции, что и саму модель. И получили оценки оптимального размера модели под бюджет очень близкие к той работе. При этом на downstream задачах более крупная модель всё равно может быть лучше, чем оптимальная по лоссу предобучения.
Текстовый корпус для предобучения модели существенно больше, чем был у PaLM. При этом доля не-английского в нём увеличилась. Кроме монолингвальных неанглийских текстов, в обучение также добавили параллельные данные по сотням языков в паре с английским. Благодаря этому модель сходу может и переводить, как могут переводить и ChatGPT (https://news.1rj.ru/str/gonzo_ML/1405) с GPT-4 (https://news.1rj.ru/str/gonzo_ML/1413). Скоро померяем и для PaLM 2 (как только текущая модель в preview скорректирует свою паранойю про несоответствие запросов полиси). Но заявлено, что она уже лучше текущего Google Translate.
В целом для задач работы с языками модель выглядит очень интересно, и по пока не подкреплённому реальным опытом ощущению это должно быть лучше GPT-4 в реальных задачах, где нужен не только английский.
Модель была обучена на контекстах значительно большей длины, чем PaLM (там было 2048 токенов). В обучении используется смесь разных objectives аналогичная UL2 (https://news.1rj.ru/str/gonzo_ML/1113). Вероятно есть и какие-то архитектурные улучшения.
Проверялись на трёх вариантах размера модели: Small (S), Medium (M), и Large (L). Самая большая из них значительно меньше по размеру, чем 540B PaLM, но требует вычислений больше. В API при этом будет вынесено 4 разных модели: Gecko, Otter, Bison, Unicorn (самая большая). Gecko заявлено что будет влезать на мобильные устройства и работать там достаточно быстро в локальном режиме оффлайн. Предположу, что Gecko меньше Small. По умолчанию все результаты репортятся для модели Large. При этом ещё и делают усреднение по последним пяти чекпойнтам модели.
Продолжая традицию измерения качества моделей не на специальных датасетах, а на человеческих экзаменах, модель успешно проходит множество экзаменов на разных языках (за вычетом разговорной части), например, у неё проходной балл на Goethe-Zertifikat C2, “proving high-level German language ability”.
Хорошее улучшение относительно PaLM на английских задачах QA и классификации в 1-shot. Заметное улучшение на неанглийских.
Новые SoTA на reasoning, включая заметно побитый результат GPT-4. Есть также версия модели Flan-PaLM 2, зафайнтюненная на инструкциях. Она, например, лучше обычной PaLM 2 в математических задачах.
Для работы с кодом взяли PaLM 2-S (для интерактивности нужна быстрая небольшая модель) и продолжили обучение на специальном мультиязычном датасете, где много кода. Она обошла намного более тяжёлую и медленную PaLM-540B-Coder.
Генерацию оценивать сложно, но там модель тоже, похоже, хороша. Намного лучше PaLM.
Исследовали запоминание данных моделью, оно ниже, чем у PaLM, особенно если не было много повторов в исходных данных.
Отдельная большая часть работы про токсичность и Responsible AI.
👍18🔥8❤3
В общем, что сказать. Модель интересная, наверняка достойный конкурент GPT-4. И очень может быть, что в кодировании и в не-английских задачах она будет и лучше. А может и в английских тоже. Конкуренция -- это хорошо. Ждём массовых применений в продуктах.
Тем временем, Гугл сделал версию модели для медицины, Med-PaLM 2 (https://cloud.google.com/blog/topics/healthcare-life-sciences/sharing-google-med-palm-2-medical-large-language-model), которая заявлена “the first large language model to perform at “expert” level on U.S. Medical Licensing Exam-style questions”. И добавляют в неё мультимодальность, чтобы модель, например, могла анализировать рентгеновские снимки.
Другое богатое направление -- безопасность. Для него сделали модель Sec-PaLM (https://cloud.google.com/blog/products/identity-security/rsa-google-cloud-security-ai-workbench-generative-ai), которая должна помогать в задачах кибербезопасности.
Умных агентов-помощников будет всё больше. Причём с довольно крутыми скиллами. Гибридные команды становятся реальностью на новом уровне.
И параллельно как и ожидалось (https://news.1rj.ru/str/gonzo_ML/1442) Гугл работает над следующей мультимодальной моделью Gemini, которая обещает быть крута в использовании тулов и в интеграциях с API. Она ещё обучается.
Тем временем, Гугл сделал версию модели для медицины, Med-PaLM 2 (https://cloud.google.com/blog/topics/healthcare-life-sciences/sharing-google-med-palm-2-medical-large-language-model), которая заявлена “the first large language model to perform at “expert” level on U.S. Medical Licensing Exam-style questions”. И добавляют в неё мультимодальность, чтобы модель, например, могла анализировать рентгеновские снимки.
Другое богатое направление -- безопасность. Для него сделали модель Sec-PaLM (https://cloud.google.com/blog/products/identity-security/rsa-google-cloud-security-ai-workbench-generative-ai), которая должна помогать в задачах кибербезопасности.
Умных агентов-помощников будет всё больше. Причём с довольно крутыми скиллами. Гибридные команды становятся реальностью на новом уровне.
И параллельно как и ожидалось (https://news.1rj.ru/str/gonzo_ML/1442) Гугл работает над следующей мультимодальной моделью Gemini, которая обещает быть крута в использовании тулов и в интеграциях с API. Она ещё обучается.
Google Cloud Blog
Sharing Google’s Med-PaLM 2 medical large language model, or LLM | Google Cloud Blog
We’ve invited a select group of Google Cloud customers to test our Med-PaLM 2 LLM to evaluate how it answers complex medical questions.
❤9👍7