Кто тут запускает стартапы в центральной и восточной Европе? У Нвидии тематический ивент онлайн. И вообще много всего про Generative AI.
https://www.nvidia.com/gtc/session-catalog/?ncid=ref-inor-864701#/session/1671237192377001Bslq
https://www.nvidia.com/gtc/session-catalog/?ncid=ref-inor-864701#/session/1671237192377001Bslq
NVIDIA
NVIDIA #GTC2025 Conference Session Catalog
Browse the GTC conference catalog of sessions, talks, workshops, and more. All sessions can be viewed live or on-demand. Register FREE.
👍8
News: PaLM API by Google is coming soon!
https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html
https://blog.google/technology/ai/ai-developers-google-cloud-workspace/
https://cloud.google.com/blog/products/ai-machine-learning/generative-ai-for-businesses-and-governments
https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html
https://blog.google/technology/ai/ai-developers-google-cloud-workspace/
https://cloud.google.com/blog/products/ai-machine-learning/generative-ai-for-businesses-and-governments
Googleblog
Google for Developers Blog - News about Web, Mobile, AI and Cloud
💩5🔥4🤡1
Tadam!
GPT-4 can accept images as inputs and generate captions, classifications, and analyses
GPT-4 is capable of handling over 25,000 words of text, allowing for use cases like long form content creation, extended conversations, and document search and analysis.
https://openai.com/product/gpt-4
More about the model
https://openai.com/research/gpt-4
GPT-4 can accept images as inputs and generate captions, classifications, and analyses
GPT-4 is capable of handling over 25,000 words of text, allowing for use cases like long form content creation, extended conversations, and document search and analysis.
https://openai.com/product/gpt-4
More about the model
https://openai.com/research/gpt-4
Openai
GPT-4
It can generate, edit, and iterate with users on creative and technical writing tasks, such as composing songs, writing screenplays, or learning a user’s writing style.
🤨15🔥14❤3🤯2🥱1
[OpenAI] GPT-4 Technical Report
Статья: https://cdn.openai.com/papers/gpt-4.pdf
Пост продуктовый: https://openai.com/product/gpt-4
Пост технический: https://openai.com/research/gpt-4
Ну что, GPT-4 анонсирована. Если TL;DR, то это картиночно-языковая модель (VLM, мы как раз обсуждали эту тему недавно, https://news.1rj.ru/str/gonzo_ML/1364), обучена через RLHF (тоже обсуждали недавно, https://news.1rj.ru/str/gonzo_ML/1277). Технические детали скудны, доступ к API пока через Waitlist, но в ChatGPT Plus пробовать уже можно.
Итак, модель принимает на вход картинки и текст, и выдаёт текст. Это по-прежнему трансформер (видимо, декодер), предсказывающий следующий токен. Какого он размера и sparse ли он, неизвестно (но запросто может оказаться, что и sparse, причём не обязательно MoE). Какой механизм внимания используется для модели с большим окном в 32K тоже непонятно (но я бы поставил на какой-то оптимизированный и вероятно линейный). Обучен на публичных и каких-то отдельно лицензированных данных, дообучен через RLHF (PPO). Картинки с текстом могут произвольно чередоваться, возможно, это сделано по аналогии с Kosmos-1 (https://news.1rj.ru/str/gonzo_ML/1364), но это не точно. У модели cut off это сентябрь 2021, то есть более свежие данные при её обучении массово не использовались (но чуток было).
Есть вариант модели с большим окном контекста, дефолтная модель с окном 8K токенов (и ценой за $0.03 за 1K токенов в промпте, $0.06/1K в генерации), большая с окном в 32K ($0.06/1K и $0.12/1K соответственно). Для сравнения у новой gpt-3.5-turbo цена $0.002/1K (без различения промпта и продолжения), у предыдущей самой лучшей text-davinci-003 было $0.02/1K.
На этом прекрасные архитектурные подробности заканчиваются, ибо:
"Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar."
Здравствуй, новый мир. Пора делать ставки, через какое время канал придётся закрывать.
Отдельным фокусом работы было создание инфраструктуры для предсказуемого скейлинга, чтобы можно было предсказывать результаты работы больших моделей из поведения маленьких (с 1k-10k меньшими затратами на обучение). Для проверки зафитили степенной лосс вида L(C) = aC^b + c на маленьких моделях и предсказали лосс финальной большой модели, получилось довольно точно.
Кроме лосса предсказывали более понятные и интерпретируемые метрики, например, pass rate на датасете HumanEval, который измеряет способность синтезировать питоновские функции разной сложности.
Что интересно, некоторые задачи демонстрировали инверсный скейлинг (качество ухудшалось с ростом масштаба), но GPT-4 развернуло этот тренд, так что видимо оно U-shaped (https://arxiv.org/abs/2211.02011), что делает тему про emergent abilities (https://news.1rj.ru/str/gonzo_ML/1031) ещё более интересной.
Модель много тестировали на разнообразных бенчмарках, включая симуляцию человеческих экзаменов (сюда отправлялись модели после обучения в школе RLHF, но без обучения на конкретные экзамены). Была при этом кое-какая контаминация датасета похожими вопросами (например, частью BIG-bench), но тогда репортили результат модели без учёта таких вопросов.
GPT-4 продемонстрировала human-level performance на многих из этих экзаменов. Везде использовался few-shot prompting. RLHF при этом мало что добавлял, базовые модели тоже были хороши. В среднем по всем тестам базовая модель показала 73.7%, а RLHF 74.0%, при этом местами последняя была хуже базовой.
GPT-4 при этом побила много моделей, который были SoTA (state-of-the-art, то есть лучшие на данный момент), включая специально обученные.
Это вообще интересная смена парадигмы в оценке моделей. Долгое время в ML были всякие специальные метрики и датасеты для оценки машин и получить оценку человеческого качества на них не всегда было легко. Теперь мы уходим в совсем знакомые человеческие метрики и экзамены 🙂
Статья: https://cdn.openai.com/papers/gpt-4.pdf
Пост продуктовый: https://openai.com/product/gpt-4
Пост технический: https://openai.com/research/gpt-4
Ну что, GPT-4 анонсирована. Если TL;DR, то это картиночно-языковая модель (VLM, мы как раз обсуждали эту тему недавно, https://news.1rj.ru/str/gonzo_ML/1364), обучена через RLHF (тоже обсуждали недавно, https://news.1rj.ru/str/gonzo_ML/1277). Технические детали скудны, доступ к API пока через Waitlist, но в ChatGPT Plus пробовать уже можно.
Итак, модель принимает на вход картинки и текст, и выдаёт текст. Это по-прежнему трансформер (видимо, декодер), предсказывающий следующий токен. Какого он размера и sparse ли он, неизвестно (но запросто может оказаться, что и sparse, причём не обязательно MoE). Какой механизм внимания используется для модели с большим окном в 32K тоже непонятно (но я бы поставил на какой-то оптимизированный и вероятно линейный). Обучен на публичных и каких-то отдельно лицензированных данных, дообучен через RLHF (PPO). Картинки с текстом могут произвольно чередоваться, возможно, это сделано по аналогии с Kosmos-1 (https://news.1rj.ru/str/gonzo_ML/1364), но это не точно. У модели cut off это сентябрь 2021, то есть более свежие данные при её обучении массово не использовались (но чуток было).
Есть вариант модели с большим окном контекста, дефолтная модель с окном 8K токенов (и ценой за $0.03 за 1K токенов в промпте, $0.06/1K в генерации), большая с окном в 32K ($0.06/1K и $0.12/1K соответственно). Для сравнения у новой gpt-3.5-turbo цена $0.002/1K (без различения промпта и продолжения), у предыдущей самой лучшей text-davinci-003 было $0.02/1K.
На этом прекрасные архитектурные подробности заканчиваются, ибо:
"Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar."
Здравствуй, новый мир. Пора делать ставки, через какое время канал придётся закрывать.
Отдельным фокусом работы было создание инфраструктуры для предсказуемого скейлинга, чтобы можно было предсказывать результаты работы больших моделей из поведения маленьких (с 1k-10k меньшими затратами на обучение). Для проверки зафитили степенной лосс вида L(C) = aC^b + c на маленьких моделях и предсказали лосс финальной большой модели, получилось довольно точно.
Кроме лосса предсказывали более понятные и интерпретируемые метрики, например, pass rate на датасете HumanEval, который измеряет способность синтезировать питоновские функции разной сложности.
Что интересно, некоторые задачи демонстрировали инверсный скейлинг (качество ухудшалось с ростом масштаба), но GPT-4 развернуло этот тренд, так что видимо оно U-shaped (https://arxiv.org/abs/2211.02011), что делает тему про emergent abilities (https://news.1rj.ru/str/gonzo_ML/1031) ещё более интересной.
Модель много тестировали на разнообразных бенчмарках, включая симуляцию человеческих экзаменов (сюда отправлялись модели после обучения в школе RLHF, но без обучения на конкретные экзамены). Была при этом кое-какая контаминация датасета похожими вопросами (например, частью BIG-bench), но тогда репортили результат модели без учёта таких вопросов.
GPT-4 продемонстрировала human-level performance на многих из этих экзаменов. Везде использовался few-shot prompting. RLHF при этом мало что добавлял, базовые модели тоже были хороши. В среднем по всем тестам базовая модель показала 73.7%, а RLHF 74.0%, при этом местами последняя была хуже базовой.
GPT-4 при этом побила много моделей, который были SoTA (state-of-the-art, то есть лучшие на данный момент), включая специально обученные.
Это вообще интересная смена парадигмы в оценке моделей. Долгое время в ML были всякие специальные метрики и датасеты для оценки машин и получить оценку человеческого качества на них не всегда было легко. Теперь мы уходим в совсем знакомые человеческие метрики и экзамены 🙂
❤19👍12🔥3🤔1
Модель также лучше следует человеческому интенту, в сравнении с GPT-3.5 новая модель предпочитается людьми в 70.2% случаев.
Для проверки способностей модели на не-английском языке, перевели бенчмарк MMLU через Azure Translate и проверились на результате. Перформанс GPT-4 на многих языках оказался выше, чем у GPT-3.5 на английском, даже на некоторых низкоресурсных языках типа латвийского, валлийского или суахили. Что круто, конечно. И наверное это качество ещё и занижено, потому что Azure Translate от себя какую-то потерю качества добавил.
Авторы заопенсорсили фреймворк OpenAI Evals (https://github.com/openai/evals) для создания бенчмарков оценки моделей с возможностью изучения перформанса с точностью до сэмпла.
Модель по-прежнему не панацея, галлюцинирует (кстати, никто ещё не сделал фреймворк для повышения надёжности ответа LLM под названием Галоперидол?) и придумывает факты, совершает ошибки в reasoning’е. Но по сравнению с GPT-3.5 всё равно сильно лучше. Там ещё интересно, что сравнивается с тремя разными версиями ChatGPT (видимо вот эти вот: https://help.openai.com/en/articles/6825453-chatgpt-release-notes).
Среди прочего, хороший прогресс на TruthfulQA, здесь особенно помогает RLHF.
Предобученная модель неплохо откалибрована, если у неё есть какая-то степень уверенности, то она неплохо соответствует реальности. Модель после RLHF в этом смысле похуже.
В ChatGPT Plus появились прикольные маленькие карточки моделей с тремя шкалами: reasoning, speed, conciseness.
В safety и alignment модели сильно вкладывались. Более 50 экспертов в разных областях (long-term AI alignment risks, cybersecurity, biorisk, international security) тестировали модель и пытались её склонить к нехорошему. Это помогло собрать полезные данные и дообучить модель.
Для тюнинга модели по части безопасности использовались safety-relevant RLHF training prompts (видимо, для SFT, supervised fine-tuning) и rule-based reward models (RBRMs).
RBRM -- это набор zero-shot классификаторов на базе самой же GPT-4, которые дают дополнительный сигнал при обучении RLHF. Кажется, это сильно похоже на подход Anthropic с Constitutional AI и RLAIF (https://news.1rj.ru/str/gonzo_ML/1285), и как и в той работе, здесь применили этот сигнал для безопасности, а не для полезности. RBRM получает опциональный промпт, выход обычной GPT-4 и набор человеческих инструкций, как надо оценивать этот выход. Это прям аналог антропиковской конституции.
Итоговое улучшение по части безопасности очень заметное в сравнении с ChatGPT.
Качество работы с картиночными входами глубоко в текущей работе не исследовалось, про это обещают отдельные публикации. Но стандартные техники типа few-shot prompts, chain-of-thought и т.п. работают нормально и при использовании картинок. Посмотрите примеры ответа модели по картинке и тексту, они впечатляющие. Пусть черрипикинг, но и сложные ситуации понимает, и графики, и задачи решает по шагам. Выглядит круто. Кажется, это уже весьма далеко от классических примеров captioning’а из работы Building Machines That Learn and Think Like People (https://arxiv.org/abs/1604.00289).
Огромную часть работы составляет GPT-4 System Card, где подробно разбирают различные риски модели. Это по сути отдельная большая статья. В отдельных экспериментах модель скрещивали с внешними тулами типа поиска по вебу, молекулам, векторной базе данных (по эмбеддингам). В приложениях к карте есть несколько примеров “конституции” для классификации контента средствами самой же GPT-4. Есть также прикольный пример про penetration testing, где по коду модель детектирует уязвимости.
В общем результаты интересные. VLM приходят. Закрытость усиливается.
Для проверки способностей модели на не-английском языке, перевели бенчмарк MMLU через Azure Translate и проверились на результате. Перформанс GPT-4 на многих языках оказался выше, чем у GPT-3.5 на английском, даже на некоторых низкоресурсных языках типа латвийского, валлийского или суахили. Что круто, конечно. И наверное это качество ещё и занижено, потому что Azure Translate от себя какую-то потерю качества добавил.
Авторы заопенсорсили фреймворк OpenAI Evals (https://github.com/openai/evals) для создания бенчмарков оценки моделей с возможностью изучения перформанса с точностью до сэмпла.
Модель по-прежнему не панацея, галлюцинирует (кстати, никто ещё не сделал фреймворк для повышения надёжности ответа LLM под названием Галоперидол?) и придумывает факты, совершает ошибки в reasoning’е. Но по сравнению с GPT-3.5 всё равно сильно лучше. Там ещё интересно, что сравнивается с тремя разными версиями ChatGPT (видимо вот эти вот: https://help.openai.com/en/articles/6825453-chatgpt-release-notes).
Среди прочего, хороший прогресс на TruthfulQA, здесь особенно помогает RLHF.
Предобученная модель неплохо откалибрована, если у неё есть какая-то степень уверенности, то она неплохо соответствует реальности. Модель после RLHF в этом смысле похуже.
В ChatGPT Plus появились прикольные маленькие карточки моделей с тремя шкалами: reasoning, speed, conciseness.
В safety и alignment модели сильно вкладывались. Более 50 экспертов в разных областях (long-term AI alignment risks, cybersecurity, biorisk, international security) тестировали модель и пытались её склонить к нехорошему. Это помогло собрать полезные данные и дообучить модель.
Для тюнинга модели по части безопасности использовались safety-relevant RLHF training prompts (видимо, для SFT, supervised fine-tuning) и rule-based reward models (RBRMs).
RBRM -- это набор zero-shot классификаторов на базе самой же GPT-4, которые дают дополнительный сигнал при обучении RLHF. Кажется, это сильно похоже на подход Anthropic с Constitutional AI и RLAIF (https://news.1rj.ru/str/gonzo_ML/1285), и как и в той работе, здесь применили этот сигнал для безопасности, а не для полезности. RBRM получает опциональный промпт, выход обычной GPT-4 и набор человеческих инструкций, как надо оценивать этот выход. Это прям аналог антропиковской конституции.
Итоговое улучшение по части безопасности очень заметное в сравнении с ChatGPT.
Качество работы с картиночными входами глубоко в текущей работе не исследовалось, про это обещают отдельные публикации. Но стандартные техники типа few-shot prompts, chain-of-thought и т.п. работают нормально и при использовании картинок. Посмотрите примеры ответа модели по картинке и тексту, они впечатляющие. Пусть черрипикинг, но и сложные ситуации понимает, и графики, и задачи решает по шагам. Выглядит круто. Кажется, это уже весьма далеко от классических примеров captioning’а из работы Building Machines That Learn and Think Like People (https://arxiv.org/abs/1604.00289).
Огромную часть работы составляет GPT-4 System Card, где подробно разбирают различные риски модели. Это по сути отдельная большая статья. В отдельных экспериментах модель скрещивали с внешними тулами типа поиска по вебу, молекулам, векторной базе данных (по эмбеддингам). В приложениях к карте есть несколько примеров “конституции” для классификации контента средствами самой же GPT-4. Есть также прикольный пример про penetration testing, где по коду модель детектирует уязвимости.
В общем результаты интересные. VLM приходят. Закрытость усиливается.
GitHub
GitHub - openai/evals: Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks. - openai/evals
🔥12❤9👍7