Сегодня опенсорснули Mistral Large 123B
Поддерживаются десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, голландский и польский.
LLMка обучена более чем 80 языках программирования, таких как Python, Java, C, C++, Javacsript и Bash. Также есть возможности вызова функций и вывода JSON.
Лицензия Mistral Research: разрешает использование и модификацию в исследовательских и некоммерческих целях.
Контекст: 128 тысяч токенов. Новый стандарт, короче.
🇫🇷 https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
Поддерживаются десятки языков, включая английский, французский, немецкий, испанский, итальянский, китайский, японский, корейский, португальский, голландский и польский.
LLMка обучена более чем 80 языках программирования, таких как Python, Java, C, C++, Javacsript и Bash. Также есть возможности вызова функций и вывода JSON.
Лицензия Mistral Research: разрешает использование и модификацию в исследовательских и некоммерческих целях.
Контекст: 128 тысяч токенов. Новый стандарт, короче.
🇫🇷 https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
huggingface.co
mistralai/Mistral-Large-Instruct-2407 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
❤27👍18👎2🦄2
🏆 LLaMa 3.1 — 405B модель от Меты заняла 3е на арене
Это невероятный успех для опенсорса!
1 место — GPT-4o & GPT-4o-mini
2 место — Claude 3.5 Sonnet
3 место — Gemini-Advanced & LLaMa 3.1
Это невероятный успех для опенсорса!
1 место — GPT-4o & GPT-4o-mini
2 место — Claude 3.5 Sonnet
3 место — Gemini-Advanced & LLaMa 3.1
❤34🔥13😁3👍2🏆2
📋 GPT-4o System Card
OpenAI выложили отчет, который описывает работу по обеспечению безопасности, выполненную перед выпуском GPT-4o, включая внешнюю проверку (red teaming), оценку рисков, а также обзор встроенных мер по снижению рисков в ключевых областях применения.
https://openai.com/index/gpt-4o-system-card/
OpenAI выложили отчет, который описывает работу по обеспечению безопасности, выполненную перед выпуском GPT-4o, включая внешнюю проверку (red teaming), оценку рисков, а также обзор встроенных мер по снижению рисков в ключевых областях применения.
https://openai.com/index/gpt-4o-system-card/
50❤14🔥5🥴3👍1😁1
Forwarded from addmeto (Grigory Bakunov)
Удивительное дело, оказывается у Anthropic выложены в свободный доступ системные промпты от их Claude. Никаких тайных знаний, но оказалось что они довольно обьемные, посмотреть можно тут, я прям минут 20 читал и вчитывался.
подглядел у @cgevent, он нашел первым
подглядел у @cgevent, он нашел первым
Claude Docs
System Prompts
See updates to the core system prompts on [Claude.ai](https://www.claude.ai) and the Claude [iOS](http://anthropic.com/ios) and [Android](http://anthropic.com/android) apps.
❤27👍7
⛓🧠 OpenAI модели с Chain-of-Thought из "коробки" и это прям топ
Есть такая концепция "быстрого и медленного мышления".
Например, когда тебя спрашивают:
— Сколько будет 7 на 8 ?
— Сколько нужно слоев в нейросети для аппроксимация функции с заданной точностью?
— Кто написал "Евгения Онегина"?
При быстром мышлении мы отвечаем сразу, "не думая":
— 56; 2 слоя; Чайковский
При медленном мы задаем себе промежуточный вопросы:
— Умножить или поделить? Прям любой функции? Оперу или роман?
Короче, Chain-of-Thought там очень серьезный, и качество стало значительно выше.
👉 Так что приглашаю всех на блог OpenAI
Есть такая концепция "быстрого и медленного мышления".
Например, когда тебя спрашивают:
— Сколько будет 7 на 8 ?
— Сколько нужно слоев в нейросети для аппроксимация функции с заданной точностью?
— Кто написал "Евгения Онегина"?
При быстром мышлении мы отвечаем сразу, "не думая":
— 56; 2 слоя; Чайковский
При медленном мы задаем себе промежуточный вопросы:
— Умножить или поделить? Прям любой функции? Оперу или роман?
Короче, Chain-of-Thought там очень серьезный, и качество стало значительно выше.
👉 Так что приглашаю всех на блог OpenAI
❤45👍11🔥3🥰1
👾 GPT o1-preview заняла первое место на лидерборде https://lmarena.ai/
Ожидаемо. В той или иной форме, медленное мышление (chain-of-thought) уже было следующим шагом. Так что, скорее всего, новым стандартом станет: preTrain, с последующим SFT + DPO\RLFH + Chain-of-Thought. Скорее всего 2025 станет годом подобных open-source релизов.
Из интересного стоит добавить, что OpenAI обновила и GPT-4o (2024-09-03), которая получила 1335 эло-скора (против предшественницы 2024-08-08 с 1316).
Кстати, ребята добавили Jailbreak models at RedTeam Arena, где можно тестить (через дикий объюз) и сравнивать (борда) безопасность/опасность языковых моделей.
Ожидаемо. В той или иной форме, медленное мышление (chain-of-thought) уже было следующим шагом. Так что, скорее всего, новым стандартом станет: preTrain, с последующим SFT + DPO\RLFH + Chain-of-Thought. Скорее всего 2025 станет годом подобных open-source релизов.
Из интересного стоит добавить, что OpenAI обновила и GPT-4o (2024-09-03), которая получила 1335 эло-скора (против предшественницы 2024-08-08 с 1316).
Кстати, ребята добавили Jailbreak models at RedTeam Arena, где можно тестить (через дикий объюз) и сравнивать (борда) безопасность/опасность языковых моделей.
👍18❤4🔥3🦄1
🔥 NVIDIA выпустила Llama-3.1-Nemotron-51B
Llama-3.1-Nemotron-51B модель нового поколения, которая выводит на новый уровень соотношение точность/эффективность.
Сеть создана с использованием Neural Architecture Search (NAS) и дистилляции от Llama-3.1-70B, эта модель предлагает 2.2x ускорение инференса без значительных потерь в точности.
Подробнее:
📊 Производительность:
▫️Пропускная способность: 6472 токенов/сек, что более чем в два раза быстрее исходной Llama-3.1-70B.
▫️И главное, модель поддерживает выполнение задач на одной NVIDIA H100 GPU, что значительно снижает стоимость и упрощает инференс.
⚙️ Основные инновации:
▫️Архитектура оптимизирована с помощью NAS, что снижает нагрузку на память и вычислительные ресурсы.
▫️Плюс заюзали механизм Block-distillation, позволяющий уменьшить количество блоков без значительных потерь в точности.
📇 Blog NVIDIA
🤗 Веса
💻 Потестить бесплатно можно тут
Llama-3.1-Nemotron-51B модель нового поколения, которая выводит на новый уровень соотношение точность/эффективность.
Сеть создана с использованием Neural Architecture Search (NAS) и дистилляции от Llama-3.1-70B, эта модель предлагает 2.2x ускорение инференса без значительных потерь в точности.
Подробнее:
📊 Производительность:
▫️Пропускная способность: 6472 токенов/сек, что более чем в два раза быстрее исходной Llama-3.1-70B.
▫️И главное, модель поддерживает выполнение задач на одной NVIDIA H100 GPU, что значительно снижает стоимость и упрощает инференс.
⚙️ Основные инновации:
▫️Архитектура оптимизирована с помощью NAS, что снижает нагрузку на память и вычислительные ресурсы.
▫️Плюс заюзали механизм Block-distillation, позволяющий уменьшить количество блоков без значительных потерь в точности.
📇 Blog NVIDIA
🤗 Веса
💻 Потестить бесплатно можно тут
❤31🔥11👍1🤔1
🦙 Релиз Llama 3.2 от Meta
На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:
▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal
Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.
Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)
В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)
Сutoff: Декабрь 2023
P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.
🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace
На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:
▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal
Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.
Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)
В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)
Сutoff: Декабрь 2023
P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.
🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace
👍16❤9🔥4
🎓 Хинтон и Хопфилд получили Нобелевскую премию по физике за создание искусственных нейронных сетей
Нобелевскую премию по физике 2024 года Джону Дж. Хопфилду и Джеффри Э. Хинтону «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».
Нобелевскую премию по физике 2024 года Джону Дж. Хопфилду и Джеффри Э. Хинтону «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».
❤53🤯37🔥12👍5🥴3🍌3😁2🤩1
🎓 Уже вторая Нобелевская премия за AI — на этот раз по химии. Половина премии за предсказание структуры белков» нейросетью Alpha Fold (от DeepMind)
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
Нобелевскую премию по химии 2024 года: одну половину — Дэвиду Бейкеру «за вычислительный дизайн белков», а другую половину — совместно Демису Хассабису и Джону М. Джамперу «за предсказание структуры белков».
❤51👍10🤯3🔥2🏆1
🔥 Сегодня Mistral AI представила новые модели — Ministral 3B и Ministral 8B
Ministral 3B и Ministral 8B, разработанные для on-device вычислений. Эти модели предлагают превосходную производительность в задачах reasoning, commonsense и function-calling, поддерживая контекст до 128k токенов.
⚙️ Ministral 3B разработана для сверхэффективного использования на устройствах с ограниченными ресурсами (e.g.: смартфоны). Ministral 8B предлагает больше возможностей для сложных задач. Обе модели поддерживают до 128k контекста и используют передовые методы pruning и quantization для снижения нагрузки на железо.
Бенчмарки показывают неплохой буст в сравнение с существующими Llama 3.1 / 3.2 и Gemma 2 моделями.
🤖 Ministral 8B: ссылка на модель
Ministral 3B и Ministral 8B, разработанные для on-device вычислений. Эти модели предлагают превосходную производительность в задачах reasoning, commonsense и function-calling, поддерживая контекст до 128k токенов.
⚙️ Ministral 3B разработана для сверхэффективного использования на устройствах с ограниченными ресурсами (e.g.: смартфоны). Ministral 8B предлагает больше возможностей для сложных задач. Обе модели поддерживают до 128k контекста и используют передовые методы pruning и quantization для снижения нагрузки на железо.
Бенчмарки показывают неплохой буст в сравнение с существующими Llama 3.1 / 3.2 и Gemma 2 моделями.
🤖 Ministral 8B: ссылка на модель
👍33❤6🔥2🏆1👾1