Forwarded from Love. Death. Transformers.
Неожиданно релизнулась llava1.6, теперь картинки до 1344*336, 30В+ модели и перфоманс близкий к gpt4v.
blogpost
Демка llava.hliu.cc
blogpost
Демка llava.hliu.cc
👍17🔥3
Forwarded from Denis Sexy IT 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM
😁41🔥14👍4❤2
Встречаем OLMo - первую по-настоящему опенсорсную языковую модель.
Чюваки из The Allen Institute for AI (AI2) упоролись и выложили:
Код модели, трени, инференса, проверки метрик, датасет, метрики трени в wandb, и веса для нескольких 7б и 1б вариантов @ 1T+ токенов. Причем веса - для каждых 1к шагов обучения, итого овер 500 чекпоинтов.
Перформит она в районе llama2, зато gpu-poor любопытствующие смогут поковырять чекпоинты, разницу в метриках между ними, вот это вот все.
В треде доброжелатели пишут, что потенциально это выглядит скорее как пиар-ход, потому что у бедных лаб нет денех на воспроизведение подобных трень, а у богатых и так все свое есть.
Я не соглашусь, потому что тут в соседнем чате Vikhr практически джва человека обучили.
Finally, open open ai. В общем, начало хорошее, а в будущем обещают еще более лучшие модели, так что, как говорится, скрестим пальчики и будем с интересом наблюдать.
сайт AI2
github
eval github (Paloma)
dataset (Dolma)
tweet
blog
@derplearning
Чюваки из The Allen Institute for AI (AI2) упоролись и выложили:
Код модели, трени, инференса, проверки метрик, датасет, метрики трени в wandb, и веса для нескольких 7б и 1б вариантов @ 1T+ токенов. Причем веса - для каждых 1к шагов обучения, итого овер 500 чекпоинтов.
Перформит она в районе llama2, зато gpu-poor любопытствующие смогут поковырять чекпоинты, разницу в метриках между ними, вот это вот все.
В треде доброжелатели пишут, что потенциально это выглядит скорее как пиар-ход, потому что у бедных лаб нет денех на воспроизведение подобных трень, а у богатых и так все свое есть.
Я не соглашусь, потому что тут в соседнем чате Vikhr практически джва человека обучили.
Finally, open open ai. В общем, начало хорошее, а в будущем обещают еще более лучшие модели, так что, как говорится, скрестим пальчики и будем с интересом наблюдать.
сайт AI2
github
eval github (Paloma)
dataset (Dolma)
tweet
blog
@derplearning
allenai.org
Olmo from Ai2
Our fully open language model and complete model flow.
🤩21❤4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
В gradio завезли модалки.
Походу через год-другой можно будет сайты на нем делать.
Имногопоточность очереди из коробки есть!
Надо собрать на нем соцсеть, чтобы при загрузке фоток было "uploading your photo...queue: 1/100500 | 5.1/32000.0s :D
gradio modal
@derplearning
Походу через год-другой можно будет сайты на нем делать.
И
Надо собрать на нем соцсеть, чтобы при загрузке фоток было "uploading your photo...queue: 1/100500 | 5.1/32000.0s :D
gradio modal
@derplearning
❤9
Forwarded from LLM под капотом
PatronusAI и HuggingFace опубликовали LLM Enterprise Scenarios Leaderboard
Это закрытый бенчмарк, который оценивает LLM модели на реальных задачах из корпоративного сектора:
- Finance Bench
- Legal Confidentiality
- Writing
- Customer Support
- Toxic Prompts
- Enterprise PII
Это выгодно отличает его от академических бенчмарков для LLM вроде MMLU, ARC и HellaSwag. Последние интересны, но достаточно бесполезны на практике. Так всегда бывает.
Почему бенчмарк закрытый? Чтобы команды не подгоняли свои модели под тесты.
Моделей у них пока не очень много, т.к. это достаточно непростая задача разрабатывать и вести такой бенчмарк. Они будут добавлять туда модели постепенно.
Почитать: Hugging Face Blog post | Leaderboard
А пока ждем - можно еще глянуть на Trustbit LLM Enterprise Leaderboard за январь. Мы ведем этот бенчмарк с июля прошлого года, и моделей там побольше 😉
Ваш, @llm_under_hood 🤗
PS: Спасибо Айгизу за наводку.
Это закрытый бенчмарк, который оценивает LLM модели на реальных задачах из корпоративного сектора:
- Finance Bench
- Legal Confidentiality
- Writing
- Customer Support
- Toxic Prompts
- Enterprise PII
Это выгодно отличает его от академических бенчмарков для LLM вроде MMLU, ARC и HellaSwag. Последние интересны, но достаточно бесполезны на практике. Так всегда бывает.
Почему бенчмарк закрытый? Чтобы команды не подгоняли свои модели под тесты.
Моделей у них пока не очень много, т.к. это достаточно непростая задача разрабатывать и вести такой бенчмарк. Они будут добавлять туда модели постепенно.
Почитать: Hugging Face Blog post | Leaderboard
А пока ждем - можно еще глянуть на Trustbit LLM Enterprise Leaderboard за январь. Мы ведем этот бенчмарк с июля прошлого года, и моделей там побольше 😉
Ваш, @llm_under_hood 🤗
PS: Спасибо Айгизу за наводку.
👍9
Forwarded from что-то на DL-ском
С днем выложенного кода к проектам!🥵
Заметила, что буквально 3 дня назад релизнули код обучения LLaVA-1.6. Напомню, что это недавно вышедший апгрейд LLaVA-1.5
Новая модель на некоторых бенчмарках показывает себя лучше GPT-4V от OpenAI и опережает все открытые VLM модели
Напомню в чем апгрейд над старой версией:
1. Более высокое разрешение изображений, что помогает учитывать больше деталей на изображении и меньше галлюциногировать
2. Улучшили данные для визуального инструкт обучения, что очевидно повысило качество
3. Расширили размер LLM, что позволило улучшить представления о мире (в том числе добрались до Mistral)
LLaVA представлена в 3 размерах (7B, 16B, 34B)
🖥 Репа, куда зарелизили код для новой модели тоже. Там внутри в README и блогпост
Заметила, что буквально 3 дня назад релизнули код обучения LLaVA-1.6. Напомню, что это недавно вышедший апгрейд LLaVA-1.5
Новая модель на некоторых бенчмарках показывает себя лучше GPT-4V от OpenAI и опережает все открытые VLM модели
Напомню в чем апгрейд над старой версией:
1. Более высокое разрешение изображений, что помогает учитывать больше деталей на изображении и меньше галлюциногировать
2. Улучшили данные для визуального инструкт обучения, что очевидно повысило качество
3. Расширили размер LLM, что позволило улучшить представления о мире (в том числе добрались до Mistral)
LLaVA представлена в 3 размерах (7B, 16B, 34B)
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Forwarded from Старший Авгур
Про локальные языковые модели для относительно неподготовленной аудитории:
Видео: https://youtu.be/KXBRGkZTX1U?si=CyVKSUavsSnZfffR&t=241
Презентация: http://tinyurl.com/gusevlocal
Подкаст: https://mlpodcast.mave.digital/ep-55
Про древнюю генерацию стихов:
Видео: https://www.youtube.com/watch?v=wTN-qKPu4c0
Статья на Хабре: https://habr.com/ru/articles/334046/
Про Сайгу:
Видео: https://www.youtube.com/watch?v=YqKCk8_dNpQ
Презентация: http://tinyurl.com/gusevsaiga
Статья на Хабре: https://habr.com/ru/articles/759386/
Про не-трансформерные модели:
Видео: https://www.youtube.com/watch?v=C65JbhTi-O4
Презентация: https://tinyurl.com/gusevlrnn
Видео: https://youtu.be/KXBRGkZTX1U?si=CyVKSUavsSnZfffR&t=241
Презентация: http://tinyurl.com/gusevlocal
Подкаст: https://mlpodcast.mave.digital/ep-55
Про древнюю генерацию стихов:
Видео: https://www.youtube.com/watch?v=wTN-qKPu4c0
Статья на Хабре: https://habr.com/ru/articles/334046/
Про Сайгу:
Видео: https://www.youtube.com/watch?v=YqKCk8_dNpQ
Презентация: http://tinyurl.com/gusevsaiga
Статья на Хабре: https://habr.com/ru/articles/759386/
Про не-трансформерные модели:
Видео: https://www.youtube.com/watch?v=C65JbhTi-O4
Презентация: https://tinyurl.com/gusevlrnn
❤11🔥3👍1
Forwarded from эйай ньюз
Llama2d: 2D Positional Embeddings for Webpage Structural Understanding
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делает в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делает в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
❤17👍1🔥1
Воскресный щитпост.
Лайк, если сегодня узнал, что в средние века европейцы ели мумий (в лечебных целях, конечно же), перепутав их с мумиё из-за ошибки при переводе.
Поскольку мумиё тоже никаких научно подтвержденных полезных свойств не имеет, вангую что и его применяли из-за ошибки при переводе еще более древних мануалов.
Подробнее
@derplearning познавательный!
Лайк, если сегодня узнал, что в средние века европейцы ели мумий (в лечебных целях, конечно же), перепутав их с мумиё из-за ошибки при переводе.
Поскольку мумиё тоже никаких научно подтвержденных полезных свойств не имеет, вангую что и его применяли из-за ошибки при переводе еще более древних мануалов.
Подробнее
@derplearning познавательный!
😁35😱7🔥4👍1
Forwarded from Бэкдор
This media is not supported in your browser
VIEW IN TELEGRAM
Симпсоны снова предсказали будущее. Бегом пересматривать все серии, чтобы узнать, что еще нас ждет!
@whackdoor
@whackdoor
😱24😁12
Forwarded from Denis Sexy IT 🤖
Мы быстро, конечно, в SciFi попали:
За $159.99 теперь каждый может купить готовый набор для нейронного подключения живого таракана к чипу, чтобы, ну, побегать им с телефона
¯\_(ツ)_/¯
Покупать тут:
https://backyardbrains.com/products/roboroach
За $159.99 теперь каждый может купить готовый набор для нейронного подключения живого таракана к чипу, чтобы, ну, побегать им с телефона
¯\_(ツ)_/¯
Покупать тут:
https://backyardbrains.com/products/roboroach
🔥21😱5👍4
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Nomic Embed
В открытый доступ выложили encoder модель, которая обходит на MTEB аналогичные модели для получения эмбеддингов (векторных представлений текста), включая Ada-002 от OpenAI. Такие модели можно использовать, например, для семантического поиска или кластеризации ваших данных. Язык у модели английский, но интересно не это.
Помимо весов, авторы решили выложить воспроизводимый пайплайн обучения плюс данные (на картинке можно видеть их структуру), на которых модель обучалась (!). Контекст модели 8k токенов. Все под открытой лицензией Apache-2.
👉 HF | Репорт | Доступ к данным
В открытый доступ выложили encoder модель, которая обходит на MTEB аналогичные модели для получения эмбеддингов (векторных представлений текста), включая Ada-002 от OpenAI. Такие модели можно использовать, например, для семантического поиска или кластеризации ваших данных. Язык у модели английский, но интересно не это.
Помимо весов, авторы решили выложить воспроизводимый пайплайн обучения плюс данные (на картинке можно видеть их структуру), на которых модель обучалась (!). Контекст модели 8k токенов. Все под открытой лицензией Apache-2.
👉 HF | Репорт | Доступ к данным
👍23🔥3
Where men cried
Вертолетик, который смог.
Фото одинокого Ingenuity, сделанное марсоходом Perseverance 4 февраля, через две недели после 72-й и последней миссии маленького, но очень смелого марсианского вертолета.
Сорс
Вертолетик, который смог.
Фото одинокого Ingenuity, сделанное марсоходом Perseverance 4 февраля, через две недели после 72-й и последней миссии маленького, но очень смелого марсианского вертолета.
Сорс
🫡56❤5😁4😢2👍1
Forwarded from Zavtracast (Ярослав Ивус)
Журналисты выяснили, что если вы забыли пароль от Vision Pro, то вам придётся отнести его в Apple Store или отправить по почте, если у вас есть AppleCare.
Причина — у Vision Pro отсутствует порт USB-C, с помощью которого можно было бы самостоятельно подключиться к Mac. Единственное решение проблемы — отдать гарнитуру Apple, чтобы её сотрудники сбросили до заводских настроек устройство.
При этом у Vision Pro есть ремешок, который позволяет подключить гарнитуру к Mac, но он стоит $300 и предназначен для разработчиков.
@zavtracast
Причина — у Vision Pro отсутствует порт USB-C, с помощью которого можно было бы самостоятельно подключиться к Mac. Единственное решение проблемы — отдать гарнитуру Apple, чтобы её сотрудники сбросили до заводских настроек устройство.
При этом у Vision Pro есть ремешок, который позволяет подключить гарнитуру к Mac, но он стоит $300 и предназначен для разработчиков.
@zavtracast
😁47🤣33👍2❤1