Forwarded from эйай ньюз
Llama2d: 2D Positional Embeddings for Webpage Structural Understanding
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делает в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
Интересный эксперимент — ребята зафайнтюнили LLaMa на понимание структуры web-страниц. Создали датасет, где из скринов веб-страниц с помощью OCR выдрали видимый текст вместе с его 2D координатами и задетектили, какие элементы на странице являются кликабельными. Затем затюнили LLaMa на этих данных, дополнительно добавив 2d эмбеддинги на вход модели.
Говорят, что так модели гораздо проще понимать страницы, и это более эффективно чем кормить пиксели напрямую в модель, как это можно делает в GPT-V.
Этот новый подход может быть полезен, например, для создания агента который сам сможет бегать по страницам и понимать как с ними взаимодействовать.
Пока ещё Work in progress. Но весь код уже выложили на гитхаб. Будем следить за развитием.
@ai_newz
❤17👍1🔥1
Воскресный щитпост.
Лайк, если сегодня узнал, что в средние века европейцы ели мумий (в лечебных целях, конечно же), перепутав их с мумиё из-за ошибки при переводе.
Поскольку мумиё тоже никаких научно подтвержденных полезных свойств не имеет, вангую что и его применяли из-за ошибки при переводе еще более древних мануалов.
Подробнее
@derplearning познавательный!
Лайк, если сегодня узнал, что в средние века европейцы ели мумий (в лечебных целях, конечно же), перепутав их с мумиё из-за ошибки при переводе.
Поскольку мумиё тоже никаких научно подтвержденных полезных свойств не имеет, вангую что и его применяли из-за ошибки при переводе еще более древних мануалов.
Подробнее
@derplearning познавательный!
😁35😱7🔥4👍1
Forwarded from Бэкдор
This media is not supported in your browser
VIEW IN TELEGRAM
Симпсоны снова предсказали будущее. Бегом пересматривать все серии, чтобы узнать, что еще нас ждет!
@whackdoor
@whackdoor
😱24😁12
Forwarded from Denis Sexy IT 🤖
Мы быстро, конечно, в SciFi попали:
За $159.99 теперь каждый может купить готовый набор для нейронного подключения живого таракана к чипу, чтобы, ну, побегать им с телефона
¯\_(ツ)_/¯
Покупать тут:
https://backyardbrains.com/products/roboroach
За $159.99 теперь каждый может купить готовый набор для нейронного подключения живого таракана к чипу, чтобы, ну, побегать им с телефона
¯\_(ツ)_/¯
Покупать тут:
https://backyardbrains.com/products/roboroach
🔥21😱5👍4
Forwarded from Градиент обреченный (Sergei Averkiev)
🔺 Nomic Embed
В открытый доступ выложили encoder модель, которая обходит на MTEB аналогичные модели для получения эмбеддингов (векторных представлений текста), включая Ada-002 от OpenAI. Такие модели можно использовать, например, для семантического поиска или кластеризации ваших данных. Язык у модели английский, но интересно не это.
Помимо весов, авторы решили выложить воспроизводимый пайплайн обучения плюс данные (на картинке можно видеть их структуру), на которых модель обучалась (!). Контекст модели 8k токенов. Все под открытой лицензией Apache-2.
👉 HF | Репорт | Доступ к данным
В открытый доступ выложили encoder модель, которая обходит на MTEB аналогичные модели для получения эмбеддингов (векторных представлений текста), включая Ada-002 от OpenAI. Такие модели можно использовать, например, для семантического поиска или кластеризации ваших данных. Язык у модели английский, но интересно не это.
Помимо весов, авторы решили выложить воспроизводимый пайплайн обучения плюс данные (на картинке можно видеть их структуру), на которых модель обучалась (!). Контекст модели 8k токенов. Все под открытой лицензией Apache-2.
👉 HF | Репорт | Доступ к данным
👍23🔥3
Where men cried
Вертолетик, который смог.
Фото одинокого Ingenuity, сделанное марсоходом Perseverance 4 февраля, через две недели после 72-й и последней миссии маленького, но очень смелого марсианского вертолета.
Сорс
Вертолетик, который смог.
Фото одинокого Ingenuity, сделанное марсоходом Perseverance 4 февраля, через две недели после 72-й и последней миссии маленького, но очень смелого марсианского вертолета.
Сорс
🫡56❤5😁4😢2👍1
Forwarded from Zavtracast (Ярослав Ивус)
Журналисты выяснили, что если вы забыли пароль от Vision Pro, то вам придётся отнести его в Apple Store или отправить по почте, если у вас есть AppleCare.
Причина — у Vision Pro отсутствует порт USB-C, с помощью которого можно было бы самостоятельно подключиться к Mac. Единственное решение проблемы — отдать гарнитуру Apple, чтобы её сотрудники сбросили до заводских настроек устройство.
При этом у Vision Pro есть ремешок, который позволяет подключить гарнитуру к Mac, но он стоит $300 и предназначен для разработчиков.
@zavtracast
Причина — у Vision Pro отсутствует порт USB-C, с помощью которого можно было бы самостоятельно подключиться к Mac. Единственное решение проблемы — отдать гарнитуру Apple, чтобы её сотрудники сбросили до заводских настроек устройство.
При этом у Vision Pro есть ремешок, который позволяет подключить гарнитуру к Mac, но он стоит $300 и предназначен для разработчиков.
@zavtracast
😁47🤣33👍2❤1
Forwarded from black_samorez
Мы с коллегами из Yandex Research сделали новый метод квантизации LLM’ок - AQLM. Он позволяет сжимать модели вплоть до 2 бит на параметр, что открывает тонну возможностей от запуска Llama 2 70b на RTX 3090 до, потенциально, меньших моделей на мобилках. Статья доступна на arXiv, код лежит на GitHub.
Про качество: AQLM бьет по качеству все существующие методы в диапазоне 2-3 бит на параметр: AQLM 2 бита лучше чем QuIP# 2 бита и даже мощнее GPTQ 3 бита.
Про готовые модели: мы выложили готовые квантизованные модели на хаб. Лламы от 7b до 70b и Mixtral в разных конфигурациях. Для быстрого инференса мы написали несколько кернелов на CUDA, Triton и Numba. Они оптимизированы под различные сетапы квантизации, и либо немного уступают, либо заметно превосходят fp16 по скорости генерации.
Про использование: весь продвинутый код инференса завернут в одну либу, и устанавливается просто через
Про метод: мы применяем квантизацию групп соседних весов для эффективного использования их взаимной информации. Более конкретно, мы представляем все блоки весов (размером около 1x8) в матрице суммой некоторого количества векторов из небольшого обучаемого списка (Additive Quantization). Детали и бэкграунд подробно описаны в статье.
Про качество: AQLM бьет по качеству все существующие методы в диапазоне 2-3 бит на параметр: AQLM 2 бита лучше чем QuIP# 2 бита и даже мощнее GPTQ 3 бита.
Про готовые модели: мы выложили готовые квантизованные модели на хаб. Лламы от 7b до 70b и Mixtral в разных конфигурациях. Для быстрого инференса мы написали несколько кернелов на CUDA, Triton и Numba. Они оптимизированы под различные сетапы квантизации, и либо немного уступают, либо заметно превосходят fp16 по скорости генерации.
Про использование: весь продвинутый код инференса завернут в одну либу, и устанавливается просто через
pip install aqlm. После этого можно смело подгружать любые модели с хаба через .from_pretrained(..., trust_remote_code=True), и оптимальные кернелы будут выбираться и компилироваться на ходу за кулисами.Про метод: мы применяем квантизацию групп соседних весов для эффективного использования их взаимной информации. Более конкретно, мы представляем все блоки весов (размером около 1x8) в матрице суммой некоторого количества векторов из небольшого обучаемого списка (Additive Quantization). Детали и бэкграунд подробно описаны в статье.
👍34🔥15🤩4👀2❤1
Forwarded from Denis Sexy IT 🤖
Классная новость из Норвегии: правительство купило 110000 лицензий GPT 3.5-Turbo для школьников и учителей Осло – департамент образования Норвегии «не может делать вид, будто ничего не происходит, учитывая что все учащиеся уже имеют бесплатный доступ к ChatGPT».
Понравилась мысль, что некоторые учителя считают, что появление ChatGPT некорректно сравнивать с появлением «интернета» по масштабу влияния на образовательный процесс – так как многие способы борьбы с плагиатом оставались актуальными даже в эпоху интернета, правильнее сравнивать ChatGPT с появлением первого учебника (по масштабу).
Детей и учителей будут учить правильно и этично применять языковую модель в обучении, и строить образовательный процесс с учетом такой технологий.
Ссылка на оригинал новости на норвежском:
https://www.digi.no/artikler/oslo-kjoper-chat-gpt-til-110-000-elever-og-laerere/543339
Искренне желаю норвежцам успехов в первом шаге к крупной реформе образования на базе LLM-возможностей
Понравилась мысль, что некоторые учителя считают, что появление ChatGPT некорректно сравнивать с появлением «интернета» по масштабу влияния на образовательный процесс – так как многие способы борьбы с плагиатом оставались актуальными даже в эпоху интернета, правильнее сравнивать ChatGPT с появлением первого учебника (по масштабу).
Детей и учителей будут учить правильно и этично применять языковую модель в обучении, и строить образовательный процесс с учетом такой технологий.
Ссылка на оригинал новости на норвежском:
https://www.digi.no/artikler/oslo-kjoper-chat-gpt-til-110-000-elever-og-laerere/543339
Искренне желаю норвежцам успехов в первом шаге к крупной реформе образования на базе LLM-возможностей
🔥47🫡9👍5❤2😁1🎉1