🦙 LLaMa не стоит на месте

Есть уже куча примеров какие чудеса кулибины вытворяют с моделькой LLaMa. А вчера чел соорудил подобие Джарвиса, или Алексы, если хотите, прямо у себя в терминале на MacBook M1 Pro.

Причем все работает реалиайм на связке Whisper + LLaMa.

Под капотом: ggml / whisper.cpp / llama.cpp / Core ML
STT: Whisper Small
LLM: 13B LLaMA

Другой Кулибин начал прикручивать плагины от ChatGPT к опенсоурсной LLaMa. Уже работает text-retrieval плагин, и есть код.

@ai_newz

LLM продолжают упрощаться в обучении и становятся всё ближе к пользователям:

Платформа Databricks, специализирующаяся на обработке больших данных и искусственном интеллекте, выпустила открытую версию модели большого языкового обучения (LLM) под названием Dolly. Модель названа в честь клонированной овечки Долли🐑 Эта языковая модель предназначена для создания чат-ботов, которые выполняют инструкции, аналогично модели ChatGPT от OpenAI.

Databricks сообщает, что для обучения Dolly требуется совсем немного данных и времени. Модель имеет 6 млрд параметров, в то время как GPT-3 имеет 175 млрд параметров, однако Databricks утверждает, что Dolly обладает качествами, схожими с ChatGPT.

Преимущества создания собственных LLM моделей включают контроль над чувствительными данными, качеством модели, стоимостью и желаемым поведением. Вдохновленные успешностью моделей LLaMA и Alpaca, разработчики из Databricks модифицировали существующую открытую модель с 6 млрд параметров от EleutherAI, добавив возможность следовать инструкциям, такие как создание идей и генерация текста.

По мнению генерального директора Databricks Али Годси, в будущем больше компаний смогут использовать модели LLM, и их стоимость будет снижаться. В каждой отрасли лидирующие компании будут использовать такие технологии и модели для своих нужд.

А вот репозиторий модельки, вдруг кому-то захочется поиграться🤓 - https://github.com/databrickslabs/dolly?ref=producthunt

​​Sherloq

Sherloq — набор инструментов для судебной криминалистической экспертизы цифровых изображений с открытым исходным кодом.

Он задуман не как автоматический инструмент, решающий, подделано изображение или нет (этот инструмент, вероятно, никогда не будет существовать...), а как помощник в экспериментах с различными алгоритмами, найденными в последних научных статьях и семинарах по данной теме.

https://github.com/GuidoBartoli/sherloq

SingularGPT

SingularGPT — это проект с открытым исходным кодом, целью которого является автоматизация сложных задач и устройств, с использованием новейших популярных моделей ChatGPT и GPT-4.

Если коротко это кликер на максималках.

▫️Запрос: Эй, пожалуйста, нажмите на элемент с текстом «Document Writer», после этого нажмите на изображение с путем «image.png», после этого прокрутите вниз, а затем найдите элемент, который находится над текстом «Файл», дважды щелкните его левой кнопкой мыши.

🔻SingularGPT обработает его и выполнит задачу.

Экспериментальная шенберговская система записи двенадцатитоновой музыки.

Composition with Twelve Tones. Schönberg’s Reorganization of Music
From the exhibition | Object 28
Arnold Schönberg: Suite, op. 29. Twelve-Tone Notation. 1924
With atonality and the twelve-tone method, the accidentals used in traditional notation as signposts to tonality became de facto obsolete – where there is no tonic keynote, accidentals such as # and ♭ do not have to give direction to the course of the melody. In January 1925, Schönberg published his ideas for a simplified twelve-tone notation in the music journal Anbruch. The musical staff is reduced to three lines and short diagonal lines assume the function of accidentals. For the Suite, op. 29, he worked out a ruler that combines the basic form with various derivations. As with languages and their codification in different systems of characters, it should eventually become common “to master two different musical notations equally well.“

Тут очередное крутое применение GPT технологии придумали✨

Разработчики создали инструмент под названием OP Vault, который объединяет возможности OpenAI и базы векторов Pinecone в рамках OP Stack. С его помощью пользователи могут создавать собственные базы знаний, загружая разнообразные файлы с информацией (PDF, txt и т.д.) и задавая вопросы о содержимом этих файлов. Векторные базы данных Pinecone и OP Stack объединяются для создания уникального инструмента. На простом языке, OP Stack - это комбинация двух технологий: OpenAI, которая обеспечивает искусственный интеллект для работы с естественным языком, и Pinecone, векторная база данных, которая хранит и обрабатывает многомерные векторы.

Когда мы загружаем текстовые документы в OP Vault, OpenAI используется для преобразования текста в векторы. Векторы - это числовые представления данных, которые упрощают обработку и поиск информации. Затем эти векторы сохраняются в базе данных Pinecone.

Когда пользователи задают вопросы, OP Stack сначала преобразует вопрос в вектор с помощью OpenAI, а затем ищет соответствующие векторы (ответы) в базе данных Pinecone. Таким образом, OP Stack эффективно сочетает возможности OpenAI и Pinecone для создания мощного инструмента работы с данными.

Основные преимущества OP Vault:

Простая загрузка документов разных типов для формирования индивидуальной базы знаний.

Получение точных и актуальных ответов на вопросы, основанных на загруженных документах.

Отображение имени файла и конкретного контекста, на основе которого сформирован ответ.

Удобный интерфейс на основе React для работы с инструментом.

Возможность загружать огромное количество книг и документов в базу знаний.

Чтобы начать работу с OP Vault, нужно настроить API-ключи и конечные точки в папке "secret", установить зависимости для JavaScript, запустить веб-сервер на языке Golang и webpack для компиляции кода. Интерфейс инструмента предоставляет возможность загружать файлы и задавать вопросы на основе загруженного контента, используя функции UploadHandler и QuestionHandler (см инструкцию)

В общем, OP Vault станет отличным помощником для извлечения знаний и получения ответов на вопросы, основанных на вашей собственной коллекции документов🤓👌

Конкуренция прекрасна✨

Сегодня Google обновил свой сервис Bard, добавив возможность помочь пользователям в задачах программирования и разработки ПО. Теперь Bard умеет генерировать код, отлаживать его и объяснять его суть.

Эта функция стала доступна для более чем 20 языков программирования, включая C++, Go, Java, Javanoscript, Python и Typenoscript. Также теперь можно легко экспортировать код Python в Google Colab и писать функции для Google Sheets.

Bard поможет не только с генерацией кода, но и с объяснением его работы, что может быть полезно для новичков в программировании или тем, кому нужна дополнительная поддержка для понимания кода.

Сервис также предлагает помощь в отладке кода, даже если код был написан самим Bard. Если возникают ошибки или код не работает должным образом, Bard поможет исправить проблему.

В общем, надо тестить🤓

https://blog.google/technology/ai/code-with-bard/

​Hachi – локальное веб-приложение, обеспечивающее поиск на естественном языке для всех ваших видео и изображений

Простой и понятный интерфейс: индексируйте любые носители, просто указав путь к локальному каталогу/папке и начав запрашивать.
Минимальные требования:
любой ЦП потребительского класса с включенными инструкциями AVX2 и минимальными программными зависимостями

⤷ Ссылка на проект

GitHub | #Interesting #Web