Machinelearning – Telegram
383K subscribers
4.45K photos
858 videos
17 files
4.89K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
🔥 В MIT придумали, как в 30 раз ускорить генерацию изображений с помощью ИИ

Исследователи из Массачусетского технологического института (MIT) смогли заметно ускорить создание изображений по текстовым описаниям с помощью генеративного искусственного интеллекта. Новый метод позволяет генерировать изображения высокой чёткости в 30 раз быстрее существующих.

Обычно в генеративных ИИ применяется техника так называемой «диффузии», когда создаётся максимально размытая картинка, а затем она детализируется до окончательного результата, максимально соответствующего тому, что ИИ может выдать в ответ на запрос пользователя. Диффузия занимает довольно много времени, поэтому исследователи MIT поставили цель её ускорить.

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта MIT свели генерацию изображений к единственному проходу, а новый метод назвали «дистилляцией с согласованным распределением» (distribution matching distillation). Очевидно, что генерация картинки в один проход заметно быстрее, чем за типичные для диффузионных моделей 30–50 шагов. Так, на современном оборудовании Stable Diffusion 1.5 создаёт изображение за 1,5 секунды, в то время как новая модель на основе DMD справляется за 0,05 секунды.

Это не первая попытка дистилляции диффузионных моделей для ускорения генерации изображений. В Instaflow и LCM пытались применить похожий подход, но результаты не впечатляли. Компания Stability AI также пыталась ускорить диффузионные модели и добилась некоторых успехов, выпустив Stable Diffusion Turbo, создающую картинку с разрешением до 1 мегапикселя за один проход, однако сгенерированные в несколько проходов изображения всё равно получались заметно лучше.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥36👍177❤‍🔥1🍌1
🔥 OpenAI готовит революцию в голосовом взаимодействии с техникой

Как стало известно, компания OpenAI не только работает над следующей версией фирменной языковой модели GPT, но и готовит к релизу продвинутый голосовой движок Voice Engine. На запуск нового проекта ранее намекал и Сэм Альтман, глава OpenAI.

Предполагается, что голосовой движок от OpenAI перевернёт представление о взаимодействии с техникой, поскольку он будет понимать человеческую речь так же хорошо, как и другой человек. Это позволит объяснять задачу естественным способом и разными словами, а не конкретными запрограммированными фразами и командами.

Более того, этот голосовой движок потенциально сможет генерировать речь, неотличимую от человеческой. Бывший сотрудник OpenAI Андрей Карпати не исключает появление виртуальных помощников, напоминающих «Джарвиса». Есть даже слухи, что OpenAI готовит какой-то физический продукт с использованием этого движка. Несложно также представить его появление в человекоподобных роботах, как уже было с чат-ботом ChatGPT.

Позже в этом году OpenAI также планирует выпустить нейросеть для генерации реалистичных видео Sora.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥135🍌3😁1
Forwarded from Data Science. SQL hub
🔝 Где искать работу аналитику данных в различные направления DS,SQL, Аналитики и ML

Подборка с каналами, где можно найти вакансии или подработку:
Data Jobs
Data engineering/SQL
Python Jobs
Папка с вакансиями по различным направлениям
Аналитика данных
Машинное обучение полная папка

🔎 Полный ресурсов для поиска работы аналитику данных.

@sqlhub
🔥12👍42🍌2
This media is not supported in your browser
VIEW IN TELEGRAM
🌊 LaVague: automate automation with Large Action Model framework

Модель для генерации selenium скриптов для автоматизации интернет-серфинга, действий на сайтах и парсинга🔥

Github: https://github.com/lavague-ai/LaVague
Docs: https://docs.lavague.ai/en/latest/docs/
Colab: https://colab.research.google.com/github/lavague-ai/LaVague/blob/main/docs/docs/get-
started/quick-tour.ipynb

@ai_machinelearning_big_data
👍32🔥84🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
☕️ Latte: Latent Diffusion Transformer for Video Generation

Новый трансформер скрытой диффузии Latte, для генерации видео.

Latte сначала извлекает пространственно-временные маркеры из входных видео, а затем использует серию блоков-трансформеров для генерации видео в скрытом пространстве.

Github
Project
Paper

@ai_machinelearning_big_data
👍13🔥6😁32🍌1
🌍 𝗠𝗮𝗷𝗼𝗿 𝗧𝗢𝗠: 𝗣𝗹𝗮𝗻𝗲𝘁 𝗘𝗮𝗿𝘁𝗵 𝗶𝘀 𝗯̶𝗹̶𝘂̶𝗲̶ 𝟱.𝟰𝟬𝟱 𝗚𝗛𝘇

MajorTom-Core-S1RTC новый стандарт изображений со спутников и датасет, который содержит 1 469 955 снимков.

16 ТБ радиометрически откалиброванных изображений.

HF: https://huggingface.co/Major-TOM
Github: https://github.com/ESA-PhiLab/Major-TOM/
Colab: https://colab.research.google.com/github/ESA-PhiLab/Major-TOM/blob/main/03-Filtering-in-Colab.ipynb
Paper: https://www.arxiv.org/abs/2402.12095
MajorTOM-Core-Viewer: https://huggingface.co/spaces/Major-TOM/MajorTOM-Core-Viewer

@ai_machinelearning_big_data
👍23🔥85🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Lumiere - это модель пространственно-временной диффузии от Google Research.

Используя одно эталонное изображение, Lumiere может создавать видеоролики в нужном вам стиле, используя точно настроенные веса модели преобразования текста в изображение.

Lumiere https://lumiere-video.github.io/?utm_source=social
Video: https://www.youtube.com/watch?v=wxLr02Dz2Sc&t=2s
Paper: https://arxiv.org/abs/2401.12945

@ai_machinelearning_big_data
👍148🔥6🎉2🍌1
⚡️ DBRX, a groundbreaking open-source Large Language Model (LLM) with a staggering 132 billion parameters.

Компания Databricks только что представила DBRX, новую модель большого языка с открытым исходным кодом (LM) с ошеломляющими 132 миллиардами параметров.

Модель превосходит все открытые модели на большинстве бенчмарков.

Вот что вам нужно знать 👇

• DBRX - это новая бесплатная модель искусственного интеллекта с 132 миллиардами параметров.
•Может обрабатывать до 32 000 токенов одновременно.
•Обучен на 12 триллионах токенов.
•Точное следование инструкциям.
•С открытым исходным кодом на GitHub.
•Интегрирован с HuggingFace.
•Оптимизирован для систем NVIDIA.
•Расширенная настройка с поддержкой Docker.

Github: https://github.com/databricks/dbrx
HF: https://huggingface.co/databricks/dbrx-base
Demo: https://huggingface.co/spaces/databricks/dbrx-instruct
Docs: https://docs.databricks.com/en/machine-learning/foundation-models/index.html

@ai_machinelearning_big_data
👍27🔥64🍌1
🔥 Яндекс представил третье поколение больших языковых моделей YandexGPT

YandexGPT 3 Pro, первая нейросетка линейки, уже появилась на Yandex Cloud. Её можно встроить через API, а перед этим, например, самостоятельно дообучить в сервисе ML-разработки Yandex DataSphere под конкретные задачи бизнеса.

Стоимость использования новой нейросети снизилась почти в два раза. Перед интеграцией в свои продукты у бизнеса есть возможность протестировать модель в отдельном чате на ограниченном количестве запросов. Для новых пользователей бесплатно доступно 100 запросов.

Языковая модель лучше понимает и держит контекст беседы, допускает меньше стилистических и фактических ошибок, а ещё теперь умеет представлять данные в формате JSON (JavaScript Object Notation).

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍8🍌42🥱1🌭1
🌟 ИИ применили для восстановления утраченного полотна Веласкеса

В Испании художник-реставратор Фернандо Санчес Кастильо с помощью нейросети смог воссоздать утраченную при пожаре картину «Изгнание морисков» Веласкеса. Для обучения ИИ он использовал эскиз полотна и описания современников художника.

Веласкес создал «Изгнание морисков» в 1627 году по заказу короля Филиппа IV. Картина изображала изгнание из Испании 300 тысяч перешедших в католичество мусульман из-за возможного предательства. В 1734 году картина была утрачена при пожаре.

ИИ сгенерировал видео продолжительностью чуть более четырёх минут, которое вначале демонстрирует повреждения полотна, но затем постепенно реконструирует его. Этот ролик использовали для воссоздания холста размером 335х274 см. Также художники применили последнюю версию Adobe Photoshop с функциями ИИ. В частности, они использовали «генеративную заливку», чтобы незаметно объединить разные изображения.

Работа заняла более ста часов. Как отмечает Кастильо, 80% работы соответствует «художественному творчеству», а 20% принадлежит ИИ.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🔥115🤬3🥱3❤‍🔥1🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing

Microsoft представляет DesignEd it!

Это метод редактирования изображений, который позволяет удалять объекты, менять местами предметы, перемещать их, изменять размер, добавлять и переворачивать несколько объектов, делать панорамы и масштабировать изображения, удалять объекты с изображений.

Github: https://github.com/design-edit/DesignEdit.git
Paper: https://arxiv.org/abs/2403.14487
Project: https://design-edit.github.io/

@ai_machinelearning_big_data
👍244🔥4🤔2👏1🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Unbounded 3D City Generation🔥

🏙️ CityDreamer 🏙️ композиционная генеративная модель для создания полноценных 3D-городов.

Project: https://infinitenoscript.com/project/city-dreamer/
Code: https://github.com/hzxie/CityDreamer
Demo: https://huggingface.co/spaces/hzxie/

@ai_machinelearning_big_data
👍19🔥3😁32
🌟 Claude 3 Opus сбросила GPT-4 с первого места в рейтинге языковых моделей

Большая языковая модель (LLM) Claude 3 Opus от Anthropic впервые превзошла GPT-4 (модель в основе ChatGPT) от OpenAI на Chatbot Arena — популярной площадке, где пользователи оценивают качество работы чат-ботов. «Король мёртв», — написал в социальной сети X разработчик ПО Ник Добос.

Зашедшим на сайт пользователям Chatbot Arena предлагается ввести запрос, после чего демонстрируются два результата от неуказанных языковых моделей — человек должен выбрать, какой результат нравится больше. Проведя тысячи сравнений, Chatbot Arena заполняет обновляемую рейтинговую таблицу. Сайт управляется исследовательской организацией Large Model Systems Organization (LMSYS ORG), занимающейся открытыми ИИ-моделями.

«Впервые на вершине рейтинга ИИ-модели не от OpenAI: Opus для сложных задач, Haiku — для вариантов, когда нужно дёшево и быстро. Это обнадёживает — от конкуренции разработчиков все только выиграют. Тем не менее, GPT-4 уже больше года, и конкуренты догнали её только сейчас», — прокомментировал событие независимый исследователь ИИ Саймон Уиллисон (Simon Willison).

@machinelearning_interview
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥31👍123😁3
📌Аппаратные требования больших языковых моделей ИИ сокращаются вдвое каждые восемь месяцев

Большие языковые модели, лежащие в основе чат-ботов с искусственным интеллектом, развиваются настолько быстро, что всего за восемь месяцев необходимые им для работы аппаратные ресурсы сокращаются вдвое — сами чипы демонстрируют намного более скромный прогресс.

Существуют два способа повысить производительность систем ИИ, обращает внимание исследователь из Массачусетского технологического института Тамай Бесироглу (Tamay Besiroglu): увеличить размеры больших языковых моделей, что потребует соразмерного увеличения вычислительной мощности, хотя оборудование для ИИ сегодня находится в дефиците; или оптимизировать базовые алгоритмы, чтобы более эффективно применять существующее оборудование. Похоже, нынешние разработчики больших языковых моделей предпочли второй подход.

Учёные проанализировали показатели производительности 231 большой языковой модели, разработанных в период с 2012 по 2023, и обнаружили, что вычислительная мощность, необходимая для их работы, сокращалась в среднем вдвое каждые восемь месяцев. Это значительно быстрее, чем предполагает эмпирический закон Мура, согласно которому число транзисторов на кристалле (мера его производительности) удваивается каждые 18–24 месяца. Исследователи отмечают, что такой рост производительности систем ИИ отчасти связан с оптимизацией кода, хотя точно определить это не получается, потому что алгоритмы ИИ часто не поддаются анализу. Свою роль, конечно, сыграло и развитие аппаратных компонентов

Разница в темпах развития является показателем того, насколько эффективно разработчики больших языковых моделей используют доступные им ресурсы. Бесконечно оптимизировать алгоритмы не получится, считает Бесироглу, и нет ясности, сохранится ли такой темп развития в долгосрочной перспективе. Существуют и опасения, что повышение эффективности моделей может, напротив, увеличить потребление энергии отраслью ИИ, поэтому нельзя заниматься только одним аспектом.

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍145🔥5
🔥 Microsoft разработала систему для выявления галлюцинаций в ИИ-приложениях клиентов

Директор по продуктам Microsoft по ответственному ИИ Сара Бёрд рассказала, что её команда разработала несколько новых функций безопасности для клиентов Azure, которые позволят выявлять галлюцинации в работе служб искусственного интеллекта.

Эти инструменты на базе больших языковых моделей могут обнаруживать потенциальные уязвимости, отслеживать галлюцинации, «которые правдоподобны, но не поддерживаются», и блокировать вредоносные запросы в режиме реального времени для клиентов Azure AI, работающих с любой моделью, размещённой на платформе.

Одна из функций будет блокировать вредоносные подсказки из внешних документов, которые провоцируют модели отойти от инструкций. Другая будет оценивать безопасность, в том числе уязвимости модели.

Скоро появятся две другие функции, позволяющие направлять модели к безопасным выводам и отслеживать подсказки для выявления потенциально проблемных пользователей. Независимо от того, вводит ли пользователь подсказку или модель обрабатывает сторонние данные, система мониторинга оценит её, чтобы определить, содержит ли она какие-либо запрещённые слова. После этого система просматривает ответ модели и проверяет, не галлюцинировала ли она.

📎 Подробнее

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍187🔥3🤨3🤔2😐1