🔥 Многа букав. Как улучшить генерацию ответов нейросетями с помощью контекстных эмбеддингов 🔥

Метод RAG (retrieval-augmented generation, генерация с дополнением извлечения) активно используется для интеграции больших языковых моделей (LLM) с внешними источниками данных. Однако обычные методы поиска не всегда справляются с нюансами специализированных данных. Исследователи из Корнеллского университета решили эту проблему, представив технику контекстных эмбеддингов документов.

💡 В чём суть проблемы? Обычные модели эмбеддингов, такие как би-энкодеры, строят фиксированные представления документов. Эмбеддинги — это числовые представления текста (слов, предложений или документов), которые позволяют нейросетям эффективно работать с текстовыми данными. Би-энкодеры работают так: один энкодер преобразует запрос пользователя в эмбеддинг, другой — документы в корпусе. Затем они сравниваются для поиска наиболее подходящих результатов. Это работает на общих данных, но начинает "буксовать", когда дело доходит до специфических, узкоспециализированных наборов. Старый метод BM25 (алгоритм для текстового поиска, учитывающий частоту встречаемости слов) иногда даже показывает лучшие результаты.

🧠 Что предложили учёные? Исследователи улучшили би-энкодеры двумя способами:

1. Контрастивное обучение: модель учится различать похожие документы. Контрастивное обучение — это метод, где модель обучается на положительных и отрицательных примерах, учась различать похожие данные. Это делает её более точной в специализированных областях.

2. Контекстуализация: модель учитывает не только уникальные особенности документа, но и контекст всего кластера (группы похожих документов), к которому документ относится. Это позволяет учитывать общую информацию и тонкие различия одновременно.

🚀 Преимущества контекстных эмбеддингов:

🔤Увеличивают точность поиска в специализированных корпусах.

🔤Не требуют значительных изменений в процессах поиска и могут быть использованы в инструментах вроде HuggingFace (платформа для разработки и использования моделей машинного обучения) и SentenceTransformers (библиотека для создания эмбеддингов предложений и документов).

Контекстные эмбеддинги помогут улучшить работу нейросетей в любых проектах, где данные имеют сложную структуру или требуют учёта специфического контекста.

⚡️Дуров прямо сейчас меняет условия конфиденциальности в Телеграм! ⚡️

Все каналы наперебой кричат, что секретности в Телеграм больше не существует. Что мы опять все под новым колпаком ‼️

На фоне этих изменений, всем админам каналов вероятно придется выйти из сумрака. Как говорится - "Карты на стол" 😱

В канале Telegram Celebrity 🏆 пошли дальше и уже начали писать про всех ТОПов Телеграм.
— Кто есть кто
— У кого из админов какие каналы
— Кто чем живет и у кого какие доходы
— Кто и когда ездил на те или иные встречи и конференции и зачем...
И многое другое из жизни Элиты Телеграм.

Переходи и будь в курсе кто и как двигается в Телеграм, может и сам начнешь...

Совмещаем несовмещаемое 🤩

Добрый вечер. Сегодня на очереди сервис, с которым можно создавать самые необычные изображения - Artbreeder. 

Нас интересует инструмент Compose. С помощью него можно совмещать разные фотографии в одну.  Заходим на сайт, во вкладку этого инструмента.

Там можно выбрать основное фото, и добавить к нему те, с которых будут браться стиль, лицо и наполнение. И для каждого изображения есть ползунок со степенью влияния на результат.

А он получается вполне себе интересный.
Через одну генерацию попросят зарегистрироваться.

Кстати, если наберете 20 реакций, то расскажу найденной мною лайфхак, с помощью которого можно скачивать там изображения с высоким разрешением бесплатно. Да, изначально высокое качество платное.

Пробуйте.

Что там с умными городами? 🤩

Города становятся умнее, и это уже не концепция будущего, а наша реальность. Умные технологии проникают во все сферы — от управления транспортом до сортировки отходов. Сегодня расскажу о крутых примерах, которые уже реализованы в мегаполисах по всему миру.

1️⃣Умное освещение в Осло
В норвежской столице действует система умного уличного освещения, которая адаптируется к текущим условиям: трафику, погоде, даже потребностям кафе и магазинов. Например, если на улице никого нет, свет автоматически приглушается до 20% мощности. А в дождь или туман яркость увеличивается.

Технология основывается на Интернете вещей (IoT), где датчики не только контролируют освещение, но и собирают данные о дорожном движении и экологии. Это решение экономит до 70% электроэнергии и ежегодно сберегает Осло около 1,3 млн долларов.

2️⃣ Интеллектуальная транспортная система Сеула
В столице Южной Кореи внедрена умная транспортная система C-ITS, которая с помощью данных от GPS, камер и датчиков оптимизирует дорожное движение. Например, система может предсказывать пробки и изменять сигналы светофоров, чтобы сократить заторы.

Интересно, что эта технология позволяет транспорту взаимодействовать со светофорами и автобусными остановками через 5G, снижая вероятность аварий и ускоряя трафик. В рамках этой системы в 2024 году в Сеуле даже запустили автономные автобусы.

3️⃣ Умная сортировка отходов в Эль-Вакре
Эль-Вакра, небольшой город в Катаре, пошел еще дальше в области умных решений. В 2023 году здесь установили датчики на контейнеры для мусора, которые в реальном времени сообщают о заполненности баков. Это позволило оптимизировать маршруты мусоровозов: они теперь обслуживают только полные контейнеры, экономя топливо и сокращая выбросы.

Похожая технология используется и в Барселоне. Но здесь мусор всасывается в подземные хранилища с помощью вакуума, что минимизирует шум и запахи на улицах.

Что из этого вам кажется наиболее полезным? 🤔

Как машинное обучение помогает создавать изображения чёрных дыр 🤨

Телескоп Event Horizon (EHT) — это глобальная сеть телескопов, работающих синхронно как один виртуальный телескоп. Такая система помогает получать изображения чёрных дыр, но при сборе данных возникают пробелы, из-за чего изображения содержат неопределённости.

Для их устранения учёные комбинируют данные с разных телескопов и применяют алгоритмы машинного обучения. Эти алгоритмы не просто создают одно изображение, но генерируют множество возможных вариантов на основе сложных данных. Такой подход помогает эффективнее оценивать неопределённости и извлекать больше информации.

💡 Оптимизация работы телескопов с помощью нейросетей

Машинное обучение также используется для улучшения размещения телескопов. Алгоритмы помогают определять оптимальные места для установки новых телескопов, которые будут интегрированы в EHT. Это позволяет получать более точные данные с меньшей неопределённостью.

Эта методика не ограничивается только EHT. В проекте DSA-2000, который возглавляют Грег Халлинан и Викрам Рави из Caltech, будет задействовано 2000 телескопов для наблюдения за всем небом в радиодиапазоне. Проект собирает огромные объёмы данных — около 5 терабайт в секунду, и все этапы обработки данных автоматизированы с использованием нейросетей. Это позволяет обрабатывать данные быстро, а пользователи получают результаты всего через несколько минут.

Подборка нейросетей, улучшающих фотографии 😍

Решил собрать для Вас несколько сервисов-апскейлеров. Во многих из них есть дополнительный функционал.

1️⃣ Imglarger - улучшает качество, повышает разрешение, расширяет фото, реставрирует их. Также можно конвертировать файлы в разные форматы. Бесплатно доступно 50 кредитов в месяц.

2️⃣ Smart upscaler - можно обрабатывать одновременно до 500 изображений. Но только на безлимитной подписке за 99$. Хотя там открывается очень много дополнительных инструментов. В том числе и замена лиц на фото. Есть приложения на Mac и Windows.

3️⃣ Vance AI - улучшает, удаляет фон, реставрирует и кастомизирует фото и удаляет шумы. А ну еще и освещение можно изменить. Но это и в редакторе на телефоне доступно. А в самом сервисе есть встроенный бесплатный редактор.

В следующий раз проверим, который из них лучше работает.