Мистраль топ-1 на RSG.

И это LoRA на 13 миллионов параметров, не полный тюн.

И без выбора лучшего чекпоинта для каждой задачи.

Посылка на одобрении, скоро появится в самом лидерборде.

LLaMA-70b вероятно была бы лучше, но на неё чуть бОльшая карточка нужна.

❄️ #art

ДАЙТЕ CENE655 ЕБУЧИЕ КАРТЫ, ОН ЗАЕБАЛ НЫТЬ МНЕ В ЛИЧКУ

ЗДЕСЬ ЛЕЖАТ ТРИ ЭКСПЕРИМЕНТА,
Я ПРОСИЛ ВЧЕРА 128 КАРТ, 128 КАРТ И ТРИ SOTA БЫЛИ БЫ ПОЛУЧЕНЫ!!!

#чтивонаночь по быстрому

Если вы знаете что такое formage то уже поняли суть, если кратко - то давайте положим в доп токены картиночные репрезентации из CLIP, а если мы можем использовать их для генерации ответа по изображению, то давайте еще и генерировать!
А затем полученные эмбеды можно класть в Stable Diffusion ведь она тоже использует CLIP!

А еще оно из коробки и максимально нативно понимает и генерирует картинки, а так же умеет работать с несколькими изображениями в контексте сразу(в отличии от llava)


blog
space

Принес @krists

Agi achieved internally

Офигеть как же это мощно выглядит!
У меня дома стоит несколько аудио систем разных типов и производителей, но это просто вау!
Посмотрите видео продукта, это прям круто!

Прокладка дата пайплайнов, 2023 dalle3

Но были и плюсы
Orig

Про AI в реальных рабочих задачах и большом будущем. Меня можно назвать early adopter’ом - пользователем, который готов пробовать совсем новые инструменты. Прошло несколько месяцев с предыдущего поста, я активно пробовал множество разных инструментов с LLM и другие модные штуки.

Но за почти год взлета AI инструментов, выводы неутешительные! Пробовать и играться с новинками - это хоть каждый день, но чтобы применять в реальных задачах - кроме упомянутых в прошлых раз DeepL Write и gpt-4 в обсидиане, которыми я пользуюсь ежедневно, больше ничего так и не вошло в постоянную практику.

1️⃣ Также меня можно назвать AI-скептиком: я считаю, что “проект LLM” завершен (пост) - тут прорывов больше не будет. Но будет планомерное внедрение LLMs там, где это добавляет ценности. А такое прежде всего не в айтишных задачах, где есть куча софта, а скорее в процессах, которых по сути не коснулась диджитализация.

Например там, где еще много бумаги, но предыдущие способы автоматизации (без AI) не давали большого увеличения эффективности, и отчасти поэтому там все оставалось бумажным. А теперь у нас есть LLMs, которые могут добавлять той самой практической ценности.

2️⃣ Эффект “вот-вот”: вот-вот мы полетим на Марс, вот-вот появится AGI, вот-вот в каждом доме будет квантовый компьютер, вот-вот озоновые дыры убьют человечество (помните такое?) и т.д.

Но говорить слова и реализовывать новые технологии - задачи разного уровня. Подавляющее число фантастов и футурологов прошлого жестко ошибались, рисуя например летающие паровые машины. А те, кто угадали - просто угадали, статистически.

Как я неоднократно писал, больше всего точных прогнозов о будущем - у инвесторов. Да, они не впечатляющи, и угадывается немного. Но статистически - это лучшее, что у нас есть! Давайте просто примем этот факт.

3️⃣ Рассуждать про всякие AGI - это одно, но здравомыслящий человек может воспринимать такое всерьез, если есть хотя бы прототип технологии. А gpt - это не прототип AGI! Просто технология, которая умеет собирать слова в осмысленные предложения, на основе кем-то написанных текстов. А эти тексты писали люди на основе своего опыта и знаний из реального мира. А чтобы их получить, в каждой из триллионов клеток наших тел есть рецепторы, а также есть мозг, нейроны и нейромедиаторы - все это необходимо, чтобы реализовать какое-то подобие реального AGI.

А иначе получается просто очередной инструмент, который полезен для решения определенного круга задач, как калькулятор. Принятием решений там не пахнет.

4️⃣ Хайповые тренды и красивые мечты сталкиваются с реальностью - физическими законами и экономической целесообразностью.

Например для реализации AGI на кремниевой основе, может оказаться, что есть жесткие ограничения физического мира. Предполагаю, что в условиях Земли AGI может быть сделан только на углеродной основе, то есть по сути копипаста человеческого организма.

И красивые мечты о будущем разбиваются об экономические реалии: например в большинстве мест мира обслуживание автомобиля на автопилоте всегда будет значительно дороже, чем низкооплачиваемый труд водителя-иммигранта. Да, по Market street Сан-Франциско будут ездить без людей! Но даже ж/д еще не сделали с автопилотом, хотя там нужно просто ездить по рельсам.

Если добавить социальные и политические факторы, то совсем грустно!

5️⃣ Главные трендсеттеры оптимистичных прогнозов например об AGI - люди и компании, напрямую заинтересованные в том, чтобы обыватель вовлекался в тему, говорил, фолловил, выписывал чеки, покупал акции, товары или услуги.

Большая часть разговоров о технологичном будущем - это маркетинг и борьба за внимание. И полезно все воспринимать именно так!

6️⃣ Какое уж там будущее с сингулярностью! Учитывая события последних лет, и в частности поведение людей в этих условиях, возможно стоит признать, что лучшие годы наших лайфтаймов мы уже пожили! 🥲

Но продолжаем надеяться на лучшее, такова уж природа человека, нерациональная!

@kyrillic

админ опять кринжухи шитпостит

от меня отписался админ ебаных идей для ресерча....

опять мемы в профунктор улетели....