Помните, пару недель назад мы показывали вам график резкого роста медицинских статей, в котором используется слово delve (вникать), любимое слово ChatGPT?

Так вот, это слово уже давно принято считать признаком, что текст сгенерирован. Но люди до сих пор недоумевают, почему именно delve? Что за тайна такая вокруг этого слова?

Кажется, мы разгадали, в чем тут дело.

Да, в США слово delve употребляется редко, но вот в Нигерии очень распространено: его, например, часто произносят учителя в начальной школе.

А в GPT есть RLHF, где качество ответов модели развернуто оценивается людьми. Над RLHF часто работают люди, чей труд дешевле, чем у среднего жителя США.

Понимаете, куда мы клоним? Для RLHF нанимают людей из Нигерии, для которых слово delve - классика, они описывают ответы модели, используя это слово («вникай глубже»), а затем их отзывы подгружаются обратно модель для дообучения. Вот она и запоминает это слово как «хорошее».

С вами была программа «Следствие вели» с DataSecrets

Тем временем Mistral активно ищет инвестиции

В декабре стартап уже привлек $415 млн. Тогда они оценивались в $2 млрд. Сейчас оценка компании – $5 млрд. К тому же, недавно Mistral стал получать доход.

Короче, несложная математика и здравый смысл подсказывает, что компания может привлечь сотни миллионов долларов. Среди инвесторов: Andreessen Horowitz, Microsoft (OpenAI ревнует, да) и др.

На днях вышла новая книга по Computer Vision от трех крутых авторов: Antonio Torralba, Bill Freeman и Phillip Isola

Авторы работали над книгой почти 10 лет. В ней собрано вообще все, от линейных фильтров и оптики до современных диффузионнок. Скорее всего, чтиво скоро будет признано сообществом как мастрид.

Самая приятная вещь в книге - авторские иллюстрации. Ну и вообще, на выходные самое то.

Опенсорс вперед ❤️

Миниатюра: я пытаюсь файнтюнить новую Llama-3 на своем линово 2001 года

Визуализация эмбеддингов от TensorFlow

Пространство эмбеддингов с огромной размерностью представить себе очень сложно. Поэтому иногда, чтобы лучше понять задачу и/или наглядно оценить качество векторов, полезно посмотреть на эмбеддинги меньшей размерности. Крутейший залипательный инструмент для этого – Embedding Projector.

Что делаем: загружаем свои эмбеддинги/выбираем предобученные -> выбираем алгоритм сокращения размерности -> любуемся. На картинке сверху, например, можно увидеть кластер чисел снизу слева. Это означает, что эмбеддинги неплохо отражают семантическую близость слов.

Красивое...

Ждем GPT-5 завтра?

Если сегодня Claude-3 может кого-то загипнотизировать, то через несколько лет ИИ станет в разы умнее гениев человечества?

В последнее время в сети часто мелькает график с картинки. Мнение сообщества снова разделилось.

Одни говорят: «как мы можем выйти за пределы человеческого разума, если тренируем модели только на данных от зеленой до оранжевой линии? Это невозможно».

Другие же отмечают, что LLM уже несколько раз показывали свою способность находить в обучающих данных паттерны, которых человек не видит, и делать на их основе продвинутые выводы. Эта способность и даст ИИ взлететь по экспоненте.

Что думаете?
❤️ - будет так, как на графике
🗿 - да не, не будет