​​SLiMe: Segment Like Me

Vision-language models, notably Stable Diffusion, have made impressive advancements in fields like image editing and 3D shape creation. Building on this momentum, the innovative model SLiMe is introduced, aiming to segment images with incredible granularity even when provided with just a single annotated sample. By treating segmentation as an optimization challenge, SLiMe ingeniously uses "weighted accumulated self-attention maps" derived from SD. It then optimizes the text embeddings of the SD model, ensuring each focuses on individual segmented areas from the training image. These tailored embeddings effectively highlight segmented regions on attention maps, ultimately facilitating precise image segmentation.

Paper link: https://arxiv.org/abs/2309.03179

My overview of the paper
https://andlukyane.com/blog/paper-review-slime
https://artgor.medium.com/paper-review-slime-segment-like-me-b0d567837996

#paperreview

2 больших обзора статей:
https://arxiv.org/abs/2309.07864 - обзор агентов на основе LLM
https://arxiv.org/abs/2309.05922 - обзор разных галлюцинаций LLM и того, что с ними можно делать.

#datascience

Что может быть хуже отсутствия комментариев в коде? Аудио-комментарии.

Редко пишу тут про штуки, связанные с программированием, но это особый случай: обсуждение о возможности добавить аудио комментарии к коду. Посмотрите на скриншоты.

Хорошо что там все относятся с юмором к этой идее. Потому что после аудиокомментариев должны будут появиться видео (в кружочках) и сторис. https://youtrack.jetbrains.com/issue/IDEA-332604/Support-voice-messages-code-comments

​​Pretraining on the Test Set Is All You Need

A really great satire: https://arxiv.org/abs/2309.08632

​​Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

The EvoPrompt framework seeks to address a major bottleneck in the deployment of LLMs like GPT-3.5 and Alpaca: the reliance on meticulously crafted, human-generated prompts. By integrating evolutionary algorithms known for quick performance and convergence, EvoPrompt streamlines the prompt optimization process. It enables these algorithms to generate coherent, human-readable prompts that work well with LLMs, effectively merging the computational power of EAs with the linguistic prowess of LLMs.

EvoPrompt doesn't just make prompt generation easier; it makes it better. Tested on nine diverse datasets covering both language understanding and generation tasks, EvoPrompt significantly outshines both human-crafted prompts and other automatic prompt generation methods. It boosts performance by up to 25% and 14% respectively, proving that the amalgamation of evolutionary algorithms with large language models is not just viable but highly beneficial.

Paper link: https://arxiv.org/abs/2309.08532

My overview of the paper
https://andlukyane.com/blog/paper-review-evoprompt
https://artgor.medium.com/paper-review-connecting-large-language-models-with-evolutionary-algorithms-yields-powerful-prompt-6181b10a464
https://www.linkedin.com/pulse/paper-review-connecting-large-language-models-yields-lukyanenko/

#paperreview

​​https://github.com/Xwin-LM/Xwin-LM

Говорят, что появилась модель (на основе LLAMA 2), которая лучше, чем GPT-4 на AlpacaEval: https://tatsu-lab.github.io/alpaca_eval/

#datascience

​​Anki: интервальные повторения для изучения слов

Существует множество подходов к изучению языков, и большая часть из них связана с запоминанием слов и грамматических конструкций (за исключением полного погружения). Я знаю, что многие не любят структурированные методы и не хотят запоминать списки слов. Их идея заключается в том, что если слово важно, то оно встретится достаточное количество раз для запоминания. Однако я придерживаюсь мнения, что лучше изучать слова целенаправленно, особенно когда они релевантны, но встречаются редко.

Базовый вариант такого подхода - составление списков слов и их заучивание, а затем возврат к этим спискам через несколько дней для проверки знаний.

Следующий шаг - создание карточек. Идея довольно проста: на одной стороне карточки написано слово на изучаемом языке, а на другой стороне - на родном языке. Мы смотрим на одну сторону карточки и пытаемся вспомнить, что находится на другой стороне.

Как продолжение, ещё в прошлом веке была придумана идея интервальных повторений (система Лейтнера): карточки перемещаются между несколькими коробками в процессе обучения. Изначально все карточки находятся в первой коробке. Если мы успешно угадываем слово, то перемещаем карточку в следующую коробку, если же ошибаемся, то кладем ее в самую первую коробку. Чем дальше коробка, тем больше времени проходит до повторного использования карточки.

В наше время, конечно, существуют различные программы, которые облегчают этот процесс. Одна из самых популярных - Anki. В этой программе можно создавать карточки в любом виде и стиле (в том числе с использованием HTML в полях), настраивать частоту повторений и другие параметры. Также имеется огромное количество готовых колод с карточками для самых разных языков, но обычно рекомендуется создавать свои собственные.

Главное, как и в любом методе, - быть последовательным и не превращать его в самоцель.

#languages

​​Anki для помощи в изучении программирования

В комментариях к прошлому посту задали вопрос о том, стоит ли использовать Anki для помощи в прохождении coding interview. Я лично такой подход не пробовал, но это интересный вопрос.

Важно понимать, что карточки обычно создаются таким образом, чтобы на заданный вопрос был конкретный и желательно короткий ответ. Если ответом будет полный код и разбор задачек литкода, то формат карточек не подходит.
Однако, есть множество примеров успешного использования Anki для запоминания идей и терминов, связанных с программированием. Приведу некоторые из них:

- 1200+ карточек с вопросами типа "What is the base case of a recursion?" или "What is Thrift?"
- Algodeck - платные колоды, но, возможно, полезные.
- Колода по алгоритмам, включая асимптотику

Также есть подробные блогпосты, где люди делятся своим опытом:

- Старый пост с конкретными примерами карточек разного типа
- Статья о Janki-методе. Автор пишет о стандартных проблемах изучения нового материала - быстрое забывание, сложность изучения нового вне контекста и т. д. Он также даёт советы о том, как создавать карточки и вести свою мини-базу знаний.

#algorithms

​​Презентации с ICML

Наткнулся на ссылку со всеми презентациями конференции ICML (International Conference on Machine Learning) 2023.

https://slideslive.com/icml-2023

#datascience

​​FreeU: Free Lunch in Diffusion U-Net

In this paper, the untapped capabilities of diffusion U-Net are explored, revealing a significant potential referred to enhance generation quality dynamically. The authors introduce "FreeU," a simplistic yet highly effective method designed to amplify generation quality without the necessity for additional training or fine-tuning.

The essence of FreeU is in its strategic re-weighting of the contributions from the U-Net's skip connections and backbone feature maps, allowing for a harmonious balance between the strengths of both components of the U-Net architecture. The method has demonstrated promising results in image and video generation tasks, proving its seamless integrative capability with existing diffusion models like Stable Diffusion, DreamBooth, ModelScope, Rerender, and ReVersion to elevate generation quality by simply adjusting two scaling factors during inference.

Paper link
Project link
Code link

My overview of the paper:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Как рекрутёры привлекают DS

Получил тут письмо с вакансией, а в конце письма был мемасик.

#datascience

​​В каких-то странах бродячих котиков любят и уважают. А вот в Дубае кормить котиков - нарушение законов. Поэтому в некоторых местах висят такие таблички.

#dubai

​​DreamLLM: Synergistic Multimodal Comprehension and Creation

DreamLLM introduces a novel learning framework designed for the robust integration of multimodal comprehension and creation in Multimodal Large Language Models. This model stands out by utilizing two primary principles. Firstly, it focuses on generative modeling for both language and image facets by directly sampling in the untapped raw multimodal domain. This method effectively sidesteps the constraints and data loss tied to traditional external feature extractors such as CLIP, leading to a deeper and more comprehensive grasp of multimodal data.

Secondly, DreamLLM emphasizes the generation of raw, interleaved documents, capturing both textual and visual elements as well as their free-form layouts. This strategy equips DreamLLM to adeptly learn all the nuances of conditional, marginal, and joint multimodal distributions. As a testament to its advanced capabilities, DreamLLM is highlighted as the pioneering MLLM to produce free-form interleaved content.

Paper link
Project link
Code link

My overview of the paper:
Personal blog
Medium
Linkedin Pulse

#paperreview

​​Speak plugin in ChatGPT for practicing languages

Я сегодня открыл для себя plugin Speak в ChatGPT - он предназначен для практики любых языков. Я попробовал - в целом выглядит любопытно, можно использовать, когда хочешь попрактиковать какую-то конкретную тему.

#languages

​​Необычные идеи пет-проектов

Иногда я вижу вопросы о том, как придумать оригинальную идею пет-проекта или просто анализа данных и сетования на то, что простые идеи все разобрали, а для сложных надо много данных и железа.

Вот сегодня я увидел прекрасное исследование данных - маленький датасет, простой анализ, но оригинальность зашкаливает 😁

https://juliasilge.com/blog/roy-kent/

#datascience

​​Занимательная сатирическая статья со "сравнением" бойфренда и прекрасного GhadGPT.

https://jabde.com/2023/09/25/replacing-boyfriend-with-generative-ai/

#datascience

​​Duolingo leagues

Duolingo - одно из самых популярных приложений для изучения иностранных языков. О плюсах и минусах Duolingo можно говорить много, но сейчас я хотел бы поговорить о геймификации.

Когда мы выполняем действия на Duolingo, например, проходим уроки, мы получаем опыт. Раньше каждый язык имел уровни, и максимальный уровень был 25. Сейчас основная роль у опыта - мотивировать людей участвовать в лигах.

Если у вас есть публичный профиль, вы автоматически участвуете в лигах. Каждую неделю вы попадаете в группу с людьми, которые имеют схожий темп обучения, и соревнуетесь по количеству заработанного опыта. Если вы оказываетесь в топе, вы попадаете в следующую лигу и получаете немного gems/lingots. Если нет, то остаётесь в текущей лиге или откатываетесь в предыдущую. На данный момент существует 10 лиг: Bronze, Silver, Gold, Sapphire, Ruby, Emerald, Amethyst, Pearl, Obsidian и Diamond.

Кроме того, если вы попадаете в Алмазную лигу, у вас будет возможность участвовать в турнире. Если в течение трёх недель вы удерживаетесь в топ-10, вы получаете красивую достижение (и отдельное достижение, если заняли первое место).

Я однажды смог достичь первого места в турнире (во многом благодаря удаче)... и не рекомендую так делать. Как обычно, в системе с геймификацией найдутся люди, которые будут стремиться победить любой ценой. Есть люди, которые используют ботов - эти боты выполняют простейшие задания множество раз и накапливают опыт. Есть люди, которые делят один аккаунт с несколькими людьми. И, конечно, есть люди, которые просто тратят много времени на Duolingo.

Для наглядности вот скриншот с моим участием в турнире на этой неделе. Как видно, у первых двух участников за неделю набрано в 6+ раз больше опыта, чем у остальных. Не могу сказать за других, но я обычно уделяю Duolingo 1-1.5 часа в день (правда теперь планирую заниматься на Duolingo значительно меньше, ибо получаю все меньше пользы), так что для набора 70к опыта мне пришлось бы сидеть на Duolingo по полдня.

#languages

​​DALL-E 3 в Bing

Неожиданно, но похоже, что моделька DALL-E 3 сейчас стала доступна в Bing

Ссылка: https://www.bing.com/images/create/
Обсуждение: https://news.ycombinator.com/item?id=37725498

#datascience