🏆Оскар EMNLP'24: Best Paper Awards

Вчера состоялось долгожданное вручение "Оскара EMNLP" - награждение Best Paper Awards. В этом году почетный титул лучших статей этой престижной конференции получило целых 5 статей:
1⃣An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance: статья вводит концепцию " transcreation" (пересоздания) изображений, генерируя культурно адаптированные изображения, и предлагает эталонный набор данных для оценки способностей LLM.
2⃣Towards Robust Speech Representation Learning for Thousands of Languagesпредставляет: авторы представляют датасет, охватывающий более 1 миллиона часов речи на более чем 4000 языках, и мультиязычную модель, обученную на этих данных.
3⃣Backward Lens: Projecting Language Model Gradients into the Vocabulary Space: авторы предлагают интуитивно понятный подход к изменению модели путем проекции градиентов на пространство словаря для повышения интерпретируемости.
4⃣Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method: статья представляет новый датасет и метод для «black-box» обнаружения данных из предобучения.
5⃣CoGen: Learning from Feedback with Coupled Comprehension and Generation: авторы исследуют связь между пониманием языка и его генерацией для улучшения взаимодействия между людьми.

На закрытии по традиции было объявлено ее место проведения в следующем году: EMNLP 2025 пройдет в Сучжоу Китае в начале ноября.

💭Могу сказать только OMG! С учетом того, как тормозят в Китае абсолютно все привычные нам сайты даже под ВПН (у меня просто еще свежи воспоминания), веселые впечатления гарантированы!

#трудовыебудни #emnlp #новостисполей #mashkka_usa

OpenAI Swarm: фреймворк для мультиагентных систем

Ребята из OpenAI без лишнего шума выложили в открытый доступ свой новый проект — Swarm. Это такой экспериментальный фреймворк для тех, кто хочет поковыряться в мультиагентных системах. Короче, штука для тех, кому интересно, как AI-агенты могут работать в команде и решать сложные задачки.

Основные концепции Swarm — Агенты и Передачи задач. Агенты делают свою работу и могут перекидывать дела другим, типа "эй, бро, возьми это на себя". Идеально подходит, чтобы посмотреть, как эти виртуальные ребята могут сотрудничать.

Swarm вписывается в третий уровень той самой пятиступенчатой модели развития ИИ от OpenAI. Помните, там от простых болтливых ботов до суперсистем, способных рулить целыми компаниями? Вот Swarm как раз на середине этой лестницы:

Болтуны — просто общаются с людьми на обычном языке.
Решалы — автоматизируют поиск инфы и решают задачки.
Агенты — самостоятельные помощники, которые сами принимают решения.

---------Swarm как раз тут---------

Иноваторы — генерят новые идеи и двигают науку.
Боссы — ИИ, способный управлять целой конторой без людей.

Пока что Swarm — это не для серьезных проектов, а так, поиграться. Можно смоделировать, как агенты общаются, протестить простые сценарии и посмотреть, как они координируются в контролируемой среде.

Swarm работает почти полностью на клиенте, что упрощает контроль и тестирование.

В репозитории уже есть с десяток примеров, которые демонстрируют различные сценарии, включая обслуживание клиентов и персонального шопинг-ассистента.

Пример использования Swarm

Основной элемент Swarm — Агент. Вот пример настройки агентов:

from swarm import Swarm, Agent

client = Swarm()

def transfer_to_agent_b():
    return agent_b

agent_a = Agent(
    name="Agent A",
    instructions="Вы — полезный агент.",
    functions=[transfer_to_agent_b],
)

agent_b = Agent(
    name="Agent B",
    instructions="Говорите только хайку.",
)

response = client.run(
    agent=agent_a,
    messages=[{"role": "user", "content": "Я хочу поговорить с агентом B."}],
)

print(response.messages[-1]["content"])

Агент A передаёт разговор Агенту B, который отвечает в виде хайку.

На первый взгляд, Swarm — это интересный образовательный эксперимент, но представьте, как в будущем из такого фреймворка может вырасти полноценный AI as a Service!

Да и вообще забавно, раньше Альтман помогал создавать SaaS компании в Y Combinator, а теперь, по всей видимости у него свой AI Combinator.

Я думаю, что уже в ближайшем будущем мы можем увидеть мультиагентные системы, и Swarm — это отличный способ начать понимать, как они работают.

Возможно, ваш следующий менеджер будет не кожаным мешком, а сотней AI-агентов, которые координируются и вешают на вас задачи быстрее, чем когда-либо прежде.

🖥 GitRepo
👨‍🍳 OpenAI Cookbook