Посплетничаем об Илоне Маске?

Тут недавно OpenAI занималсь созданием умных плюшевых игрушек с ИИ внутри. Кстати, они забавные: могут бесконечно поддерживать диалог с ребенком и узнавать его в лицо.

Так вот, моделей игрушек всего три: Габбо, Грэм и… Грок. Ничего не напоминает название? Правильно, это та самая нейросеть от компании Илона Маска. Все бы ничего, но над созданием игрушек работал с OpenAI никто иной, как певица Grimes – бывшая жена миллиардера.

И это не все. Grimes давала игрушкам описание, и описала Грока, как «дружелюбная ракета, которая любит танцевать и не умеет летать». Чувствуете эту забавную череду совпадений?

😻 #news

Придумайте подарок на НГ лучше этого. Мы подождем

😻 #memes

😻 Грамота.ру назвали «нейросеть» главным словом 2023. Его относительная частота употребления за год возросла почти на 200%. Также в топ попали слова «джипити» и «промпт». Напоминаем, что совсем недавно «AI» также было признано словом года по версии британского словаря Collins.

Вся математика для Data Science

Это не медь, это золото. Бесплатно: вся необходимая теория вместе с практикой в одном месте – здесь. Все, что написано в гайде, нацелено именно на ML, ничего лишнего, все в комплекте с кодом. Мат.анализ, лин.алгебра, теория вероятностей. Самое крутое – можно выбрать диалект, на котором вам будут показываться примеры – PyTorch, Keras или MXNET.

Обязательно сохраняйте. Советуем!

😻 #advice

Google Colab раскатил AI-фишки на пользователей без подписки

С сегодняшнего дня Colab AI на базе AlphaCode2 доступен всем. Его можно попросить дописать или объяснить код, и даже исправить его. Оговорка: время использования в месяц ограничено.

😻 #news

Всем аналитикам посвящается

😻 #memes

Советы по промптингу от OpenAI

Обрушилась, не успев расцвести (но успев заработать миллионы), империя курсов по нейросетям промптингу: OpenAI выкатили собственный гайд с советами по тому, как составлять запросы к LLM. Вот, что пишут:

*️⃣Включайте детали в запросы. Просите модель "представить, что она <профессия>". Указывайте шаги выполнения задачи, делите текст на абзацы. Приводите примеры.

*️⃣Добавляйте рефенсы: пример текста, минимальные необходимые знания, ваши заметки по теме. Особенно, когда просите модель дать ответ, основанный на фактах.

*️⃣Делите задания на мелкие таски. Задавайте вопросы по очереди. Если диалог получается долгим, суммируйте вышесказанное в промптах.

*️⃣Дайте модели время на подумать. Не все ответы сразу могут быть подходящими. Можно спросить, не пропустила ли модель что-нибудь, попросить "перепроверить".

*️⃣Используйте дополнительные инструменты (если речь идет о ChatGPT, это может быть, например, встроенный интерпретатор кода или RAG).

😻 #advice #news

Билл Гейтс поделился своими итогами 2023 и прогнозами на 2024

Основная мысль номер один: он стал дедушкой и невероятно этому рад.

Основная мысль номер два: наступает новая эра. Этому поспособствует в первую очередь ИИ. Гейтс считает, что в скором времени технология радикально изменит образование и медицину, а также поможет миру справиться с социальным неравенством. Миллиардер посоветовал всем приобщаться к ИИ и учиться им правильно пользоваться.

😻 #news

Новинка от Apple: как запускать LLM на устройствах с ограниченной памятью

Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:

1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.

2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.

Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.

Хороша работа, советуем прочитать полностью.

😻 #advice #news

Когда с пацанами файнтюните в домашних условиях

😻 #memes

Завезли статью про Gemini от Google

Ну как статью, тех.репорт. В технические и архитектурные детали исследователи не вдавались, но упомянули, что вдохновлялись Flamingo, CoCa и PaLI, а для восприятия аудиосигналов используют технологию Universal Speech Model. Также хвастаются, что Gemini Nano стала best-in-class small language models за счет умной дестилляции и алгоритмов трейна.

Есть также некоторые детали по поводу обучения, датасетов и токенизатора, и конечно, огромная глава с тестами.

😻 #news