А как очнешься – будет уже поздно

Список статей с основной теорией современного Deep Learning:

– Трансформеры: Attention is All You Need

– BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, A Robustly Optimized BERT Pretraining Approach

– GPT: Language Models are Few-Shot Learners

– CNN: ImageNet Classification with Deep Convolutional Neural Networks

– AlphaFold2: Highly accurate protein structure with AlphaFold

– NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

– GAN: Generative Adversarial Nets

– GAT: Graph Attention Networks

– Оптимизация: BatchNorm, ReLU, Dropout, Adam, LoRA

– Эмбеддинги: Word2Vec

А вы знали, что Франция – одна из стран с самой выдающейся академической и бизнес-экосистемой ML? Вот несколько фактов, о которых вы, возможно, не знали:

– Главный офис HuggingFace расположен во Франции
– sklearn поддерживается французским университетом Inria
– Создатели Llama 2 и CodeLlama из Франции
– Там расположены крупнейшие исследовательские центры Google DeepMind, Meta, kyutai, MistralAI и других
– OVHcloud и Scaleway – это французские компании
– Крупнейший стартап-кампус Station F расположен в Париже
– PhotoRoom, Mithril Security, Giscard, ChainLid, Zama – все это французские стартапы
– Там множество сильных CS университетов, известных своими выпускниками

Ну что, собираем вещи и attends-moi France?

У NVIDIA снова новые видеокарты

Компания анонсировала обновление серии RTX 40 – теперь у них будет приставка Super: GeForce RTX 4070 Super, RTX 4070 Ti Super и RTX 4080 Super. Улучшена производительность для игр и генеративного ИИ. Круче всего – RTX 4080 Super – эта видюха оснащена 10240 CUDA-ядер с 16 ГБ памяти. Она поступит в продажу 31 января и будет стоит $999.

Видимо, серия для тех, кто все-таки жалеет 1.6к бачей на RTX 4090, но хочет простого человеческого GPU

Я каждый раз, когда мне удается понять математическую формулу в статье:

iPhone? – прошлый век. Встречайте: AiPhone!

Такое изобретение показали на выставке CES 2024. В его основе – Rabbit OS на голосовом управлении, которая сама рулит всеми программами: может заказать еду, вызвать такси и еще много всего. Что-то вроде супер-умной карманной голосовой станции, в общем. Поступит в продажу в марте и стоить будет 200 долларов.

ПК замена пока не грозит, но и тут не обойдется без изменений: сегодня выяснилось, что даже в родном виндоусовском блокноте появится ИИ-ассистент. А Steam тем временем обновляет свои правила, чтобы публиковать больше игр, разработанных с помощью AI.

2024, ты куда, мы не успеваем

Или лучше “th”?

Что делать, если нет GPU, но очень хочется

Знаем, взять и отдать месячную зарплату на видюху – тяжело... Хорошая новость: можно получить GPU для обучения моделек и бесплатно. Вот ресурсы:

– Конечно же, Google Colab. Недавно они выкатили AI фишки на основе AlphaCode2 даже для бесплатных пользователей. Правда, чтобы потреблять ресурсы сполна, все-таки нужно будет купить подписку.

– Kaggle. Ресурсы, конечно, ограничены, но для большинства задач хватит. Кстати, как раз сегодня у них вышел апдейт – интеграция с Keras.

– Deepnote. По сути, это Jupyter, да еще и с ИИ-помощником, да еще и с GPU, да еще и с поддержкой SQL-запросов. Еще есть приятная встроенная zero-code визуализация таблиц или датафреймов. Советуем!

– А еще: AWS SageMaker, GCP Notebooks, Azure Notebooks

Пользуйтесь, но не забывайте: никогда не оставляйте ноутбук надолго, пока модель обучается...

Что почитать на выходных: новый ликбез-дайджест от DeepLearningAI. Внутри, кроме похвал Эндрю Ына новой статье от Стэнфорда:

– Верхнеуровневый разбор нейросети, которая изобрела новый антибиотик. Как это работает? Что значит для мира?

– Safety Protocol OpenAI. Интересные гипотезы, связанные исследования + экспертное мнение.

– Про AGI. Самая интересная часть! Возможно ли достичь AGI? Какими путями? А что будет после?

Читается на одном дыхании. Рекомендуем!