​​Тонкая настройка предварительно обученных трансформаторов в RNN
Microsoft + Deepmind + ...

Трансформеры - это текущая СОТА в языковом моделировании. Но они сопряжены со значительными вычислительными затратами, поскольку механизм внимания квадратично масштабируется по длине последовательности. Потребление памяти также линейно растет с увеличением длины последовательности. Это узкое место ограничивает использование крупномасштабных предварительно обученных моделей генерации, таких как GPT-3 или преобразователи изображений.

Недавно было предложено несколько эффективных вариантов трансформатора. Например, рекуррентный вариант линейной сложности (https://arxiv.org/abs/2006.16236) оказался хорошо подходящим для генерации авторегрессии. Он аппроксимирует внимание softmax с помощью рандомизированных или эвристических карт характеристик, но может быть трудно обучить или получить неоптимальную точность.

Эта работа преобразует предварительно обученный преобразователь в его эффективный рекуррентный аналог линейной сложности с изученной картой функций для повышения эффективности при сохранении точности. Для этого они заменяют softmax Внимание в готовом предварительно обученном трансформаторе на его рекуррентную альтернативу линейной сложности, а затем тонкую настройку.

➕ Плюсы:
+ Процесс точной настройки требует гораздо меньше времени графического процессора, чем обучение повторяющихся вариантов с нуля
+ Преобразование большого стандартного трансформатора в облегченную модель вывода без повторения всей процедуры обучения очень удобно во многих последующих приложениях.

Собеседование по Data Science: чего от вас ждут
[ Статья ]

Как улучшить свои навыки в веб-разработке, фронтенде и вёрстке?

Просто подписаться на канал «Просто: разработка» и читать ценные статьи, а также авторские наработки от веб-разработчика с десятилетним опытом.

YouTube-канал с уроками, а также чат на тысячу человек — прилагаются.

Подписаться тут: t.me/prostorazrabotka

​​Диаграммы рассеяния

Диаграмма рассеяния лучше всего подходит для визуализации связи между двумя
спаренными множествами данных. Например, на рис. 3.7 показана связь между
числом друзей пользователя и числом минут, которые они проводят на веб-сайте
каждый день:
friends = [ 70, 65, 72, 63, 71, 64, 60, 64, 67)
minutes = [175, 170, 205, 120, 220, 130, 105, 145, 190)
labels = ['а', ·ь·, 'с', 'd', 'е', 'f'' 'g'' 'h', 'i']
# Друзья
# Минуты
# Метки
plt.scatter(friends, minutes)
# Назначить метку для каждой точки
for label, friend_count, minute_count in zip(labels, friends, minutes):
plt.annotate(label,
xy=(friend_count, minute_count), # Задать метку
xytext=(5, -5), # и немного сместить ее
textcoords='offset points')
plt.noscript("Чиcлo минут против числа друзей")
pl t. xlabel ( "Число друзей")
plt.ylabel("Чиcлo минут, проводимых на сайте ежедневно")
plt.show ()

Создаем несложный шахматный ИИ: 5 простых этапов
[ Статья ]

​Интересуетесь искусственным интеллектом? 🤖

Тогда 29 апреля присоединяйтесь к онлайн-лекции от Лектория Skillbox об искусственном интеллекте и проблемах, к которым он может привести.

Регистрация по ссылке: https://clc.am/ERZokA

Вы рассмотрите:

✅ последние достижения в области ИИ и машинного обучения;
✅ страхи, связанные с появлением сверхинтеллекта;
✅ проблему «цифрового тайного суда»;
✅ реальность угрозы ИИ для человечества;
✅ связь искусственного интеллекта и социальных проблем.

🔥 Лекцию проведет Сергей Марков — руководитель Управления экспериментальных систем машинного обучения департамента SberDevices в Сбербанке, основатель научно-популярного портала 22century.ru.

Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions

Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.

На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.

По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.

Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.

Регистрация обязательна: https://vk.cc/c1ek4U

Технология FPGA для искусственного интеллекта.

Трудно представить другую технологию, которая настолько разносторонняя как FPGA.
FPGA — Field-Programmable Gate Array, то есть программируемая логическая матрица (ПЛМ), программируемая логическая интегральная схема (ПЛИС). Это технология, при которой создается микросхема с набором логических элементов, триггеров, иногда оперативной памяти и программируемых электрических связей между ними. При этом программирование FPGA оказывается похоже на разработку электрической схемы, а не программы. Пользуюсь данной технологией давно и попробую описать самые полезные с моей точки зрения применения по мере их усложнения.

Cферы применения решений FPGA + AI и Преимущества FPGA для искусственного интеллекта.
https://telegra.ph/Cfery-primeneniya-reshenij-FPGA--AI-03-09

Описание алгоритмов сортировки и сравнение их производительности

[ Статья ]

​​Основы ИНС - Очень полезная статья для тех , кто ещё не знаком или мало знаком со сферой ИНС (искусственых нейронных сетей).

Пишешь на Objective-C/Swift/Java/Kotlin?
15, 22 или 29 мая ты сможешь получить оффер в Яндекс за 1 день!

Нужно:
Зарегистрироваться на сайте
Решить две задачи онлайн
В любую субботу на выбор пройти две онлайн секции с кодом. Оффер в тот же вечер твой.

Подавай заявку на One Day Offer и начинай проходить!

Как устроены камеры с искусственным интеллектом

В каждой умной камере есть встроенная видеоаналитика, сегодня чаще всего здесь используются нейросети глубокого обучения или искусственный интеллект. Это стало возможным благодаря увеличению мощности процессоров видеокамер, раньше видеоаналитика могла существовать только на серверах.
[ Статья ]

Подготовка данных в Data Science-проекте: рецепты для молодых хозяек
/ Статья /

​​Введение в матрицы и матричную арифметику для машинного обучения

[ Статья ].

10 примеров, как искусственный интеллект может изменить ваш образ жизни

Искусственный интеллект в последнее время привлекает все больше внимания, и, если верить Биллу Гейтсу, из всех современных инноваций именно эта имеет наибольший потенциал изменить нашу жизнь сделать ее «более продуктивной, эффективной и вообще легкой».
[ Статья ]

​Какие требования предъявляют работодатели к специалистам Machine learning на Middle+ уровне?

5 мая Дмитрием Сергеевым, Senior Data Scientist в Oura, проведет обзор рынка вакансий Data Science для специалистов с опытом и поделится карьерными инсайтами. Вы узнаете ,какие навыки и технологии понадобятся для карьерного роста и познакомитесь с программой онлайн-курсов «Machine Learning. Advanced».

Как подготовиться к встрече? Пройдите вступительный тест, чтобы оценить свой уровень знаний и сложность курса.
Зарегистрируйтесь, чтобы участвовать в трансляции и задать свои вопросы эксперту https://otus.pw/kIne/

5 причин работать в Power BI

Бесплатный мастер-класс от Онлайн Школы Аналитики и Данных IQBI

Программа мастер-класса:
🔎Узнаете о возможностях Power BI на реальном бизнес-кейсе
🔎Разберете подводные камни перехода в Power BI
🔎Получите честные ответы на все вопросы
🔎Получите бонусы и полезные материалы для обучения Power BI

Время проведения: 6 мая в 19:00
Спикер: Михаил Ивлиев
📊Основатель онлайн школы IQBI
🥇Сертифицированный партнёр Microsoft по Power BI

Ссылка для бесплатной регистрации: https://vk.cc/c1DNu8

Оптимизация производительности MySQL сервера
От скорости работы баз данных (БД) зависит быстрота отклика сайта. Ведь замедленная обработка запросов влияет на PHP, следовательно — накапливается огромное количество операций, с которыми сервер может не справиться.
Управлять данным процессом позволяет использование систем управления базами данных или СУБД. Одной из самых широко применяемых СУБД является MySQL — ПО с открытым исходным кодом, созданное компанией MySQL AB (Oracle) ещё в 1995 году. Оптимизация MySQL позволяет избежать проблем с производительностью сервера и значительно ускорить интернет-ресурс.
В статье представлены варианты повышения производительности баз данных MySQL с помощью специального скрипта, а также указаны параметры настройки, на которые необходимо обратить внимание.
Статья.

​​2021 г. Научные тенденции в области данных

2020 год был сложным для всех. Несмотря на то, что он был полон неожиданных событий, он позволил внедрить новые разработки в цифровой мир.
Про эти нововведения можете почитать в статье ниже.
[ Статья ]