Big Data: что это такое, как искать, хранить и использовать
https://telegra.ph/Big-Data-chto-ehto-takoe-kak-iskat-hranit-i-ispolzovat-03-22
https://telegra.ph/Big-Data-chto-ehto-takoe-kak-iskat-hranit-i-ispolzovat-03-22
Telegraph
Big Data: что это такое, как искать, хранить и использовать
Определение Big Data Это Петабайты (и больше) сложной и необработанной информации, которая постоянно обновляется. Например, данные IoT-датчиков с промышленного оборудования на заводах, записи транзакций клиентов банка или поисковых запросов с разных устройств.…
🚀 Если очень захотеть, можно и полететь в космос, и выучить английский. И если первое требует много времени и сил, то со вторым всё гораздо проще!
В честь Дня космонавтики с 16 по 19 апреля Премиум-доступ к Puzzle English (@puzzleng) дешевле на 66%🔥
Вы получите неограниченный доступ к тысячам упражнений по грамматике и аудированию, видеоурокам, играм, песням и книгам значительно дешевле обычной цены. Подойдёт и новичкам, и продвинутым.
Узнать больше о сервисе и получить доступ:
https://u.to/Z08-Gw
В честь Дня космонавтики с 16 по 19 апреля Премиум-доступ к Puzzle English (@puzzleng) дешевле на 66%🔥
Вы получите неограниченный доступ к тысячам упражнений по грамматике и аудированию, видеоурокам, играм, песням и книгам значительно дешевле обычной цены. Подойдёт и новичкам, и продвинутым.
Узнать больше о сервисе и получить доступ:
https://u.to/Z08-Gw
Методы сортировки данных. Алгоритмы поиска и сортировки
Алгоритмы сортировки данных широко используются в программировании для решения различных задач. В этой статье мы рассмотрим несколько основных алгоритмов сортировки данных в массиве.
/ Статья /
Алгоритмы сортировки данных широко используются в программировании для решения различных задач. В этой статье мы рассмотрим несколько основных алгоритмов сортировки данных в массиве.
/ Статья /
Подготовка данных в Data Science-проекте: рецепты для молодых хозяек
/ Статья /
/ Статья /
Хабр
Подготовка данных в Data Science-проекте: рецепты для молодых хозяек
В предыдущей статье я рассказывала про структуру Data Science-проекта по материалам методологии IBM: как он устроен, из каких этапов состоит, какие задачи решаются на каждой стадии. Теперь я бы...
Как дата-саентисты помогают по-новому взглянуть на футбол, а нейросети пишут гороскопы и вызывают налоговые скандалы — читайте в апрельском Data Science-дайджесте от Нетологии.
https://netology.ru/blog/04-2021-data-science-daijest
https://netology.ru/blog/04-2021-data-science-daijest
Медиа Нетологии
Data Science–дайджест: полезные статьи, сервисы и мероприятия
Cвадьба с NFT-токенами, музыкальная группа, созданная нейросетью, и самые популярные имена в России. Нетология собрала подборку интересных статей и сервисов по Data Science.
Комплексная нейронная сеть на основе ряда Фурье от функции многих переменных
[ Статья ]
[ Статья ]
Хабр
Комплексная нейронная сеть на основе ряда Фурье от функции многих переменных
Есть много задач, для решения которых нейронные сети прямого распространения с сигмоидальной активационной функцией не являются оптимальными. Например — задачи распознавание бинарных изображений, с...
Научитесь с помощью компьютерного зрения решать реальные задачи бизнеса! Если вы Data Scientist с опытом и хотите освоить новые технологии, ждем вас на онлайн-курсе «Computer Vision».
📍Справитесь ли вы с уровнем курса? Покажет вступительный тест.
Пройдите тестирование, чтобы:
● оценить свои навыки
● занять место на курсе по специальной цене
● получить доступ к демо-урокам курса
👉🏻Пройти тестирование: https://otus.pw/Ii51/
📍Справитесь ли вы с уровнем курса? Покажет вступительный тест.
Пройдите тестирование, чтобы:
● оценить свои навыки
● занять место на курсе по специальной цене
● получить доступ к демо-урокам курса
👉🏻Пройти тестирование: https://otus.pw/Ii51/
Чем искусственный интеллект отличается от машинного обучения?
*AI* Искусственный интеллект нацелен на создание художественной компьютерной системы, подобной людям, для решения сложных проблем.
*ML* позволяет машинам учиться на данных, чтобы они могли выдавать точный результат
*AI* В зависимости от возможностей ИИ можно разделить на 3 типа. Слабый ИИ, Общий ИИ и сильный ИИ.
*ML* ML делится на 3 типа: обучение с учителем, обучение без учителя и обучение с подкреплением.
*AI* Системы искусственного интеллекта заинтересованы в максимальном увеличении шкалы успеха.
*ML* Машинное обучение в основном связано с точностью и закономерностями.
*AI* ИИ позволяет машине имитировать поведение человека.
*ML* Машинное обучение - это разновидность искусственного интеллекта
*AI* В основном имеет дело со структурированными полуструктурированными и неструктурированными данными.
*ML* ML работает со структурированными и полуструктурированными данными.
*AI* Применение ИИ - это Siri, поддержка клиентов с помощью кэтботов, интеллектуальных гуманоидных роботов и т. Д.
*ML* Применением машинного обучения являются системы рекомендаций, алгоритмы поиска, предложения автоматической пометки друзей в Facebook и т. Д.
*AI* Искусственный интеллект нацелен на создание художественной компьютерной системы, подобной людям, для решения сложных проблем.
*ML* позволяет машинам учиться на данных, чтобы они могли выдавать точный результат
*AI* В зависимости от возможностей ИИ можно разделить на 3 типа. Слабый ИИ, Общий ИИ и сильный ИИ.
*ML* ML делится на 3 типа: обучение с учителем, обучение без учителя и обучение с подкреплением.
*AI* Системы искусственного интеллекта заинтересованы в максимальном увеличении шкалы успеха.
*ML* Машинное обучение в основном связано с точностью и закономерностями.
*AI* ИИ позволяет машине имитировать поведение человека.
*ML* Машинное обучение - это разновидность искусственного интеллекта
*AI* В основном имеет дело со структурированными полуструктурированными и неструктурированными данными.
*ML* ML работает со структурированными и полуструктурированными данными.
*AI* Применение ИИ - это Siri, поддержка клиентов с помощью кэтботов, интеллектуальных гуманоидных роботов и т. Д.
*ML* Применением машинного обучения являются системы рекомендаций, алгоритмы поиска, предложения автоматической пометки друзей в Facebook и т. Д.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Демо-занятие является частью онлайн-курса «Экосистема Hadoop, Spark, Hive». Для вас это возможность попробовать курс, познакомиться с преподавателем и получить ценные навыки. Для регистрации пройдите вступительный тест https://otus.pw/eEGc/
Демо-занятие является частью онлайн-курса «Экосистема Hadoop, Spark, Hive». Для вас это возможность попробовать курс, познакомиться с преподавателем и получить ценные навыки. Для регистрации пройдите вступительный тест https://otus.pw/eEGc/
Тонкая настройка предварительно обученных трансформаторов в RNN
Microsoft + Deepmind + ...
Трансформеры - это текущая СОТА в языковом моделировании. Но они сопряжены со значительными вычислительными затратами, поскольку механизм внимания квадратично масштабируется по длине последовательности. Потребление памяти также линейно растет с увеличением длины последовательности. Это узкое место ограничивает использование крупномасштабных предварительно обученных моделей генерации, таких как GPT-3 или преобразователи изображений.
Недавно было предложено несколько эффективных вариантов трансформатора. Например, рекуррентный вариант линейной сложности (https://arxiv.org/abs/2006.16236) оказался хорошо подходящим для генерации авторегрессии. Он аппроксимирует внимание softmax с помощью рандомизированных или эвристических карт характеристик, но может быть трудно обучить или получить неоптимальную точность.
Эта работа преобразует предварительно обученный преобразователь в его эффективный рекуррентный аналог линейной сложности с изученной картой функций для повышения эффективности при сохранении точности. Для этого они заменяют softmax Внимание в готовом предварительно обученном трансформаторе на его рекуррентную альтернативу линейной сложности, а затем тонкую настройку.
➕ Плюсы:
+ Процесс точной настройки требует гораздо меньше времени графического процессора, чем обучение повторяющихся вариантов с нуля
+ Преобразование большого стандартного трансформатора в облегченную модель вывода без повторения всей процедуры обучения очень удобно во многих последующих приложениях.
Microsoft + Deepmind + ...
Трансформеры - это текущая СОТА в языковом моделировании. Но они сопряжены со значительными вычислительными затратами, поскольку механизм внимания квадратично масштабируется по длине последовательности. Потребление памяти также линейно растет с увеличением длины последовательности. Это узкое место ограничивает использование крупномасштабных предварительно обученных моделей генерации, таких как GPT-3 или преобразователи изображений.
Недавно было предложено несколько эффективных вариантов трансформатора. Например, рекуррентный вариант линейной сложности (https://arxiv.org/abs/2006.16236) оказался хорошо подходящим для генерации авторегрессии. Он аппроксимирует внимание softmax с помощью рандомизированных или эвристических карт характеристик, но может быть трудно обучить или получить неоптимальную точность.
Эта работа преобразует предварительно обученный преобразователь в его эффективный рекуррентный аналог линейной сложности с изученной картой функций для повышения эффективности при сохранении точности. Для этого они заменяют softmax Внимание в готовом предварительно обученном трансформаторе на его рекуррентную альтернативу линейной сложности, а затем тонкую настройку.
➕ Плюсы:
+ Процесс точной настройки требует гораздо меньше времени графического процессора, чем обучение повторяющихся вариантов с нуля
+ Преобразование большого стандартного трансформатора в облегченную модель вывода без повторения всей процедуры обучения очень удобно во многих последующих приложениях.
Собеседование по Data Science: чего от вас ждут
[ Статья ]
[ Статья ]
Хабр
Собеседование по Data Science: чего от вас ждут
Data Science – область очень перспективная . За прошлый год мы в ЕРАМ получили 210 резюме от людей, которые хотят заниматься Data Science. Из них на техническое интервью мы пригласили 43 человека, а...
Как улучшить свои навыки в веб-разработке, фронтенде и вёрстке?
Просто подписаться на канал «Просто: разработка» и читать ценные статьи, а также авторские наработки от веб-разработчика с десятилетним опытом.
YouTube-канал с уроками, а также чат на тысячу человек — прилагаются.
Подписаться тут: t.me/prostorazrabotka
Просто подписаться на канал «Просто: разработка» и читать ценные статьи, а также авторские наработки от веб-разработчика с десятилетним опытом.
YouTube-канал с уроками, а также чат на тысячу человек — прилагаются.
Подписаться тут: t.me/prostorazrabotka
Диаграммы рассеяния
Диаграмма рассеяния лучше всего подходит для визуализации связи между двумя
спаренными множествами данных. Например, на рис. 3.7 показана связь между
числом друзей пользователя и числом минут, которые они проводят на веб-сайте
каждый день:
Диаграмма рассеяния лучше всего подходит для визуализации связи между двумя
спаренными множествами данных. Например, на рис. 3.7 показана связь между
числом друзей пользователя и числом минут, которые они проводят на веб-сайте
каждый день:
friends = [ 70, 65, 72, 63, 71, 64, 60, 64, 67)minutes = [175, 170, 205, 120, 220, 130, 105, 145, 190)labels = ['а', ·ь·, 'с', 'd', 'е', 'f'' 'g'' 'h', 'i']# Друзья# Минуты# Меткиplt.scatter(friends, minutes)# Назначить метку для каждой точкиfor label, friend_count, minute_count in zip(labels, friends, minutes):plt.annotate(label,xy=(friend_count, minute_count), # Задать меткуxytext=(5, -5), # и немного сместить ееtextcoords='offset points')plt.noscript("Чиcлo минут против числа друзей")pl t. xlabel ( "Число друзей")plt.ylabel("Чиcлo минут, проводимых на сайте ежедневно")plt.show ()Создаем несложный шахматный ИИ: 5 простых этапов
[ Статья ]
[ Статья ]
Хабр
Создаем несложный шахматный ИИ: 5 простых этапов
Перевели для вас статью Лори Хартикка (Lauri Hartikka) о создании простейшего ИИ для шахмат. Она написана еще в 2017 году, но базовые принципы остались теми же. Все файлы, которые использовал...
Интересуетесь искусственным интеллектом? 🤖
Тогда 29 апреля присоединяйтесь к онлайн-лекции от Лектория Skillbox об искусственном интеллекте и проблемах, к которым он может привести.
Регистрация по ссылке: https://clc.am/ERZokA
Вы рассмотрите:
✅ последние достижения в области ИИ и машинного обучения;
✅ страхи, связанные с появлением сверхинтеллекта;
✅ проблему «цифрового тайного суда»;
✅ реальность угрозы ИИ для человечества;
✅ связь искусственного интеллекта и социальных проблем.
🔥 Лекцию проведет Сергей Марков — руководитель Управления экспериментальных систем машинного обучения департамента SberDevices в Сбербанке, основатель научно-популярного портала 22century.ru.
Тогда 29 апреля присоединяйтесь к онлайн-лекции от Лектория Skillbox об искусственном интеллекте и проблемах, к которым он может привести.
Регистрация по ссылке: https://clc.am/ERZokA
Вы рассмотрите:
✅ последние достижения в области ИИ и машинного обучения;
✅ страхи, связанные с появлением сверхинтеллекта;
✅ проблему «цифрового тайного суда»;
✅ реальность угрозы ИИ для человечества;
✅ связь искусственного интеллекта и социальных проблем.
🔥 Лекцию проведет Сергей Марков — руководитель Управления экспериментальных систем машинного обучения департамента SberDevices в Сбербанке, основатель научно-популярного портала 22century.ru.
Бесплатный вебинар «Как запустить проект в Kubernetes за 60 минут» от Mail․ru Cloud Solutions
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ek4U
Kubernetes — сложная для внедрения технология, если запускать ее самостоятельно, преодолевая все подводные камни и неочевидные препятствия. Специалисты MCS помогут вам подготовиться к возможным трудностям.
На вебинаре от Mail․ru Cloud Solutions 29 апреля вы узнаете, как быстро задеплоить проект в Kubernetes за 60 минут, как справиться со всеми сложностями и настроить автоматизированный конвейер разработки приложения.
По итогам вебинара вы получите готовый репозиторий в GitHub и сможете самостоятельно повторить все действия, которые будут продемонстрированы спикером в рамках вебинара.
Мероприятие пройдет в четверг, 29 апреля, онлайн.
Начало в 17:00 по Москве.
Регистрация обязательна: https://vk.cc/c1ek4U