Итоги 2020 года: самые интересные AI-решения и проекты
В последние годы на рынке IT наблюдается настоящий бум в области решений на базе искусственного интеллекта. И в этом нет ничего удивительного: современные вычислительные и нейросетевые технологии достигли уровня, позволяющего AI-системам решать весьма сложные для человека практические задачи, а разработчикам — создавать инновационные приложения и сервисы, демонстрирующие безграничный потенциал электронного разума.
В последние годы на рынке IT наблюдается настоящий бум в области решений на базе искусственного интеллекта. И в этом нет ничего удивительного: современные вычислительные и нейросетевые технологии достигли уровня, позволяющего AI-системам решать весьма сложные для человека практические задачи, а разработчикам — создавать инновационные приложения и сервисы, демонстрирующие безграничный потенциал электронного разума.
Ученые из MIT предложили ИИ решить проблему ядерной энергии в форме игры
В новом исследовании ученые показали, как глубокое обучение с подкреплением можно использовать для разработки более эффективных ядерных реакторов. На это их вдохновили успехи ИИ в настольных играх.
Сейчас ядерная энергия дает больше безуглеродной электроэнергии в США, чем солнечная и ветровая вместе взятые. Это делает ее ключевым игроком в борьбе с изменением климата. Однако методы ее добычи несовершенны и устаревают. Необходимо оптимизировать процесс, чтобы ядерная энергетика могла конкурировать с угольными и газовыми электростанциями на рынке.
В новом исследовании ученые показали, как глубокое обучение с подкреплением можно использовать для разработки более эффективных ядерных реакторов. На это их вдохновили успехи ИИ в настольных играх.
Сейчас ядерная энергия дает больше безуглеродной электроэнергии в США, чем солнечная и ветровая вместе взятые. Это делает ее ключевым игроком в борьбе с изменением климата. Однако методы ее добычи несовершенны и устаревают. Необходимо оптимизировать процесс, чтобы ядерная энергетика могла конкурировать с угольными и газовыми электростанциями на рынке.
Датасеты, необходимые для отработки навыков DS и создания отличного портфолио
Единственный способ изучить data science, data analysis, machine learning или темы искусственного интеллекта — это практиковаться или выполнять проекты. Альтернативы этому нет. Но по большому счету приходится тратить много времени на поиск подходящего набора данных. В этой статье ты найдешь датасеты, которые могут быть полезными новичкам. Каждый датасет привязан к определенной DS-теме.
Единственный способ изучить data science, data analysis, machine learning или темы искусственного интеллекта — это практиковаться или выполнять проекты. Альтернативы этому нет. Но по большому счету приходится тратить много времени на поиск подходящего набора данных. В этой статье ты найдешь датасеты, которые могут быть полезными новичкам. Каждый датасет привязан к определенной DS-теме.
Какая из команд применяется для чтения записей в SQL
READ - 7
👍 5%
SELECT - 145
👍👍👍👍👍👍👍👍 95%
QUERY - 1
👍 1%
👥 153 человека уже проголосовало.
READ - 7
👍 5%
SELECT - 145
👍👍👍👍👍👍👍👍 95%
QUERY - 1
👍 1%
👥 153 человека уже проголосовало.
10 лучших навыков инженеров по обработке данных в 2021 году
Инженерия данных становится все более востребованной профессией, и, несмотря на бурный 2020 год, приведенная выше диаграмма показывает, что спрос на нее больше, чем когда-либо. Из-за пандемии рабочих мест в апреле было мало, но они быстро восстановились до наступления традиционного летнего затишья, а затем спрос значительно вырос в последнем квартале 2020 года
Инженерия данных становится все более востребованной профессией, и, несмотря на бурный 2020 год, приведенная выше диаграмма показывает, что спрос на нее больше, чем когда-либо. Из-за пандемии рабочих мест в апреле было мало, но они быстро восстановились до наступления традиционного летнего затишья, а затем спрос значительно вырос в последнем квартале 2020 года
Пять вопросов на собеседовании, чтобы определить хорошего специалиста по данным
Тем из нас, кто работает в этой профессии, мы постоянно напоминаем о резкой нехватке специалистов по обработке данных .Положение будет только ухудшаться, прежде чем начнутся улучшения, поскольку спрос на такие технологии, как машинное обучение , искусственный интеллект и глубокое обучение, находится на такой восходящей стадии. В результате этого дефицита мы видим, как многие люди ощущают возможности высокооплачиваемой занятости и переходят из других профессий. В результате этого натиска проблема для работодателей очевидна: вы не всегда получаете лучших кандидатов на свои открытые должности.
Тем из нас, кто работает в этой профессии, мы постоянно напоминаем о резкой нехватке специалистов по обработке данных .Положение будет только ухудшаться, прежде чем начнутся улучшения, поскольку спрос на такие технологии, как машинное обучение , искусственный интеллект и глубокое обучение, находится на такой восходящей стадии. В результате этого дефицита мы видим, как многие люди ощущают возможности высокооплачиваемой занятости и переходят из других профессий. В результате этого натиска проблема для работодателей очевидна: вы не всегда получаете лучших кандидатов на свои открытые должности.
Инфлюенсеры в Big Data и Machine Learning: за кем следить в 2021 году?
Инфлюенсеры – это лидеры мнений. Обычно – пользователи социальных сетей, которые имеют обширную и лояльную аудиторию. Big Data и ML – одни из самых быстро развивающихся сфер в ИТ, поэтому специалистам важно следить за инфлюенсерами и влиятельными сообществами. Ведущие профессионалы отрасли регулярно делятся с широкой аудиторией опытом, а также последними разработками и новостями.
В данной публикации собраны влиятельные инфлюенсеры в сфере Big Data и ML, а также сообщества, на которые стоит подписаться в 2021 году.
Предлагаем вашему вниманию подборку самых влиятельных сообществ и инфлюенсеров в сфере Big Data и Machine Learning.
Сообщества
Big Data and Analytics
Сообщество LinkedIn, в котором собраны не только курсы и офферы для аналитиков Big Data, но и вся актуальная информация от ведущих экспертов области. Сообщества на LinkedIn – одно из лучших мест для энтузиастов данных и начинающих ученых, желающих овладеть искусством работы с большими данными. Активное участие в дискуссиях и собственные публикации дают возможность укрепить знания, найти наставника и расширить сеть профессиональных контактов.
Data Science Central
Твиттер-аккаунт одного из самых известных сообществ Data Science, где вы найдете новости о последних технологиях Big Data, машинного обучения, AI, Deep Learning, dataviz, Hadoop, IoT, и BI. Data Science Central объединяет пользователей, которые хотят получить уникальный опыт участия в дискуссиях на темы сбора и интеграции, а также аналитики и визуализации данных. Построенное на инновационной платформе сообщество включает технические форумы и сведения о рыночных тенденциях, а также дает возможности социального взаимодействия и трудоустройства.
DataDriven
В DataDriven работают над проектами на стыке науки о данных и социального воздействия в таких областях, как международное развитие, здравоохранение, образование, исследования и охрана природы, а также общественные услуги. Платформа работает над тем, чтобы предоставить организациям больший доступ к возможностям науки о данных, и привлечь больше ученых-исследователей к решению социальных задач, где их навыки могут иметь значение.
Инфлюенсеры – это лидеры мнений. Обычно – пользователи социальных сетей, которые имеют обширную и лояльную аудиторию. Big Data и ML – одни из самых быстро развивающихся сфер в ИТ, поэтому специалистам важно следить за инфлюенсерами и влиятельными сообществами. Ведущие профессионалы отрасли регулярно делятся с широкой аудиторией опытом, а также последними разработками и новостями.
В данной публикации собраны влиятельные инфлюенсеры в сфере Big Data и ML, а также сообщества, на которые стоит подписаться в 2021 году.
Предлагаем вашему вниманию подборку самых влиятельных сообществ и инфлюенсеров в сфере Big Data и Machine Learning.
Сообщества
Big Data and Analytics
Сообщество LinkedIn, в котором собраны не только курсы и офферы для аналитиков Big Data, но и вся актуальная информация от ведущих экспертов области. Сообщества на LinkedIn – одно из лучших мест для энтузиастов данных и начинающих ученых, желающих овладеть искусством работы с большими данными. Активное участие в дискуссиях и собственные публикации дают возможность укрепить знания, найти наставника и расширить сеть профессиональных контактов.
Data Science Central
Твиттер-аккаунт одного из самых известных сообществ Data Science, где вы найдете новости о последних технологиях Big Data, машинного обучения, AI, Deep Learning, dataviz, Hadoop, IoT, и BI. Data Science Central объединяет пользователей, которые хотят получить уникальный опыт участия в дискуссиях на темы сбора и интеграции, а также аналитики и визуализации данных. Построенное на инновационной платформе сообщество включает технические форумы и сведения о рыночных тенденциях, а также дает возможности социального взаимодействия и трудоустройства.
DataDriven
В DataDriven работают над проектами на стыке науки о данных и социального воздействия в таких областях, как международное развитие, здравоохранение, образование, исследования и охрана природы, а также общественные услуги. Платформа работает над тем, чтобы предоставить организациям больший доступ к возможностям науки о данных, и привлечь больше ученых-исследователей к решению социальных задач, где их навыки могут иметь значение.
Три гипотезы о разметке данных, которые мы опровергли
Разметка — подготовка данных для машинного обучения. Мы познакомились с разными подходами к ней, развивая ML-проекты в Яндексе и изучая опыт других компаний. Проверили гипотезы, на которых основаны эти подходы, и отказались от некоторых из них. От каких и почему — рассказывает руководитель Яндекс.Толоки Ольга Мегорская.
Разметка — подготовка данных для машинного обучения. Мы познакомились с разными подходами к ней, развивая ML-проекты в Яндексе и изучая опыт других компаний. Проверили гипотезы, на которых основаны эти подходы, и отказались от некоторых из них. От каких и почему — рассказывает руководитель Яндекс.Толоки Ольга Мегорская.
Оживляем деревья выражений кодогенерацией
Expression Trees — это, пожалуй, самое удобное средство манипуляции кодом в run-time.
Расширять код метапрограммами в compile-time позволяют Roslyn Source Generators, с ними это стало проще, чем когда-либо.
Пора использовать одно во благо другого, даже если мир к этому еще не совсем готов.
Expression Trees — это, пожалуй, самое удобное средство манипуляции кодом в run-time.
Расширять код метапрограммами в compile-time позволяют Roslyn Source Generators, с ними это стало проще, чем когда-либо.
Пора использовать одно во благо другого, даже если мир к этому еще не совсем готов.
Выберите верный синтаксис DELETE выражений.
#SQL
DELETE FROM ORDER BY - 2
👍 2%
DELETE FROM WHERE - 80
👍👍👍👍👍👍👍👍 93%
DELETE WHERE - 4
👍 5%
DELETE FROM HAVING
▫️ 0%
👥 86 человек уже проголосовало.
#SQL
DELETE FROM ORDER BY - 2
👍 2%
DELETE FROM WHERE - 80
👍👍👍👍👍👍👍👍 93%
DELETE WHERE - 4
👍 5%
DELETE FROM HAVING
▫️ 0%
👥 86 человек уже проголосовало.
В учебном пособии изложены основные методы анализа данных в статистическом пакте IBM SPSS Statistics 22: подготовка данных для анализа (описательные статистики, создание набора данных, построение частотных распределений, интервальная оценка генеральной средней); статистические гипотезы (t-критерий Стьюдента, критерий Колмогорова–Смирнова, критерий χ2, U-критерий Манна–Уитни, критерий знаковых рангов Вилкоксона, дисперсионный анализ); корреляционный и регрессионный анализ (парная корреляция, парная линейная регрессия, многофакторная регрессия, нелинейная регрессия, логистическая регрессия, временные ряды); классификация и снижение размерности данных (дискриминантный анализ, факторный анализ, иерархический кластерный анализ, метод К-средних, дерево решений). Изложение материала рассмотрено на примерах, позволяющих получить навыки практического применения анализа данных в социально-экономических исследованиях.
Какой оператор SQL используется для обновления данных в базе данных?
#SQL
COPY
▫️ 0%
SAVE AS - 1
👍 1%
UPDATE - 136
👍👍👍👍👍👍👍👍 95%
SAVE - 1
👍 1%
MODIFY - 5
👍 3%
👥 143 человека уже проголосовало.
#SQL
COPY
▫️ 0%
SAVE AS - 1
👍 1%
UPDATE - 136
👍👍👍👍👍👍👍👍 95%
SAVE - 1
👍 1%
MODIFY - 5
👍 3%
👥 143 человека уже проголосовало.
Технологии будущего: как они преобразят жизнь человека в следующие несколко лет
Ни один сколько-нибудь долгосрочный прогноз развития конкретных технологий не будет точным, и подтверждение тому — ежегодные Gartner Hype Cycle и другие аналитические отчеты. Мы давно ждем беспилотники, умные города, квантовые компьютеры и туристические полеты в космос. Они активно развиваются, но все еще не вошли в жизнь так, как предсказывали аналитики. 2020 год показал, что даже в самые точные прогнозы могут быть внесены неожиданные изменения неучтенными факторами.
Ни один сколько-нибудь долгосрочный прогноз развития конкретных технологий не будет точным, и подтверждение тому — ежегодные Gartner Hype Cycle и другие аналитические отчеты. Мы давно ждем беспилотники, умные города, квантовые компьютеры и туристические полеты в космос. Они активно развиваются, но все еще не вошли в жизнь так, как предсказывали аналитики. 2020 год показал, что даже в самые точные прогнозы могут быть внесены неожиданные изменения неучтенными факторами.
Функциональное программирование - лучшая парадигма кодирования будущего
Функциональное программирование существует последние шесть десятилетий. В связи со взрывным ростом машинного обучения и больших данных популярность функционального программирования растет из-за простоты параллелизации чистых функций. Код для задач анализа данных и рабочих процессов также легче отслеживать, тестировать и поддерживать, используя функциональную парадигму, которая будет способствовать его растущему использованию в будущем.
Функциональное программирование существует последние шесть десятилетий. В связи со взрывным ростом машинного обучения и больших данных популярность функционального программирования растет из-за простоты параллелизации чистых функций. Код для задач анализа данных и рабочих процессов также легче отслеживать, тестировать и поддерживать, используя функциональную парадигму, которая будет способствовать его растущему использованию в будущем.
Нейросеть Microsoft превзошла человека в понимании естественного языка
Система искусственного интеллекта, разработанная в компании Microsoft, оказалась способнее человека в тесте SuperGLUE на понимание естественного языка. Нейросетевая модель DeBERTa получила 90,3 балла, в то время как средний результат человека в этом бенчмарке составляет 89,8 балла.
SuperGLUE был создан в 2019 году при участии научно-исследовательского подразделения Facebook AI Research, принадлежащей Google ИИ-лаборатории DeepMind, а также ученых Вашингтонского и Нью-Йоркского университетов. В тест входят восемь задач, по результатам которых оценивается способность компьютерного алгоритма понимать контекст и структуру текста, распознавать причинно-следственные связи, давать правильный ответ на вопрос на базе прочитанного абзаца и так далее.
DeBERTa удалось понять логику текста лучше, чем человеку. При этом еще полтора года назад, когда был выпущен SuperGLUE, разрыв между самой эффективной нейросетью и людьми составлял почти 20 баллов.
Недавно алгоритм Microsoft был значительно переработан: теперь архитектура DeBERTa состоит из 48 слоев и имеет 1,5 миллиарда параметров. Система учитывает не только значения слов, но и их позиции и роли, а также умеет определять зависимость слов друг от друга.
"Например, DeBERTa понимает, что зависимость между словами 'deep' и 'learning' гораздо сильнее, когда они стоят рядом (термин 'глубокое обучение'), чем когда они встречаются в разных предложениях".
Инженеры Microsoft планируют сделать нейросетевую модель публичной, а также опубликовать её исходный код. Кроме того, DeBERTa будет интегрирована в такие продукты компании, как Bing, Office, Dynamics и Azure Cognitive Services. ИИ поможет улучшить взаимодействие пользователей с чат-ботами, а также позволит давать более точные рекомендации, ответы на вопросы и результаты поиска.
Система искусственного интеллекта, разработанная в компании Microsoft, оказалась способнее человека в тесте SuperGLUE на понимание естественного языка. Нейросетевая модель DeBERTa получила 90,3 балла, в то время как средний результат человека в этом бенчмарке составляет 89,8 балла.
SuperGLUE был создан в 2019 году при участии научно-исследовательского подразделения Facebook AI Research, принадлежащей Google ИИ-лаборатории DeepMind, а также ученых Вашингтонского и Нью-Йоркского университетов. В тест входят восемь задач, по результатам которых оценивается способность компьютерного алгоритма понимать контекст и структуру текста, распознавать причинно-следственные связи, давать правильный ответ на вопрос на базе прочитанного абзаца и так далее.
DeBERTa удалось понять логику текста лучше, чем человеку. При этом еще полтора года назад, когда был выпущен SuperGLUE, разрыв между самой эффективной нейросетью и людьми составлял почти 20 баллов.
Недавно алгоритм Microsoft был значительно переработан: теперь архитектура DeBERTa состоит из 48 слоев и имеет 1,5 миллиарда параметров. Система учитывает не только значения слов, но и их позиции и роли, а также умеет определять зависимость слов друг от друга.
"Например, DeBERTa понимает, что зависимость между словами 'deep' и 'learning' гораздо сильнее, когда они стоят рядом (термин 'глубокое обучение'), чем когда они встречаются в разных предложениях".
Инженеры Microsoft планируют сделать нейросетевую модель публичной, а также опубликовать её исходный код. Кроме того, DeBERTa будет интегрирована в такие продукты компании, как Bing, Office, Dynamics и Azure Cognitive Services. ИИ поможет улучшить взаимодействие пользователей с чат-ботами, а также позволит давать более точные рекомендации, ответы на вопросы и результаты поиска.
Что вернет запрос "select 1 from USERS" ? Если таблица USERS существует.
#SQL
Ошибка выполнения запроса - 5
👍👍 5%
Запрос выведет количества строк в таблице USERS
▫️ 0%
Запрос выведет "1" - 13
👍👍👍 13%
Запрос выведет первую строчку таблицы USERS - 35
👍👍👍👍👍👍 35%
Запрос выведет "1" столько раз, сколько строк в таблице USERS - 46
👍👍👍👍👍👍👍👍 46%
👥 99 человек уже проголосовало.
#SQL
Ошибка выполнения запроса - 5
👍👍 5%
Запрос выведет количества строк в таблице USERS
▫️ 0%
Запрос выведет "1" - 13
👍👍👍 13%
Запрос выведет первую строчку таблицы USERS - 35
👍👍👍👍👍👍 35%
Запрос выведет "1" столько раз, сколько строк в таблице USERS - 46
👍👍👍👍👍👍👍👍 46%
👥 99 человек уже проголосовало.
⬆️ Правильный ответ ⬆️
Запрос выведет "1" столько раз, сколько строк в таблице USERS
Запрос выведет "1" столько раз, сколько строк в таблице USERS
Структуры данных и алгоритмы в Java.
Второе издание одной из самых авторитетных книг по программированию посвящено использованию структур данных и алгоритмов. Алгоритмы — это основа программирования, определяющая, каким образом разрабатываемое программное обеспечение будет использовать структуры данных.
Второе издание одной из самых авторитетных книг по программированию посвящено использованию структур данных и алгоритмов. Алгоритмы — это основа программирования, определяющая, каким образом разрабатываемое программное обеспечение будет использовать структуры данных.