Data Science | Machinelearning [ru] – Telegram
Data Science | Machinelearning [ru]
20.1K subscribers
629 photos
39 videos
29 files
3.52K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
Выберите алгоритмы сортировки для которых асимптотическая оценка в наихудшем случае O(n<sup>2</sup>)
#Алгоритмы

Ответ предусматривает несколько вариантов

Шелла - 4
👍👍 9%
Быстрая - 8
👍👍👍 18%
Пузырьковая - 24
👍👍👍👍👍👍👍👍 55%
Слиянием - 4
👍👍 9%
Выбором - 4
👍👍 9%
👥 44 человека уже проголосовало.
⬆️ Правильный ответ ⬆️
Быстрая
Пузырьковая
Выбором
JigsawGAN: генеративная нейросетевая модель собирает пазлы
JigsawGAN — это генеративная self-supervised нейросетевая модель, которую обучили на задаче сбора пазлов. Модель принимает на вход хаотично расположенные части изображения. На основе этого модель восстанавливает оригинальное изображение. Нейросеть не требует дополнительной информации по изображению для поиска решения. Нейросеть обходит альтернативные подходы по количественным и качественным метрикам.
Какой алгоритм сортировки признается лучшим и наиболее эффективным?
#Алгоритмы

Сортировка Шелла - 8
👍👍👍 12%
Сортировка вставками - 1
👍 2%
Сортировка слиянием - 3
👍👍 5%
Сортировка Чарльза Хоара (быстрая) - 35
👍👍👍👍👍👍👍👍 53%
Шейкерная сортировка - 1
👍 2%
Сортировка бинарным деревом - 18
👍👍👍👍👍 27%
👥 66 человек уже проголосовало.
⬆️ Правильный ответ ⬆️
Сортировка Чарльза Хоара (быстрая)
Перед вами один из самых интересных учебников по машинному обучению – разделу искусственного интеллекта, изучающего методы построения моделей, способных обучаться, и алгоритмов для их построения и обучения. Автор воздал должное невероятному богатству предмета и не упустил из виду объединяющих принципов. Читатель с первых страниц видит машинное обучение в действии, но без не нужных на первых порах технических деталей. По мере изучения предмета тщательно подобранные примеры, сопровождаемые иллюстрациями, постепенно усложняются.
В чём разница между расширенным алгоритмом Евклида и обычным?
#Алгоритмы

Расширенный алгоритм Евклида позволяет извлечь дополнительную информацию - 26
👍👍👍👍👍👍👍👍 81%
Расширенный алгоритм Евклида работает быстрее, но более сложный в реализации - 5
👍👍 16%
Между ними нет существенной разницы - 1
👍 3%
👥 32 человека уже проголосовало.
⬆️ Правильный ответ ⬆️
Расширенный алгоритм Евклида позволяет извлечь дополнительную информацию
​​Математика для Data Science: 3 полезных закона

Закон Бенфорда
Закон Бенфорда — это математический закон в котором говорится о первой цифре числа из набора реальных данных.
Если мы представим случайное число, то было бы логично предположить, что его первая цифра также будет случайной. То есть вероятность того, что это будет число от 1 до 9, одинакова для каждого из этих чисел, и составляет около 11,1%. Однако это не так.
Закон Бенфорда утверждает, что первая цифра числа чаще будет меньшей, в большинстве реально встречающихся коллекций чисел.
Давайте попробуем применить этот закон к реальному датасету. Для этой статьи использовались данные из Kaggle о длительности песен в Spotify с 1921 по 2020 год. Вот график того, как часто та или иная цифра является первой:
Вам надо отсортировать массив из 6 элементов. Быстрей всего это выполнит?
#Алгоритмы

heap sort (пирамидальная сортировка) - 5
👍👍 9%
bubble sort (пузырьковая сортировка) - 29
👍👍👍👍👍👍👍👍 50%
quick sort (быстрая сортировка Хоара) - 24
👍👍👍👍👍👍👍 41%
👥 58 человек уже проголосовало.
⬆️ Правильный ответ ⬆️
bubble sort (пузырьковая сортировка)

Подробно можно почитать здесь
Искусственный интеллект поможет московским врачам при эндоскопии

В Боткинской больнице точный диагноз помогает ставить искусственный интеллект. Во время эндоскопии система не только показывает состояние внутренних органов, но легко обнаруживает подозрительный участок, а, значит, приступить к лечению можно незамедлительно.
"Искусственный интеллект" приходит на помощь к столичным врачам. Видеть больше, а значит, лучше ставить диагнозы. На обследовании - женщина 68 лет. В Боткинскую больницу поступила с жалобами на боли в кишечнике. Гастроскопия и колоноскопия должны дать полную картину состояния пациента. Но в этот раз исследования проводятся в буквальном смысле в "четыре глаза".
Так называемый "искусственный интеллект" – это, по сути, дополнительный монитор к эндоскопической системе, который позволяет врачу увидеть более детальную картину исследования, и при необходимости обратить внимание на подозрительный участок слизистой пациента.
От эндоскопического аппарата сигнал поступает в систему, где и начинается глубокий анализ. То, что может не заметить человек, программа не пропустит.
"Это плоское новообразование, которое может быть доктор сразу и не увидит, но с использованием искусственного интеллекта, который несколько раз немножечко с задержкой, но при этом акцентирует наше внимание на том, что здесь есть новообразование и надо обратить на него внимание", - объясняет заведующая эндоскопическим отделением Боткинской больницы Ирина Коржаева.
Обращает внимание врача "искусственный интеллект" синим квадратом. Он обозначает область, где обязательно нужна более точная диагностика. Окончательное решение о наличии или отсутствии патологии и дальнейшем лечении принимает только врач.
"Это, собственно говоря, очередное достижение нашей науки в пользу врача и в пользу, конечно, пациента, потому что из этих маленьких образований в некоторых случаях вырастают большие проблемы", - говорит заведующая эндоскопическим отделением Боткинской больницы Ирина Коржева.
Разработчики "Искусственного интеллекта" для эндоскопии - из Ярославского государственного университета. На базе регионального онкоцентра они опробовали, а теперь внедрили и в Боткинской больнице метод находить новообразования в организме пациента.
"Фактически переложили имеющиеся разработки в области детектирования объектов на вот эту тему эндоскопическую", - говорит один из разработчиков системы искусственного интеллекта Александр Ганин.
При этом искусственный интеллект применяют в медицине уже не первый год.
"Мы уже системно включаем в промышленную эксплуатацию новые алгоритмы, продолжаем прототипировать и подключать новые алгоритмы, и выводим в промышленную эксплуатацию в медицинских организациях и создаем этот рынок для разработчиков", - заявил Директор Центра диагностики и телемедицины Сергей Морозов.
А разработчики, в свою очередь, уже осваивают новое направление телемедицины. Совсем скоро они смогут определять факторы риска болезней сердца. Это поможет обнаруживать первые признаки инсульта или рассеянного склероза, а значит, вовремя лечить и спасать тысячи пациентов.
Как правильно использовать инструменты Data Engineering? Узнайте бесплатно, посмотрев демо-занятие «Spark Data API» и День открытых дверей курса «Экосистема Hadoop, Spark, HiveI» по ссылке: https://otus.pw/VnxA/

Для доступа ко всем бесплатным мероприятиям курса пройдите вступительный тест: https://otus.pw/EZnl/

Успейте занять последние места на курсе «Экосистема Hadoop, Spark, Hive». Старт занятий 25 февраля. После обучения вы сможете писать распределенные приложения, работать с потоками данных, обрабатывать большие объемы данных и оптимизировать приложения.
Сколько условных операторов типа if-else следует использовать для реализации алгоритма:
y = 1, если x > 0
y = 0, если x = 0
y = -1, если x < 0
#Программирование

Три - 10
👍👍 12%
Четыре
▫️ 0%
Два - 71
👍👍👍👍👍👍👍👍 88%
👥 81 человек уже проголосовал.
Математика для Data Scientist: необходимые разделы

Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.

Для специалиста Data Science важны следующие направления математики:

статистика;
теория вероятностей;
математический анализ;
линейная алгебра.

Подробно
Эта книга не только учебник, но и краткое руководство к решению задач. Излагаемые основы теории вероятностей и математической статистики сопровождаются большим количеством задач (в том числе экономических), приводимых с решениями и для самостоятельной работы. При этом упор делается на основные понятия курса, их теоретико-вероятностный смысл и применение. Приводятся примеры использования вероятностных и математико-статистических методов в задачах массового обслуживания и моделях финансового рынка.
Учебное пособие содержит справочные сведения и примеры решения задач основных типов по разделам «Линейные и евклидовы пространства» и «Конечномерные линейные операторы в линейных и евклидовых пространствах» курсов «Линейная алгебра», «Алгебра», «Геометрия и алгебра» для вузов. Приведено значительное количество задач и упражнений для самостоятельного решения, которые могут быть использованы как для аудиторной работы, так и для индивидуальных заданий.
Распознавание эмоций с помощью радиосигналов - новая находка ученых
Новые открытия в области нейробиологии и искусственного интеллекта позволяют нам предполагать, что наши мысли вскоре перестанут быть нашим личным делом. В исследовании, опубликованном на прошлой неделе Лондонским Университетом Королевы Марии, рассказывается, как ученые смогли использовать глубокую нейронную сеть для определения эмоционального состояния человека путем анализа сигналов радиоволн.
С помощью радиоволн можно измерить частоту сердечных сокращений, сигналов дыхания и предсказывать, что чувствует человек, даже при отсутствии каких-либо визуальных сигналов - например, выражение лица.
На первом этапе эксперимента исследователи попросили испытуемых посмотреть видео-ролики. Содержание этих роликов позволяло вызывать в людях одну из четырех эмоций: гнев, печаль, радость и удовольствие. Во время просмотра исследователи посылали в сторону участника эксперимента простые радиосигналы, подобные тем, которые передаются от любой беспроводной системы, включая радар или Wi-Fi и измеряли сигналы, которые отражались от него.
Анализируя изменения этих сигналов, вызванные малейшими движениями тела, исследователи смогли получить информацию о сердце и частоте дыхания человека. Система искусственного интеллекта с помощью методов глубокого изучения анализировала эти сигналы и выдавала результаты об эмоциональном состоянии людей.
Традиционно сбор данных об эмоциях человека основывался на анализе видимых сигналов, таких как мимика, речь, жесты тела или движения глаз. Но эти методы не всегда надежны, поскольку они не могут эффективно улавливать внутренние эмоции человека, и исследователи все чаще обращаются к «невидимым» сигналам, таким как ЭКГ, чтобы понять эмоции.
Сигналы ЭКГ определяют электрическую активность сердца, которая связана с нервной системой человека. Сейчас измерение этих сигналов в основном выполняется с помощью датчиков, которые размещаются на теле, и в последнее время исследователи стали искать бесконтактные подходы. Одним из таких инструментов обнаружения эмоций стали радиоволны.
«Сейчас мы пытаемся понять, как мы можем использовать существующие недорогие системы, такие как маршрутизаторы Wi-Fi, для обнаружения эмоций большого количества собравшихся людей, например, в офисе или на работе. Такой подход позволит нам классифицировать эмоции каждого человека при выполнении им своих обычных рабочих функций. Кроме того, мы стремимся повысить точность обнаружения эмоций в рабочей среде, используя передовые методы глубокого обучения», - говорит Ахсан Нур Хан, аспирант университета Королевы Марии и один из авторов исследования.
А профессор Ян Хао, руководитель проекта, заявил следующее: «Это исследование открывает множество возможностей для практического применения, особенно в таких областях, как взаимодействие человека и робота, а также в сфере здравоохранения и эмоционального благополучия, которым пандемия  Covid-19 придала более важное значение».
Комментарий РВС

Ученых должно было бы также интересовать и то, как психологически влияет на человека ситуация, когда за ним постоянно наблюдают с помощью видеокамер, когда направляют на него радиоволны с целью изучать его эмоциональное состояние. По сути, человека лишают не только его внешнего личного пространства (при постоянном наблюдении видеокамер ни о каком личном пространстве не может быть и речи), но теперь и его внутренний мир подлежит вскрытию. Вполне вероятно, что подобные технологии станут использоваться повсеместно, как сейчас на каждом углу используются видеокамеры. Наблюдение за человеком всегда меняет его поведение. И далеко не всегда в лучшую сторону. Но такого тотального и агрессивного вторжения в личное пространство человек еще не испытывал. И оно, безусловно, не пройдет для нашей психики даром.

Источник: rvs.su
Профессии будущего в сфере IT

По данным атласа новых профессий в ближайшее время будут востребованы специалисты новых профессий. Сегодня мы сделали выборку по направлению IT

ПРОЕКТИРОВЩИК НЕЙРОИНТЕРФЕЙСОВ.
Специалист, занимающийся разработкой совместимых с нервной системой человека интерфейсов для управления компьютерами, домашними и промышленными роботами, с учетом психологии и физиологии пользователей.
SAM: нейросеть меняет возраст на изображении лица человека
SAM — это нейросетевая модель, которая меняет возраст человека на изображении. Модель принимает на вход изображение лица человека и целевой возраст.
На выходе нейросеть отдает сгенерированное изображение, где лицо целевой персоны изменено в соответствии с возрастным сдвигом. Модель умеет как омолаживать лица на изображениях, так и состаривать.
В качестве архитектуры исследователи использовали генеративно-состязательную модель StyleGAN. Модель позволяет редактировать сгенерированные изображения. По результатам экспериментов, SAM обходит state-of-the-art подходы.