Dusha: самый большой открытый датасет для распознавания эмоций в устной речи на русском языке
У нас в SberDevices очень сильная команда, разрабатывающая и развивающая решения в сфере речевых технологий. Раньше мы уже рассказывали о том, как обучить модель распознавания речи на открытых данных, и о том, как устроен наш синтез.
Однако, помимо распознавания и синтеза речи, мы развиваем технологии распознавания эмоций голоса для линейки наших умных устройств, а также для решений, позволяющих анализировать общение по телефону. Например, на этой технологии базируется наш новый продукт SaluteSpeech Insights, который автоматически оценивает эмоции клиента и оператора колл-центра по каждой произнесенной ими фразе, классифицирует все диалоги на позитивные, нейтральные и негативные, определяет более 300 различных речевых характеристик, а еще прогнозирует оценку CSI (Customer Satisfaction Index).
Читать...
У нас в SberDevices очень сильная команда, разрабатывающая и развивающая решения в сфере речевых технологий. Раньше мы уже рассказывали о том, как обучить модель распознавания речи на открытых данных, и о том, как устроен наш синтез.
Однако, помимо распознавания и синтеза речи, мы развиваем технологии распознавания эмоций голоса для линейки наших умных устройств, а также для решений, позволяющих анализировать общение по телефону. Например, на этой технологии базируется наш новый продукт SaluteSpeech Insights, который автоматически оценивает эмоции клиента и оператора колл-центра по каждой произнесенной ими фразе, классифицирует все диалоги на позитивные, нейтральные и негативные, определяет более 300 различных речевых характеристик, а еще прогнозирует оценку CSI (Customer Satisfaction Index).
Читать...
DLC-2021, или Жулик, не воруй
Всем привет! Мы в Smart Engines занимаемся распознаванием документов и часто об этом рассказываем, а еще мы часто публикуем результаты наших исследований в научных статьях и докладах. В результатах за прошлый год мы упомянули, что создали два открытых датасета. Совсем недавно мы писали о созданном нами наборе данных MIDV-2020. Теперь настало время DLC-2021. Ну что, поехали?
Читать...
Всем привет! Мы в Smart Engines занимаемся распознаванием документов и часто об этом рассказываем, а еще мы часто публикуем результаты наших исследований в научных статьях и докладах. В результатах за прошлый год мы упомянули, что создали два открытых датасета. Совсем недавно мы писали о созданном нами наборе данных MIDV-2020. Теперь настало время DLC-2021. Ну что, поехали?
Читать...
Пишем прототип программы для обучения английскому языку с помощью OpenAI API
Хочу описать процесс создания приложения, которое работает с OpenAI API. Идея приложения возникла из потребности улучшить мой английский язык. Как говорится, если у вас есть молоток, то все проблемы выглядят как гвозди. Так как я программист, я решил написать Искусственный Интеллект, который будет заменять учителя английского языка.
Читать...
Хочу описать процесс создания приложения, которое работает с OpenAI API. Идея приложения возникла из потребности улучшить мой английский язык. Как говорится, если у вас есть молоток, то все проблемы выглядят как гвозди. Так как я программист, я решил написать Искусственный Интеллект, который будет заменять учителя английского языка.
Читать...
Войны ИИ: Google против Microsoft. Как Google вчистую проигрывает одному ChatGPT
Microsoft, Google, Baidu и другие вовсю работают над тем, чтобы первыми создать бота, который сможет отвечать на все ваши вопросы. Битва идет не на жизнь, а на смерть. И пока что в ней выигрывает Microsoft. Всё потому, что в 2019 году она инвестировала в OpenAI, конкурента тогда гораздо более известной DeepMind. Это уже оказалось одной из их лучших инвестиций. В сумме они потратили всего $10 млрд, а их главный конкурент из-за этого на днях потерял $100 млрд капитализации, пытаясь представить публике что-то хотя бы отдаленно похожее.
Читать...
Microsoft, Google, Baidu и другие вовсю работают над тем, чтобы первыми создать бота, который сможет отвечать на все ваши вопросы. Битва идет не на жизнь, а на смерть. И пока что в ней выигрывает Microsoft. Всё потому, что в 2019 году она инвестировала в OpenAI, конкурента тогда гораздо более известной DeepMind. Это уже оказалось одной из их лучших инвестиций. В сумме они потратили всего $10 млрд, а их главный конкурент из-за этого на днях потерял $100 млрд капитализации, пытаясь представить публике что-то хотя бы отдаленно похожее.
Читать...
Что нужно знать нашим ML-сотрудникам
Недавно в комментариях к одному из постов в Варим ML меня спросили, какие навыки и знания нужны, чтобы у нас работать. Вопрос на самом деле очень важный - без правильного ответа невозможно нормально выстроить процессы найма и развития сотрудников. Можно быстро набросать дефолтный список - питончик, ML/DL, докер, и на этом закончить, но я решил зарыться в вопрос пообстоятельнее. Конечно, существуют самые разные родмапы, но лично мне они кажутся излишне общими, а я захотел поразмышлять именно про те скиллы, которые необходимы для работы в Цельсе, а главное про их необходимый уровень.
Читать...
Недавно в комментариях к одному из постов в Варим ML меня спросили, какие навыки и знания нужны, чтобы у нас работать. Вопрос на самом деле очень важный - без правильного ответа невозможно нормально выстроить процессы найма и развития сотрудников. Можно быстро набросать дефолтный список - питончик, ML/DL, докер, и на этом закончить, но я решил зарыться в вопрос пообстоятельнее. Конечно, существуют самые разные родмапы, но лично мне они кажутся излишне общими, а я захотел поразмышлять именно про те скиллы, которые необходимы для работы в Цельсе, а главное про их необходимый уровень.
Читать...
Автор библиотеки, от которой зависит половина веб-сайтов, сидит без денег
Если кратко, автор пакета core-js Денис Пушкарев (zloirock), от которого зависит огромное количество других js-пакетов, за много лет развития core-js не получал почти ничего, при этом ему регулярно прилетал хейт если его библиотека работал плохо, плюс в 20-м году он сел в тюрьму из-за ДТП (по его словам, на дорогу прямо перед его мотоциклом выбежали пьяные люди, впрочем, по правилам виноват был он), через несколько месяцев освободили досрочно, денег нет, получить донаты из-за рубежа затруднительно из-за санкций, американские СМИ "были разочарованы, что он не русский хакер, который вмешивается в американские выборы", в общем, денег нет, поддержки нет, развивать пакет дальше он не может, если кто-то не начнет его спонсировать.
На мой взгляд, это глобальная проблема в ИТ, как в мире, так и в России - вся ИТ-инфраструктура зависит от open source библиотек, авторам которых зачастую никто не платит, зато все предъявляют к ним претензии.
С этим надо что-то делать. Если авторы перестанут развивать эти библиотеки, или же переведут из на проприетарную лицензию, весь интернет может сломаться.
Читать...
Если кратко, автор пакета core-js Денис Пушкарев (zloirock), от которого зависит огромное количество других js-пакетов, за много лет развития core-js не получал почти ничего, при этом ему регулярно прилетал хейт если его библиотека работал плохо, плюс в 20-м году он сел в тюрьму из-за ДТП (по его словам, на дорогу прямо перед его мотоциклом выбежали пьяные люди, впрочем, по правилам виноват был он), через несколько месяцев освободили досрочно, денег нет, получить донаты из-за рубежа затруднительно из-за санкций, американские СМИ "были разочарованы, что он не русский хакер, который вмешивается в американские выборы", в общем, денег нет, поддержки нет, развивать пакет дальше он не может, если кто-то не начнет его спонсировать.
На мой взгляд, это глобальная проблема в ИТ, как в мире, так и в России - вся ИТ-инфраструктура зависит от open source библиотек, авторам которых зачастую никто не платит, зато все предъявляют к ним претензии.
С этим надо что-то делать. Если авторы перестанут развивать эти библиотеки, или же переведут из на проприетарную лицензию, весь интернет может сломаться.
Читать...
Кроссовки с машинным обучением. Как стартап хочет сделать революцию в ходьбе
Стартап Shift Robotics из Питтсбурга изобрел «обувь», которая позволяет ходить на 250% быстрее. При этом человек не затрачивает никакой дополнительной энергии. Такая пара кроссовок стоит 1400 долларов. Дороже любых Yeezy's в разы. Но зато — в буквальном смысле самая быстрая обувь в мире, которая способна превратить вас в Майкла Джексона на максималках. Ну и вживую это выглядит, конечно, очень круто.
Читать...
Стартап Shift Robotics из Питтсбурга изобрел «обувь», которая позволяет ходить на 250% быстрее. При этом человек не затрачивает никакой дополнительной энергии. Такая пара кроссовок стоит 1400 долларов. Дороже любых Yeezy's в разы. Но зато — в буквальном смысле самая быстрая обувь в мире, которая способна превратить вас в Майкла Джексона на максималках. Ну и вживую это выглядит, конечно, очень круто.
Читать...
Автоэнкодеры для удаления шумов с изображений
Все глубже погружаясь в машинное и глубокое обучение меня очень заинтересовала тема автоэнкодеров, особенно с точки зрения удаления шумов. Поиски различной интересующей меня информации дали свои результаты, но, к сожалению, почти везде работа автоэнкодеров рассматривается на примере очень популярного набора данныx MNIST. Коллекция изображений данного набора имеет размер 28х28, данные разделены на наборы для обучения и тестирования. Однако, хотелось бы увидеть как работают автоэнкодеры на практике на более реальных изображениях. И прежде, чем приступать к практике, давайте сначала немного вспомним, что из себя представляют автоэнкодеры.
Читать...
Все глубже погружаясь в машинное и глубокое обучение меня очень заинтересовала тема автоэнкодеров, особенно с точки зрения удаления шумов. Поиски различной интересующей меня информации дали свои результаты, но, к сожалению, почти везде работа автоэнкодеров рассматривается на примере очень популярного набора данныx MNIST. Коллекция изображений данного набора имеет размер 28х28, данные разделены на наборы для обучения и тестирования. Однако, хотелось бы увидеть как работают автоэнкодеры на практике на более реальных изображениях. И прежде, чем приступать к практике, давайте сначала немного вспомним, что из себя представляют автоэнкодеры.
Читать...
20 уроков, которые я вынес из 20 лет работы программистом
Приобретенный за последние двадцать лет опыт сформировал мои взгляды на разработку и привел меня к некоторым выводам — я попытался скомпоновать их в удобоваримый список, в котором вы, надеюсь, найдете что-то ценное для себя.
https://habr.com/en/company/productivity_inside/blog/717108/
Приобретенный за последние двадцать лет опыт сформировал мои взгляды на разработку и привел меня к некоторым выводам — я попытался скомпоновать их в удобоваримый список, в котором вы, надеюсь, найдете что-то ценное для себя.
https://habr.com/en/company/productivity_inside/blog/717108/
7 способов улучшения датасетов медицинских снимков для машинного обучения
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать...
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать...
О трёх существенных недостатках известных алгоритмов обучения с подкреплением (и о том, как их устранить)
Уже несколько десятилетий существуют такие алгоритмы машинного обучения с подкреплением, как Q-learning и REINFORCE. До сих пор часто применяется их классическая реализация. К сожалению, эти алгоритмы не лишены фундаментальных недостатков, значительно усложняющих обучение хорошей политике. Рассмотрим три основных недостатка классических алгоритмов обучения с подкреплением, а также решения, направленные на их преодоление.
Читать...
Уже несколько десятилетий существуют такие алгоритмы машинного обучения с подкреплением, как Q-learning и REINFORCE. До сих пор часто применяется их классическая реализация. К сожалению, эти алгоритмы не лишены фундаментальных недостатков, значительно усложняющих обучение хорошей политике. Рассмотрим три основных недостатка классических алгоритмов обучения с подкреплением, а также решения, направленные на их преодоление.
Читать...
Сколько стоит содержать виртуальную девушку? Создаем подругу, записывающую кружочки в Telegram, с помощью 4 нейросетей
Не так давно в интернете появилась душещипательная история, как пользователь hackdaddy8000 сперва создал виртуальную девушку, а затем усыпил ее. Моральный и мемный аспект этого события обсуждали в комментариях под новостями.
Поговорим о технической стороне. Как повторить этот шедевр и можно ли обойтись без сервисов OpenAI, которые сложно оплатить в России? И главное — сколько придется инвестировать в виртуальную подругу.
Читать...
Не так давно в интернете появилась душещипательная история, как пользователь hackdaddy8000 сперва создал виртуальную девушку, а затем усыпил ее. Моральный и мемный аспект этого события обсуждали в комментариях под новостями.
Поговорим о технической стороне. Как повторить этот шедевр и можно ли обойтись без сервисов OpenAI, которые сложно оплатить в России? И главное — сколько придется инвестировать в виртуальную подругу.
Читать...
Методы и способы построения нейросетевого ПО. Что надо знать, если вы решили профессионально разрабатывать ИНС. Часть 1
Научная группа из Московского Энергетического Института провела исследование о наиболее распространённых методах и способах построения нейросетевого программного обеспечения. В данной цикле статей мы расскажем какие знания о нейросетях нужно иметь, если вы решили профессионально разрабатывать нейросети.
Читать...
Научная группа из Московского Энергетического Института провела исследование о наиболее распространённых методах и способах построения нейросетевого программного обеспечения. В данной цикле статей мы расскажем какие знания о нейросетях нужно иметь, если вы решили профессионально разрабатывать нейросети.
Читать...
Генеративный ИИ и его будущее
В конце прошлого года на крупнейших IT-ресурсах появились десятки статей о ChatGPT, которого назвали чат-ботом нового поколения. Но наш обзор посвящен не конкретным продуктам, а тем технологиям, которые позволяют создавать подобные проекты, и их перспективам.
Главной задачей генеративного ИИ является создание нового контента на основе алгоритмов машинного обучения. И это не только текст, но также изображения, музыка и даже видео. 2022 год можно с полным правом назвать прорывным в этом отношении.
Читать...
В конце прошлого года на крупнейших IT-ресурсах появились десятки статей о ChatGPT, которого назвали чат-ботом нового поколения. Но наш обзор посвящен не конкретным продуктам, а тем технологиям, которые позволяют создавать подобные проекты, и их перспективам.
Главной задачей генеративного ИИ является создание нового контента на основе алгоритмов машинного обучения. И это не только текст, но также изображения, музыка и даже видео. 2022 год можно с полным правом назвать прорывным в этом отношении.
Читать...
Об экшн-трансформере как следующем этапе развития модели трансформер и не только
В последний год многие интересующиеся технологиями искусственного интеллекта замерли в ожидании и следят за развитием интересного стартапа. Он собирается предложить миру новый способ взаимодействия с компьютером и радикально усовершенствовать этот процесс…
Читать...
В последний год многие интересующиеся технологиями искусственного интеллекта замерли в ожидании и следят за развитием интересного стартапа. Он собирается предложить миру новый способ взаимодействия с компьютером и радикально усовершенствовать этот процесс…
Читать...
10 первых ошибок в карьере ML-инженера
Работа ML-инженера заключается не только в обучении моделей — хороший специалист погружается в бизнес-контекст, умеет доносить мысли до коллег без ML-бэкграунда, а также не забывает про тесты, дизайн-документы и документацию.
Богдан Печёнкин, автор Симулятора ML, собрал 10 ошибок специалистов, которые зачастую встречаются в первые годы карьеры.
Читать...
Работа ML-инженера заключается не только в обучении моделей — хороший специалист погружается в бизнес-контекст, умеет доносить мысли до коллег без ML-бэкграунда, а также не забывает про тесты, дизайн-документы и документацию.
Богдан Печёнкин, автор Симулятора ML, собрал 10 ошибок специалистов, которые зачастую встречаются в первые годы карьеры.
Читать...
🔎Как Яндекс научился распознавать, что написано в рукописных архивах
Генеалогическое исследование — очень трудоёмкий процесс. Информация о родственниках разбросана по разным архивам, запросы на получение данных могут обрабатываться долго, а доступ даже в открытые архивы ограничен.
В какой-то момент у автора родилась мысль упростить этот процесс с помощью Яндекс OCR и у него получилось!
Со статьи узнаете всю его историю: с чего всё начиналось, как велась работа и каков был его результат🔥
Читать...
Генеалогическое исследование — очень трудоёмкий процесс. Информация о родственниках разбросана по разным архивам, запросы на получение данных могут обрабатываться долго, а доступ даже в открытые архивы ограничен.
В какой-то момент у автора родилась мысль упростить этот процесс с помощью Яндекс OCR и у него получилось!
Со статьи узнаете всю его историю: с чего всё начиналось, как велась работа и каков был его результат🔥
Читать...
Хабр
Как Яндекс научился распознавать, что написано в рукописных архивах
Привет, Хабр. Меня зовут Саша, в прошлый раз я рассказывал сообществу про поиск организаций в Яндексе. В этот раз мы вновь поговорим про поиск, но уже совершенно другого рода. Сегодня расскажем про «...
Семь дощечек мастерства на службе ML
Как мы все знаем, основная проблема распознавания заключается в том, что эта задача требует значительных ресурсов для решения даже простейших вариантов машинами.
В этом топике вы познакомитесь с интересным подходом к решению задачи распознавания абстрактных диаграмм с помощью головоломки Танграм.
Читать....
Как мы все знаем, основная проблема распознавания заключается в том, что эта задача требует значительных ресурсов для решения даже простейших вариантов машинами.
В этом топике вы познакомитесь с интересным подходом к решению задачи распознавания абстрактных диаграмм с помощью головоломки Танграм.
Читать....
Хабр
Семь дощечек мастерства на службе ML
Сегодня задачи технического зрения становятся с каждым днем все более актуальными. Одной из классических и, пожалуй, самых распространенных и востребованных задач этой сферы является распознавание....