Автоэнкодеры для удаления шумов с изображений
Все глубже погружаясь в машинное и глубокое обучение меня очень заинтересовала тема автоэнкодеров, особенно с точки зрения удаления шумов. Поиски различной интересующей меня информации дали свои результаты, но, к сожалению, почти везде работа автоэнкодеров рассматривается на примере очень популярного набора данныx MNIST. Коллекция изображений данного набора имеет размер 28х28, данные разделены на наборы для обучения и тестирования. Однако, хотелось бы увидеть как работают автоэнкодеры на практике на более реальных изображениях. И прежде, чем приступать к практике, давайте сначала немного вспомним, что из себя представляют автоэнкодеры.
Читать...
Все глубже погружаясь в машинное и глубокое обучение меня очень заинтересовала тема автоэнкодеров, особенно с точки зрения удаления шумов. Поиски различной интересующей меня информации дали свои результаты, но, к сожалению, почти везде работа автоэнкодеров рассматривается на примере очень популярного набора данныx MNIST. Коллекция изображений данного набора имеет размер 28х28, данные разделены на наборы для обучения и тестирования. Однако, хотелось бы увидеть как работают автоэнкодеры на практике на более реальных изображениях. И прежде, чем приступать к практике, давайте сначала немного вспомним, что из себя представляют автоэнкодеры.
Читать...
20 уроков, которые я вынес из 20 лет работы программистом
Приобретенный за последние двадцать лет опыт сформировал мои взгляды на разработку и привел меня к некоторым выводам — я попытался скомпоновать их в удобоваримый список, в котором вы, надеюсь, найдете что-то ценное для себя.
https://habr.com/en/company/productivity_inside/blog/717108/
Приобретенный за последние двадцать лет опыт сформировал мои взгляды на разработку и привел меня к некоторым выводам — я попытался скомпоновать их в удобоваримый список, в котором вы, надеюсь, найдете что-то ценное для себя.
https://habr.com/en/company/productivity_inside/blog/717108/
7 способов улучшения датасетов медицинских снимков для машинного обучения
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать...
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать...
О трёх существенных недостатках известных алгоритмов обучения с подкреплением (и о том, как их устранить)
Уже несколько десятилетий существуют такие алгоритмы машинного обучения с подкреплением, как Q-learning и REINFORCE. До сих пор часто применяется их классическая реализация. К сожалению, эти алгоритмы не лишены фундаментальных недостатков, значительно усложняющих обучение хорошей политике. Рассмотрим три основных недостатка классических алгоритмов обучения с подкреплением, а также решения, направленные на их преодоление.
Читать...
Уже несколько десятилетий существуют такие алгоритмы машинного обучения с подкреплением, как Q-learning и REINFORCE. До сих пор часто применяется их классическая реализация. К сожалению, эти алгоритмы не лишены фундаментальных недостатков, значительно усложняющих обучение хорошей политике. Рассмотрим три основных недостатка классических алгоритмов обучения с подкреплением, а также решения, направленные на их преодоление.
Читать...
Сколько стоит содержать виртуальную девушку? Создаем подругу, записывающую кружочки в Telegram, с помощью 4 нейросетей
Не так давно в интернете появилась душещипательная история, как пользователь hackdaddy8000 сперва создал виртуальную девушку, а затем усыпил ее. Моральный и мемный аспект этого события обсуждали в комментариях под новостями.
Поговорим о технической стороне. Как повторить этот шедевр и можно ли обойтись без сервисов OpenAI, которые сложно оплатить в России? И главное — сколько придется инвестировать в виртуальную подругу.
Читать...
Не так давно в интернете появилась душещипательная история, как пользователь hackdaddy8000 сперва создал виртуальную девушку, а затем усыпил ее. Моральный и мемный аспект этого события обсуждали в комментариях под новостями.
Поговорим о технической стороне. Как повторить этот шедевр и можно ли обойтись без сервисов OpenAI, которые сложно оплатить в России? И главное — сколько придется инвестировать в виртуальную подругу.
Читать...
Методы и способы построения нейросетевого ПО. Что надо знать, если вы решили профессионально разрабатывать ИНС. Часть 1
Научная группа из Московского Энергетического Института провела исследование о наиболее распространённых методах и способах построения нейросетевого программного обеспечения. В данной цикле статей мы расскажем какие знания о нейросетях нужно иметь, если вы решили профессионально разрабатывать нейросети.
Читать...
Научная группа из Московского Энергетического Института провела исследование о наиболее распространённых методах и способах построения нейросетевого программного обеспечения. В данной цикле статей мы расскажем какие знания о нейросетях нужно иметь, если вы решили профессионально разрабатывать нейросети.
Читать...
Генеративный ИИ и его будущее
В конце прошлого года на крупнейших IT-ресурсах появились десятки статей о ChatGPT, которого назвали чат-ботом нового поколения. Но наш обзор посвящен не конкретным продуктам, а тем технологиям, которые позволяют создавать подобные проекты, и их перспективам.
Главной задачей генеративного ИИ является создание нового контента на основе алгоритмов машинного обучения. И это не только текст, но также изображения, музыка и даже видео. 2022 год можно с полным правом назвать прорывным в этом отношении.
Читать...
В конце прошлого года на крупнейших IT-ресурсах появились десятки статей о ChatGPT, которого назвали чат-ботом нового поколения. Но наш обзор посвящен не конкретным продуктам, а тем технологиям, которые позволяют создавать подобные проекты, и их перспективам.
Главной задачей генеративного ИИ является создание нового контента на основе алгоритмов машинного обучения. И это не только текст, но также изображения, музыка и даже видео. 2022 год можно с полным правом назвать прорывным в этом отношении.
Читать...
Об экшн-трансформере как следующем этапе развития модели трансформер и не только
В последний год многие интересующиеся технологиями искусственного интеллекта замерли в ожидании и следят за развитием интересного стартапа. Он собирается предложить миру новый способ взаимодействия с компьютером и радикально усовершенствовать этот процесс…
Читать...
В последний год многие интересующиеся технологиями искусственного интеллекта замерли в ожидании и следят за развитием интересного стартапа. Он собирается предложить миру новый способ взаимодействия с компьютером и радикально усовершенствовать этот процесс…
Читать...
10 первых ошибок в карьере ML-инженера
Работа ML-инженера заключается не только в обучении моделей — хороший специалист погружается в бизнес-контекст, умеет доносить мысли до коллег без ML-бэкграунда, а также не забывает про тесты, дизайн-документы и документацию.
Богдан Печёнкин, автор Симулятора ML, собрал 10 ошибок специалистов, которые зачастую встречаются в первые годы карьеры.
Читать...
Работа ML-инженера заключается не только в обучении моделей — хороший специалист погружается в бизнес-контекст, умеет доносить мысли до коллег без ML-бэкграунда, а также не забывает про тесты, дизайн-документы и документацию.
Богдан Печёнкин, автор Симулятора ML, собрал 10 ошибок специалистов, которые зачастую встречаются в первые годы карьеры.
Читать...
🔎Как Яндекс научился распознавать, что написано в рукописных архивах
Генеалогическое исследование — очень трудоёмкий процесс. Информация о родственниках разбросана по разным архивам, запросы на получение данных могут обрабатываться долго, а доступ даже в открытые архивы ограничен.
В какой-то момент у автора родилась мысль упростить этот процесс с помощью Яндекс OCR и у него получилось!
Со статьи узнаете всю его историю: с чего всё начиналось, как велась работа и каков был его результат🔥
Читать...
Генеалогическое исследование — очень трудоёмкий процесс. Информация о родственниках разбросана по разным архивам, запросы на получение данных могут обрабатываться долго, а доступ даже в открытые архивы ограничен.
В какой-то момент у автора родилась мысль упростить этот процесс с помощью Яндекс OCR и у него получилось!
Со статьи узнаете всю его историю: с чего всё начиналось, как велась работа и каков был его результат🔥
Читать...
Хабр
Как Яндекс научился распознавать, что написано в рукописных архивах
Привет, Хабр. Меня зовут Саша, в прошлый раз я рассказывал сообществу про поиск организаций в Яндексе. В этот раз мы вновь поговорим про поиск, но уже совершенно другого рода. Сегодня расскажем про «...
Семь дощечек мастерства на службе ML
Как мы все знаем, основная проблема распознавания заключается в том, что эта задача требует значительных ресурсов для решения даже простейших вариантов машинами.
В этом топике вы познакомитесь с интересным подходом к решению задачи распознавания абстрактных диаграмм с помощью головоломки Танграм.
Читать....
Как мы все знаем, основная проблема распознавания заключается в том, что эта задача требует значительных ресурсов для решения даже простейших вариантов машинами.
В этом топике вы познакомитесь с интересным подходом к решению задачи распознавания абстрактных диаграмм с помощью головоломки Танграм.
Читать....
Хабр
Семь дощечек мастерства на службе ML
Сегодня задачи технического зрения становятся с каждым днем все более актуальными. Одной из классических и, пожалуй, самых распространенных и востребованных задач этой сферы является распознавание....
🤔Чему люди научились у компьютеров
Чему мы научились у компьютеров? На первый взгляд, постановка вопроса абсурдная. Ведь люди сами придумали информатику, сконструировали компьютерную технику и написали софт. Как можно чему-то научиться у своего детища?
Оказывается, можно.
В статые увидите некоторые примеры, как изменилась наша жизнь под влиянием компьютерных алгоритмов. Речь о чертах характера, моделях поведения и восприятии окружающего мира.
Читать...
Чему мы научились у компьютеров? На первый взгляд, постановка вопроса абсурдная. Ведь люди сами придумали информатику, сконструировали компьютерную технику и написали софт. Как можно чему-то научиться у своего детища?
Оказывается, можно.
В статые увидите некоторые примеры, как изменилась наша жизнь под влиянием компьютерных алгоритмов. Речь о чертах характера, моделях поведения и восприятии окружающего мира.
Читать...
Хабр
Чему люди научились у компьютеров
Чему мы научились у компьютеров? На первый взгляд, постановка вопроса абсурдная. Ведь люди сами придумали информатику, сконструировали компьютерную технику и написали софт. Как можно чему-то научиться...
🫡chatGPT написал за меня статью для Хабра и какой она вышла
Сейчас эта нейросеть уже пишет дипломы, которые можно успешно защитить в типичном российском вузе. Stack Overflow уже запретил публиковать ответы, сгенерированные нейросетью. А что ждет порталы, вроде Хабра?
На волне хайпа с chatGPT автор решил попробовать попросить нашумевшую нейронку сделать за меня работу писателя. Потратил он 10 минут и вот, что из этого вышло.
Ниже текст самой статьи. Без каких либо правок и редактуры, как сама сеть его сгенерировала по запросу "Напиши мне статью в стиле статей портала habr.ru на тему DDD в Python с использованием функционального программирования":
Читать...
Сейчас эта нейросеть уже пишет дипломы, которые можно успешно защитить в типичном российском вузе. Stack Overflow уже запретил публиковать ответы, сгенерированные нейросетью. А что ждет порталы, вроде Хабра?
На волне хайпа с chatGPT автор решил попробовать попросить нашумевшую нейронку сделать за меня работу писателя. Потратил он 10 минут и вот, что из этого вышло.
Ниже текст самой статьи. Без каких либо правок и редактуры, как сама сеть его сгенерировала по запросу "Напиши мне статью в стиле статей портала habr.ru на тему DDD в Python с использованием функционального программирования":
Читать...
Хабр
chatGPT написал за меня статью для Хабра и какой она вышла
Всем привет! На волне хайпа с chatGPT мне захотелось попробовать попросить нашумевшую нейронку сделать за меня работу писателя. Я потратил 10 минут и вот, что из этого вышло. Ниже текст самой статьи....
О «раздутом пузыре» нейросетей
На днях автор наткнулся на одно любопытное видео:
https://youtu.be/dTPldoQevss
Его первой реакцией было отрицание и усталость, потому что всё это он уже слышит с разной интенсивностью на протяжении лет пяти, в зависимости от текущих объектов хайпа.
В этом посте автор попытался разобраться, что из сказанного в видео реально является правдой.
Читать...
На днях автор наткнулся на одно любопытное видео:
https://youtu.be/dTPldoQevss
Его первой реакцией было отрицание и усталость, потому что всё это он уже слышит с разной интенсивностью на протяжении лет пяти, в зависимости от текущих объектов хайпа.
В этом посте автор попытался разобраться, что из сказанного в видео реально является правдой.
Читать...
⚡Как работает персонализированная лента
Слышали фразу “алгоритмы тиктока”? “Лента рекомендаций”? А “вам может быть интересно”?
Мир цифрового контента и его потребления - относительно новый феномен и ключевую роль в формировании его таким, какой он есть сейчас играет идея персонализации.
В этой статье узнаете: как же решается задача персонализации? Что из себя представляют те самые алгоритмы тиктока? “Почему мне показывают женщин в купальниках, хотя я такое не смотрю”?
Читать...
Слышали фразу “алгоритмы тиктока”? “Лента рекомендаций”? А “вам может быть интересно”?
Мир цифрового контента и его потребления - относительно новый феномен и ключевую роль в формировании его таким, какой он есть сейчас играет идея персонализации.
В этой статье узнаете: как же решается задача персонализации? Что из себя представляют те самые алгоритмы тиктока? “Почему мне показывают женщин в купальниках, хотя я такое не смотрю”?
Читать...
Жуткий сценарий использования ChatGPT
Представьте, что ваш менеджер присылает вам емейл: "я вот тут сгенерил с помощью ChatGPT код на языке описания аппаратуры SystemVerilog, который реализует мою идею, ты его поправь немного и в продакшн, а то нас сроки поджимают".
Почему это жутко? Потому что в обсуждаемом посте ChatGPT сгенерил так называемый несинтезируемый код.
В статье вы подробно узнаете о том, что такое синтезируемое и несинтезируемое подмножества SystemVerilog-а.
Читать...
Представьте, что ваш менеджер присылает вам емейл: "я вот тут сгенерил с помощью ChatGPT код на языке описания аппаратуры SystemVerilog, который реализует мою идею, ты его поправь немного и в продакшн, а то нас сроки поджимают".
Почему это жутко? Потому что в обсуждаемом посте ChatGPT сгенерил так называемый несинтезируемый код.
В статье вы подробно узнаете о том, что такое синтезируемое и несинтезируемое подмножества SystemVerilog-а.
Читать...
😎ClearML
Материалов про ClearML даже на русском немало (хотя и меньше, чем про аналогичные платформы), правда, они в основном дублируют сайт продукта и его документацию.
Здесь же автор расскажет про топ-5 фичей и особенностей, которые делают ClearML бесценным инструментом. Конечно же, с картинками и настоящими примерами.
Читать....
Материалов про ClearML даже на русском немало (хотя и меньше, чем про аналогичные платформы), правда, они в основном дублируют сайт продукта и его документацию.
Здесь же автор расскажет про топ-5 фичей и особенностей, которые делают ClearML бесценным инструментом. Конечно же, с картинками и настоящими примерами.
Читать....
🔍Как нейросеть справляется с реальными заказами на бирже копирайтинга
Автор статьи рассказывает как они взяли 8 заказов на бирже копирайтинга eTxT и отдали их в работу нейросети.
Они решили на практике проверить, может ли нейросеть заменить копирайтеров, которые работают на бирже и берут там заказы по цене до 100 рублей за тысячу символов.
Если вы копирайтер, то наверное уже слышали про то, что нейросети скоро вытеснят копирайтеров, из этой статьи вы узнаете так ли это или все не так плохо.
Читать...
Автор статьи рассказывает как они взяли 8 заказов на бирже копирайтинга eTxT и отдали их в работу нейросети.
Они решили на практике проверить, может ли нейросеть заменить копирайтеров, которые работают на бирже и берут там заказы по цене до 100 рублей за тысячу символов.
Если вы копирайтер, то наверное уже слышали про то, что нейросети скоро вытеснят копирайтеров, из этой статьи вы узнаете так ли это или все не так плохо.
Читать...