MedBench: NLP-задачи в медицине, модели и методы их решения
Уже некоторое время я занимаюсь изучением методов машинного обучения, в частности, касающихся автоматической обработки текстов (Natural Language Processing, NLP). В конце прошлого года мне удалось попасть на стажировку в Sber AI Lab. Оказавшись в команде проекта MedBench, у меня появилась возможность поработать над практическими NLP задачами. В этой статье я бы хотел рассказать вам о проекте, которым занимался на протяжении своей стажировки. Проект связан с использованием нейронных сетей в сфере медицины, но подробнее о нём после небольшого введения.
Читать...
Уже некоторое время я занимаюсь изучением методов машинного обучения, в частности, касающихся автоматической обработки текстов (Natural Language Processing, NLP). В конце прошлого года мне удалось попасть на стажировку в Sber AI Lab. Оказавшись в команде проекта MedBench, у меня появилась возможность поработать над практическими NLP задачами. В этой статье я бы хотел рассказать вам о проекте, которым занимался на протяжении своей стажировки. Проект связан с использованием нейронных сетей в сфере медицины, но подробнее о нём после небольшого введения.
Читать...
Важные исследования в области AI в 2022 г
Данная статья представляет собой свободный перевод раздела "Исследования" из доклада State of the Art 2022 (октябрь). Доклад State of the Art публикуется уже пятый год. Это подборка самых интересных вещей в мире AI.
Читать...
Данная статья представляет собой свободный перевод раздела "Исследования" из доклада State of the Art 2022 (октябрь). Доклад State of the Art публикуется уже пятый год. Это подборка самых интересных вещей в мире AI.
Читать...
Пишем прототип программы для обучения английскому языку с помощью OpenAI API
Хочу описать процесс создания приложения, которое работает с OpenAI API. Идея приложения возникла из потребности улучшить мой английский язык. Как говорится, если у вас есть молоток, то все проблемы выглядят как гвозди. Так как я программист, я решил написать Искусственный Интеллект, который будет заменять учителя английского языка.
Читать...
Хочу описать процесс создания приложения, которое работает с OpenAI API. Идея приложения возникла из потребности улучшить мой английский язык. Как говорится, если у вас есть молоток, то все проблемы выглядят как гвозди. Так как я программист, я решил написать Искусственный Интеллект, который будет заменять учителя английского языка.
Читать...
Расскажите, что вы думаете про российские IT-компании — кто, на ваш взгляд, делает классные продукты, у кого самые крутые технологии, а кто недостаточно заботится о сотрудниках.
Опрос займёт не больше 5 минут, среди участников будет разыгран iPhone 14 Pro Max (правила тут).
👉Пройти опрос
Опрос займёт не больше 5 минут, среди участников будет разыгран iPhone 14 Pro Max (правила тут).
👉Пройти опрос
Кому принадлежат платформы генеративного искусственного интеллекта?
Часто новые технологические тенденции становятся «пузырями» задолго до того, как они реально становятся востребованными на рынке. Но бум генеративных ИИ сопровождается реальными достижениями на реальных рынках и реальной подпиткой со стороны реальных компаний. Такие модели, как Stable Diffusion или ChatGPT устанавливают исторические рекорды роста пользователей, а несколько приложений на основе ИИ достигли годового дохода в размере 100 миллионов долларов менее чем через год после запуска. И пора признать, что в некоторых задачах искусственный интеллект уже превосходит людей на несколько порядков. Вопрос один: кто получает основной профит от этого и кто будет владеть всем этим в будущем?
Читать...
Часто новые технологические тенденции становятся «пузырями» задолго до того, как они реально становятся востребованными на рынке. Но бум генеративных ИИ сопровождается реальными достижениями на реальных рынках и реальной подпиткой со стороны реальных компаний. Такие модели, как Stable Diffusion или ChatGPT устанавливают исторические рекорды роста пользователей, а несколько приложений на основе ИИ достигли годового дохода в размере 100 миллионов долларов менее чем через год после запуска. И пора признать, что в некоторых задачах искусственный интеллект уже превосходит людей на несколько порядков. Вопрос один: кто получает основной профит от этого и кто будет владеть всем этим в будущем?
Читать...
Введение в диффузионные модели для генерации изображений – полное руководство
Диффузионные модели могут значительно расширить мир творческой работы и создания контента в целом. За последние несколько месяцев они уже доказали свою эффективность. Количество диффузионных моделей растет с каждым днем, а старые версии быстро устаревают
Читать...
Диффузионные модели могут значительно расширить мир творческой работы и создания контента в целом. За последние несколько месяцев они уже доказали свою эффективность. Количество диффузионных моделей растет с каждым днем, а старые версии быстро устаревают
Читать...
Прогнозирование авиапассажиропотока между городами РФ
Я работаю в авиакомпанию, занимаюсь анализом продаж, что сильно связано в том числе с планированием и прогнозированием. В условиях, когда российский рынок авиаперевозок сужается, авиакомпании стремятся оптимизировать свою маршрутную сеть, а если и развиваться - то только на направлениях с высоким пассажиропотоком. Дефицит самолетов в условиях санкций делает ошибки непростительными, поэтому своей целью я ставил разработку модели прогнозирования трафика между городами РФ.
Читать...
Я работаю в авиакомпанию, занимаюсь анализом продаж, что сильно связано в том числе с планированием и прогнозированием. В условиях, когда российский рынок авиаперевозок сужается, авиакомпании стремятся оптимизировать свою маршрутную сеть, а если и развиваться - то только на направлениях с высоким пассажиропотоком. Дефицит самолетов в условиях санкций делает ошибки непростительными, поэтому своей целью я ставил разработку модели прогнозирования трафика между городами РФ.
Читать...
Плантации XXI века. Как экономическая катастрофа превратила Венесуэлу в центр новой IT-индустрии
Это должно было стать временной подработкой — способом получать какие-то деньги во время учебы. Оскарина Фуэнтес Анайя зарегистрировалась на Appen, платформе для маркировки данных с помощью ИИ, когда она еще училась в колледже, рассчитывая получить хорошо оплачиваемую должность в нефтяной индустрии.
Но затем экономика Венесуэлы рухнула. Инфляция резко выросла, и стабильная «нефтяная» работа, которая когда-то была гарантирована, перестала существовать. Подработка перестала быть временной; теперь она стала её основной работой. Благо, австралийская компания с 27-летней историей и огромными прибылями казалась прекрасным вариантом для начала карьеры.
В итоге вышло не так. И теперь, несмотря на угрозы со стороны Appen, Фуэнтес решила официально рассказать о себе. Она хочет, чтобы люди понимали, на что похож ее труд, и как работает эта важная, но незаметная часть глобального конвейера разработки ИИ.
Читать...
Это должно было стать временной подработкой — способом получать какие-то деньги во время учебы. Оскарина Фуэнтес Анайя зарегистрировалась на Appen, платформе для маркировки данных с помощью ИИ, когда она еще училась в колледже, рассчитывая получить хорошо оплачиваемую должность в нефтяной индустрии.
Но затем экономика Венесуэлы рухнула. Инфляция резко выросла, и стабильная «нефтяная» работа, которая когда-то была гарантирована, перестала существовать. Подработка перестала быть временной; теперь она стала её основной работой. Благо, австралийская компания с 27-летней историей и огромными прибылями казалась прекрасным вариантом для начала карьеры.
В итоге вышло не так. И теперь, несмотря на угрозы со стороны Appen, Фуэнтес решила официально рассказать о себе. Она хочет, чтобы люди понимали, на что похож ее труд, и как работает эта важная, но незаметная часть глобального конвейера разработки ИИ.
Читать...
Хабр
Плантации XXI века. Как экономическая катастрофа превратила Венесуэлу в центр новой IT-индустрии
Это должно было стать временной подработкой — способом получать какие-то деньги во время учебы. Оскарина Фуэнтес Анайя зарегистрировалась на Appen, платформе для маркировки данных с помощью ИИ, когда...
Решение бизнес-задачи с помощью многофакторного кластерного анализа и здравого смысла
В рамках данной публикации я постарался не только поделиться своим практическим опытом решения аналитической задачи, но и уделить внимание профессиональным особенностям, связанным и с софт-скиллами, так как глубоко убеждён, что когнитивные умения в работе не менее важны, чем умение использовать тот или иной инструмент.
Читать...
В рамках данной публикации я постарался не только поделиться своим практическим опытом решения аналитической задачи, но и уделить внимание профессиональным особенностям, связанным и с софт-скиллами, так как глубоко убеждён, что когнитивные умения в работе не менее важны, чем умение использовать тот или иной инструмент.
Читать...
Fukami. Ч.2.1. Как я наполнял контекст. С примерами
В этой статье я рассказываю подробнее о своем системном подходе в формировании контекста в Чате. Во второй половине статьи сделан детальный разбор некоторых интересных кейсов первой сессии работы с ChatGPT.
Приглашаю продолжить чтение моего дневника разработки...
Читать...
В этой статье я рассказываю подробнее о своем системном подходе в формировании контекста в Чате. Во второй половине статьи сделан детальный разбор некоторых интересных кейсов первой сессии работы с ChatGPT.
Приглашаю продолжить чтение моего дневника разработки...
Читать...
MIDV-2020: как мы создали крупнейший датасет документов, удостоверяющих личность
В этой статье мы хотим рассказать как мы создали крупнейший на данный момент набор искусственно созданных документов с большим разнообразием типов документов, их содержания и условий съемки. Каждый из документов имеет уникальные (хоть и выдуманные) значения текстовых полей, уникальную подпись и уникальные искусственно созданные лица.
Читать...
В этой статье мы хотим рассказать как мы создали крупнейший на данный момент набор искусственно созданных документов с большим разнообразием типов документов, их содержания и условий съемки. Каждый из документов имеет уникальные (хоть и выдуманные) значения текстовых полей, уникальную подпись и уникальные искусственно созданные лица.
Читать...
Как мы используем нейросети для создания рекламных материалов
Привет! Меня зовут Роман Максимов, я руководитель группы дизайна в Омни СМ. Наша группа входит в отдел цифрового дизайна и занимается диджитал- и веб-дизайном интернет-магазина «Спортмастер» и сайтов монобрендов. Если совсем коротко, то мы отвечаем за всё, что связано с визуальной и креативной составляющей — баннеры, дизайн заглавных страниц, лендингов, видео и всю графическую маркетинговую составляющую.
В этом посте я расскажу про то, как мы используем возможности нейронных сетей, чтобы создавать рекламные материалы и не только.
Итак, про нейронки. Тема уже в целом не новая, но с каждым витком развития получает неплохой импульс в плане актуальности. Крупные компании стали объединять усилия в области генеративного дизайна — Shutterstock запартнёрились с DALL-E, и в будущем можно будет не тратить кучу времени, копаясь в огромном каталоге картинок, а просто взять и написать в поисковой строке нужный запрос. Сеть его обработает и нарисует для подходящую картинку. Если не очень подходящую — просто уточни запрос.
Читать...
Привет! Меня зовут Роман Максимов, я руководитель группы дизайна в Омни СМ. Наша группа входит в отдел цифрового дизайна и занимается диджитал- и веб-дизайном интернет-магазина «Спортмастер» и сайтов монобрендов. Если совсем коротко, то мы отвечаем за всё, что связано с визуальной и креативной составляющей — баннеры, дизайн заглавных страниц, лендингов, видео и всю графическую маркетинговую составляющую.
В этом посте я расскажу про то, как мы используем возможности нейронных сетей, чтобы создавать рекламные материалы и не только.
Итак, про нейронки. Тема уже в целом не новая, но с каждым витком развития получает неплохой импульс в плане актуальности. Крупные компании стали объединять усилия в области генеративного дизайна — Shutterstock запартнёрились с DALL-E, и в будущем можно будет не тратить кучу времени, копаясь в огромном каталоге картинок, а просто взять и написать в поисковой строке нужный запрос. Сеть его обработает и нарисует для подходящую картинку. Если не очень подходящую — просто уточни запрос.
Читать...
💪Стань востребованным инженером, занимающимся разработкой Искусственного интеллекта!
⚡️Приглашаем на бесплатный практикум, на котором расскажем как залететь в ИТ без навыков программирования и получить востребованную профессию с высокой оплатой!
🔥Всего за 3 вечера мы познакомим тебя с нейросетями, ты напишешь свою первую сетку и сможешь лично убедиться насколько интересен AI.
Прими решение поменять свою жизнь сейчас!💥
Регистрация на практикум👈
⚡️Приглашаем на бесплатный практикум, на котором расскажем как залететь в ИТ без навыков программирования и получить востребованную профессию с высокой оплатой!
🔥Всего за 3 вечера мы познакомим тебя с нейросетями, ты напишешь свою первую сетку и сможешь лично убедиться насколько интересен AI.
Прими решение поменять свою жизнь сейчас!💥
Регистрация на практикум👈
Компьютерное зрение: обучение Dense Neural Network
До сих пор мы работали со слоем Dense для классификации изображений. Но на практике перед использованием плотного слоя мы используем пару специальных слоев — слой свертки и слой максимального объединения. Обычно перед использованием плотных слоев можно увидеть множество пар слоев свертки и слоев с максимальным объединением.
Когда за многими парами этих слоев следует плоский слой, а затем несколько плотных слоев, это обычно называют сверточной нейронной сетью (CNN). Сверточные нейронные сети — это своего рода нейронная сеть с прямой связью, искусственные нейроны которой могут реагировать на часть окружающих ячеек в диапазоне покрытия, чего плотный слой не может достичь сам по себе.
Читать...
До сих пор мы работали со слоем Dense для классификации изображений. Но на практике перед использованием плотного слоя мы используем пару специальных слоев — слой свертки и слой максимального объединения. Обычно перед использованием плотных слоев можно увидеть множество пар слоев свертки и слоев с максимальным объединением.
Когда за многими парами этих слоев следует плоский слой, а затем несколько плотных слоев, это обычно называют сверточной нейронной сетью (CNN). Сверточные нейронные сети — это своего рода нейронная сеть с прямой связью, искусственные нейроны которой могут реагировать на часть окружающих ячеек в диапазоне покрытия, чего плотный слой не может достичь сам по себе.
Читать...
Как нарушают законы робототехники: изучаем новые риски безопасности, связанные с ИИ
Искусственный интеллект (ИИ) и машинное обучение (МО) становятся очень популярными. Технология ИИ уже во всю используется в самых разных сферах - от беспилотных автомобилей до здравоохранения, финансов и обслуживания клиентов.
Но по мере того, как все больше и больше компаний внедряют эти технологии в массовом порядке и начинают переплетать их с критически важными бизнес-операциями, они создают новые риски кибербезопасности. Так что, если вы занимаетесь ИБ, и ваша компания начала внедрять машинное обучение, вам точно стоит почитать этот пост.
Читать...
Искусственный интеллект (ИИ) и машинное обучение (МО) становятся очень популярными. Технология ИИ уже во всю используется в самых разных сферах - от беспилотных автомобилей до здравоохранения, финансов и обслуживания клиентов.
Но по мере того, как все больше и больше компаний внедряют эти технологии в массовом порядке и начинают переплетать их с критически важными бизнес-операциями, они создают новые риски кибербезопасности. Так что, если вы занимаетесь ИБ, и ваша компания начала внедрять машинное обучение, вам точно стоит почитать этот пост.
Читать...
Цифровые флуктуации: почему ИИ ошибается и как с этим бороться
На базе нейронных сетей построены многочисленные системы искусственного интеллекта. Они считаются прогрессивным и достаточно надёжным инструментом анализа данных там, где задачу сложно формализовать. Им доверяют управление автомобилями и роботами, идентификацию людей, антифрод у банков и страховых компаний и другие ответственные задачи. При этом даже у лучших реализаций ИИ время от времени случаются грубые ошибки, возникновение которых бывает сложно объяснить.
Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай предположил, что у разноплановых ошибок ИИ существует общая причина. Он выявил её в ходе модельного эксперимента с использованием более 50 000 сгенерированных нейронных сетей, обучение которых продолжалось в течение тысяч эпох для каждой из них.
Читать...
На базе нейронных сетей построены многочисленные системы искусственного интеллекта. Они считаются прогрессивным и достаточно надёжным инструментом анализа данных там, где задачу сложно формализовать. Им доверяют управление автомобилями и роботами, идентификацию людей, антифрод у банков и страховых компаний и другие ответственные задачи. При этом даже у лучших реализаций ИИ время от времени случаются грубые ошибки, возникновение которых бывает сложно объяснить.
Специалист отдела перспективных исследований компании «Криптонит» Игорь Нетай предположил, что у разноплановых ошибок ИИ существует общая причина. Он выявил её в ходе модельного эксперимента с использованием более 50 000 сгенерированных нейронных сетей, обучение которых продолжалось в течение тысяч эпох для каждой из них.
Читать...
«Я нашел художника-волшебника» — как нейросети уже отбирают работу у художников
Пока мы спорили отнимут ли у кого-то нейросети работу, это уже фактически произошло. Одна из крупнейших фриланс бирж fiverr.com добавила специальный раздел, в котором можно заказать услуги, сделанные с использованием нейросетей.
Читать...
Пока мы спорили отнимут ли у кого-то нейросети работу, это уже фактически произошло. Одна из крупнейших фриланс бирж fiverr.com добавила специальный раздел, в котором можно заказать услуги, сделанные с использованием нейросетей.
Читать...
Простейшая нейросеть: еще раз и подробнее
Машинное обучение это незаменимый инструмент для решения задач, которые легко решаются людьми, но не классическими программами. Ребенок легко поймет, что перед ним буква А, а не Д, однако программы без помощи машинного обучения справляются с этим весьма средне. И едва ли вообще справляются при минимальных помехах. Нейросети же уже сейчас решают многие задачи (включая эту) намного лучше людей. Их способность обучаться на примерах и выдавать верный результат поистине очаровывает, однако за ней лежит простая математика. Рассмотрим это на примере простого перцептрона.
Данная статья представляет собой пересказ-конспект первой части книги Тарика Рашида "Создай свою нейросеть" для тех, кто начал изучать тему, не понял отдельные детали или с трудом охватывает общую картину.
Читать...
Машинное обучение это незаменимый инструмент для решения задач, которые легко решаются людьми, но не классическими программами. Ребенок легко поймет, что перед ним буква А, а не Д, однако программы без помощи машинного обучения справляются с этим весьма средне. И едва ли вообще справляются при минимальных помехах. Нейросети же уже сейчас решают многие задачи (включая эту) намного лучше людей. Их способность обучаться на примерах и выдавать верный результат поистине очаровывает, однако за ней лежит простая математика. Рассмотрим это на примере простого перцептрона.
Данная статья представляет собой пересказ-конспект первой части книги Тарика Рашида "Создай свою нейросеть" для тех, кто начал изучать тему, не понял отдельные детали или с трудом охватывает общую картину.
Читать...
Юмор ChatGPT
Языковая модель ChatGPT произвела настоящий фурор. Даже Хабр в последние недели пестрит статьями про неё. Получив доступ к этой модели, я захотел изучить её способность шутить. Научить ИИ понимать юмор - непростая задача, и даже в последние годы успехи ИИ в генерации шуток можно было назвать в лучшем случае скромными. Сможет ли ChatGPT показать что-то новое в этой области? Давайте посмотрим!
Дисклеймер: ради улучшения качества генерации, все манипуляции проводились мной на английском языке, и потом переводились на русский.
Читать...
Языковая модель ChatGPT произвела настоящий фурор. Даже Хабр в последние недели пестрит статьями про неё. Получив доступ к этой модели, я захотел изучить её способность шутить. Научить ИИ понимать юмор - непростая задача, и даже в последние годы успехи ИИ в генерации шуток можно было назвать в лучшем случае скромными. Сможет ли ChatGPT показать что-то новое в этой области? Давайте посмотрим!
Дисклеймер: ради улучшения качества генерации, все манипуляции проводились мной на английском языке, и потом переводились на русский.
Читать...