Недавно на youtube-канале Анны Костыра, управляющего партнёра Deloitte Legal, вышел подкаст с нашим участием. Темой выпуска стал LegalTech-рынок в России, его специфика и барьеры развития.
По следам подкаста запускаем рубрику #legaltech_corporate и всю неделю будем рассказывать об особенностях LegalTech-решений для крупного бизнеса. Начнём с определения и попробуем по-новому взглянуть на аудиторию этого рынка.
🗒LegalTech не только для юристов
В общепринятом понимании LegalTech — автоматизация и цифровизация юридической функции. Самые известные примеры — сервисы проверки контрагентов, составления проектов договоров, подбор судебной практики по конкретному делу.
Мы создаем решения для крупного бизнеса и видим LegalTech шире — не только как цифровизацию юридической функции, но и как решение для всех, кто работает с документами. В этот список входят, например, методологи, стандартизаторы, процессники и нормотворцы.
Дело в том, что в России нет сформированных отраслевых ИТ-рынков для этих специалистов. Поскольку большая часть их деятельности построена на работе с документами, они смотрят в сторону LegalTech-решений и ищут возможность применить их под свои задачи.
Всем этим специалистам нужна одна интеллектуальная основа, способная понимать смысл документов, извлекать из большого массива данных знания, сущности и компетенции. Для юриста и методолога системы будут выглядеть по-разному, но интеллектуальная основа, самая дорогая и сложная часть разработки, остается одинаковой.
По следам подкаста запускаем рубрику #legaltech_corporate и всю неделю будем рассказывать об особенностях LegalTech-решений для крупного бизнеса. Начнём с определения и попробуем по-новому взглянуть на аудиторию этого рынка.
🗒LegalTech не только для юристов
В общепринятом понимании LegalTech — автоматизация и цифровизация юридической функции. Самые известные примеры — сервисы проверки контрагентов, составления проектов договоров, подбор судебной практики по конкретному делу.
Мы создаем решения для крупного бизнеса и видим LegalTech шире — не только как цифровизацию юридической функции, но и как решение для всех, кто работает с документами. В этот список входят, например, методологи, стандартизаторы, процессники и нормотворцы.
Дело в том, что в России нет сформированных отраслевых ИТ-рынков для этих специалистов. Поскольку большая часть их деятельности построена на работе с документами, они смотрят в сторону LegalTech-решений и ищут возможность применить их под свои задачи.
Всем этим специалистам нужна одна интеллектуальная основа, способная понимать смысл документов, извлекать из большого массива данных знания, сущности и компетенции. Для юриста и методолога системы будут выглядеть по-разному, но интеллектуальная основа, самая дорогая и сложная часть разработки, остается одинаковой.
Следующий выпуск рубрики #legaltech_corporate — об объеме российского рынка LegalTech. Расскажем, чем наше видение игроков отличается от того, как их определяют аналитики.
🗒Рынок LegalTech в России
Согласно исследованию PwC, двигателем цифровизации юридических отделов российских компаний стала борьба за эффективность. К 2019 году компании стали чаще обращать внимание на разработки в области LegalTech, а некоторые создают собственные решения и выводят их на рынок.
Среди опрошенных, 88% компаний предпочитают пользоваться услугами внешнего провайдера для внедрения LegalTech-решений, оставшиеся 12% полагаются на собственную разработку. Аналитики подсчитали, что на российском рынке более 100 компаний, которые занимаются разработкой LegalTech-решений.
С нашей точки зрения, игроками на рынке являются не только компании, которые занимаются непосредственно разработкой LegalTech-решений, но и команды, которые обладают необходимыми компетенциями, чтобы создать индивидуальное решение под нужды клиента. Такие компании выходят на рынок, например, в результате выигранного тендера на автоматизацию юридической функции в госструктурах или в компаниях с государственным участием.
🗒Рынок LegalTech в России
Согласно исследованию PwC, двигателем цифровизации юридических отделов российских компаний стала борьба за эффективность. К 2019 году компании стали чаще обращать внимание на разработки в области LegalTech, а некоторые создают собственные решения и выводят их на рынок.
Среди опрошенных, 88% компаний предпочитают пользоваться услугами внешнего провайдера для внедрения LegalTech-решений, оставшиеся 12% полагаются на собственную разработку. Аналитики подсчитали, что на российском рынке более 100 компаний, которые занимаются разработкой LegalTech-решений.
С нашей точки зрения, игроками на рынке являются не только компании, которые занимаются непосредственно разработкой LegalTech-решений, но и команды, которые обладают необходимыми компетенциями, чтобы создать индивидуальное решение под нужды клиента. Такие компании выходят на рынок, например, в результате выигранного тендера на автоматизацию юридической функции в госструктурах или в компаниях с государственным участием.
В новом, третьем по счету, выпуске рубрики #legaltech_corporate объясняем, почему LegalTech — это возможность повысить эффективность работы, а не инструмент сокращения издержек.
🗒LegalTech — инвестиция в будущее, а не быстрый результат
Технологии в любой сфере создаются с целью оптимизации бизнес-процессов и получения прибыли. Поэтому для бизнеса важно видеть эффекты от внедрения. Желательно, в виде сокращения издержек.
Юристам сложнее объяснить эффекты от внедрения цифровых решений, чем, например, финансистам и кадровикам. FinTech — развитая отрасль, а эффект от ее технологизации выражается сравнительно быстро и напрямую, — в деньгах. То же можно сказать об HrTech, где автоматизация оценки резюме для считывания нужных компетенций наглядно демонстрирует сокращение объема работы рекрутеров.
Сегодня эффекты от внедрения LegalTech-решений — оптимизация работы, сокращение ручного труда юристов, нормотворцев и других специалистов. Цифровизация этих функций — работа на перспективу: в будущем это позволит минимизировать регуляторные риски, создавать более качественные документы и поможет юристам сконцентрировать внимание на решении сложных кейсов, с которыми алгоритмам не справиться.
🗒LegalTech — инвестиция в будущее, а не быстрый результат
Технологии в любой сфере создаются с целью оптимизации бизнес-процессов и получения прибыли. Поэтому для бизнеса важно видеть эффекты от внедрения. Желательно, в виде сокращения издержек.
Юристам сложнее объяснить эффекты от внедрения цифровых решений, чем, например, финансистам и кадровикам. FinTech — развитая отрасль, а эффект от ее технологизации выражается сравнительно быстро и напрямую, — в деньгах. То же можно сказать об HrTech, где автоматизация оценки резюме для считывания нужных компетенций наглядно демонстрирует сокращение объема работы рекрутеров.
Сегодня эффекты от внедрения LegalTech-решений — оптимизация работы, сокращение ручного труда юристов, нормотворцев и других специалистов. Цифровизация этих функций — работа на перспективу: в будущем это позволит минимизировать регуляторные риски, создавать более качественные документы и поможет юристам сконцентрировать внимание на решении сложных кейсов, с которыми алгоритмам не справиться.
Продолжаем рубрику #legaltech_corporate рассказом об особенностях российского рынка LegalTech.
🗒Специфика рынка LegalTech в России
Многие особенности российского рынка LegalTech характерны для всего российского IT. Вот некоторые из них:
— Безопасность. Сюда входят и особенные требования к безопасности со стороны крупных корпоративных заказчиков, и требование к локализации персональных данных.
— Программа импортозамещения, согласно которой госсектор должен на 80% перейти на отечественное программное обеспечение. Поскольку в крупных компаниях зачастую есть госучастие, это требование затрагивает и их.
— Санкции. Российским компаниям, даже без госучастия, выгоднее устанавливать отечественные разработки. Если компания попадет в санкционный список, она может лишиться доступа к иностранному ПО.
— Стоимость. Российские решения дешевле зарубежных.
Поскольку рынок LegalTech в России только начинает развиваться, большинство потенциальных покупателей ведут себя осторожно, и предпочитают недорогие коробочные решения. Такой выбор можно объяснить небольшими финансовыми потерями в случае, если инструмент не докажет свою эффективность.
В кастомизированные решения, направленные на развитие юридического департамента, вкладываются единицы. Например, их приобретает крупный бизнес, — коробочные решения таким компаниям не подходят. Это связано с тем, что у каждой из них свои процессы и внутренние требования, и им нужна индивидуальная разработка с глубоким изучением их бизнеса.
🗒Специфика рынка LegalTech в России
Многие особенности российского рынка LegalTech характерны для всего российского IT. Вот некоторые из них:
— Безопасность. Сюда входят и особенные требования к безопасности со стороны крупных корпоративных заказчиков, и требование к локализации персональных данных.
— Программа импортозамещения, согласно которой госсектор должен на 80% перейти на отечественное программное обеспечение. Поскольку в крупных компаниях зачастую есть госучастие, это требование затрагивает и их.
— Санкции. Российским компаниям, даже без госучастия, выгоднее устанавливать отечественные разработки. Если компания попадет в санкционный список, она может лишиться доступа к иностранному ПО.
— Стоимость. Российские решения дешевле зарубежных.
Поскольку рынок LegalTech в России только начинает развиваться, большинство потенциальных покупателей ведут себя осторожно, и предпочитают недорогие коробочные решения. Такой выбор можно объяснить небольшими финансовыми потерями в случае, если инструмент не докажет свою эффективность.
В кастомизированные решения, направленные на развитие юридического департамента, вкладываются единицы. Например, их приобретает крупный бизнес, — коробочные решения таким компаниям не подходят. Это связано с тем, что у каждой из них свои процессы и внутренние требования, и им нужна индивидуальная разработка с глубоким изучением их бизнеса.
Предпоследний выпуск рубрики #legaltech_corporate — о шести барьерах, которые, на наш взгляд, не позволяют российскому рынку LegalTech активно развиваться.
🗒Барьеры развития LegalTech в России
Сейчас развитию рынка мешают несколько особенностей:
— Высокая стоимость решений, в том числе из-за необходимости выделить бюджет на их обслуживание
— Неразвитый рынок венчурного капитала. На западе инвесторы готовы дать деньги на проект, который не обязательно окажется успешным. При этом, согласно исследованию НАФИ, в России отрасль постепенно становится одной их самых выгодных и привлекательных для венчурного инвестирования.
— Риски data science-решений. Технические и бизнес-метрики сильно различаются. Заказчик хочет 100% точность работы инструмента, а обеспечить ее практически невозможно в силу качества исходных данных.
— Цена ошибки. Сложно доверять алгоритму, точность работы которого составляет 99%. Ошибка в оставшемся 1% случаев может привести к принятию неправильного юридического решения. Если для оптимизации рутинных процессов такой точности достаточно, то при наделении машины правом принятия решений риск остается высоким.
— Проблема исходных данных. Документы могут храниться в разном виде: в текстовых файлах, сканах или других форматах. Обычно объем данных большой, и чтобы сделать их пригодными для использования, данные необходимо сначала собрать в одном месте и привести к единому виду.
— Односторонний пиар индустрии. В качестве LegalTech-решений гораздо чаще рассматриваются приложения и сервисы с заявкой на инновационность, но с недостаточным функционалом. Рассматривать этот рынок следует гораздо шире.
🗒Барьеры развития LegalTech в России
Сейчас развитию рынка мешают несколько особенностей:
— Высокая стоимость решений, в том числе из-за необходимости выделить бюджет на их обслуживание
— Неразвитый рынок венчурного капитала. На западе инвесторы готовы дать деньги на проект, который не обязательно окажется успешным. При этом, согласно исследованию НАФИ, в России отрасль постепенно становится одной их самых выгодных и привлекательных для венчурного инвестирования.
— Риски data science-решений. Технические и бизнес-метрики сильно различаются. Заказчик хочет 100% точность работы инструмента, а обеспечить ее практически невозможно в силу качества исходных данных.
— Цена ошибки. Сложно доверять алгоритму, точность работы которого составляет 99%. Ошибка в оставшемся 1% случаев может привести к принятию неправильного юридического решения. Если для оптимизации рутинных процессов такой точности достаточно, то при наделении машины правом принятия решений риск остается высоким.
— Проблема исходных данных. Документы могут храниться в разном виде: в текстовых файлах, сканах или других форматах. Обычно объем данных большой, и чтобы сделать их пригодными для использования, данные необходимо сначала собрать в одном месте и привести к единому виду.
— Односторонний пиар индустрии. В качестве LegalTech-решений гораздо чаще рассматриваются приложения и сервисы с заявкой на инновационность, но с недостаточным функционалом. Рассматривать этот рынок следует гораздо шире.
Завершаем рубрику #legaltech_corporate нашим видением будущего LegalTech. Объясняем, на какие технологии стоит обратить внимание и в каком направлении будет развиваться рынок.
🗒Что ждет LegalTech в будущем
Юристам стоит следить не только за развитием LegalTech, а в целом за тем, что происходит в области обработки естественного языка и текстов. Например, недавно Open AI выпустил нейросеть GPT-3, которая позволяет генерировать тексты высокого качества. Возможно, в течение следующих пяти лет она сможет генерировать юридические документы.
Развитие искусственного интеллекта позволит создать эффективные системы вопросов-ответов для стандартных юридических консультаций, а также рекомендательные системы для оформления документов и подбора правильных формулировок. Кроме того, увеличится объем данных, которые подходят для обучения моделей — это упростит цифровизацию юридической функции.
На российском рынке LegalTech главным вектором развития станет автоматизация оценки регуляторных рисков — если этот процесс пройдет успешно, юристы смогут сконцентрировать внимание на более интересной и сложной деятельности — оценке бизнес-рисков. На западе это уже реальность, а в России — вопрос будущего.
Сейчас многие аналитики в сфере IT заявляют, что сначала необходимо формализовать юридический язык, а после этого можно автоматизировать юридическую функцию. Однако действительно успешной будет компания, решение которой позволит проводить автоматизацию в условиях текущего хаоса данных.
🗒Что ждет LegalTech в будущем
Юристам стоит следить не только за развитием LegalTech, а в целом за тем, что происходит в области обработки естественного языка и текстов. Например, недавно Open AI выпустил нейросеть GPT-3, которая позволяет генерировать тексты высокого качества. Возможно, в течение следующих пяти лет она сможет генерировать юридические документы.
Развитие искусственного интеллекта позволит создать эффективные системы вопросов-ответов для стандартных юридических консультаций, а также рекомендательные системы для оформления документов и подбора правильных формулировок. Кроме того, увеличится объем данных, которые подходят для обучения моделей — это упростит цифровизацию юридической функции.
На российском рынке LegalTech главным вектором развития станет автоматизация оценки регуляторных рисков — если этот процесс пройдет успешно, юристы смогут сконцентрировать внимание на более интересной и сложной деятельности — оценке бизнес-рисков. На западе это уже реальность, а в России — вопрос будущего.
Сейчас многие аналитики в сфере IT заявляют, что сначала необходимо формализовать юридический язык, а после этого можно автоматизировать юридическую функцию. Однако действительно успешной будет компания, решение которой позволит проводить автоматизацию в условиях текущего хаоса данных.
В течение недели мы рассказывали об особенностях LegalTech-решений для крупного бизнеса, специфике российского рынка и будущем отрасли. Теперь все эти тезисы можно прочитать у нас в блоге — в виде одной статьи.
В июне аналитики компании Anaconda выпустили исследование о работе специалистов по data science. Согласно отчету, инженеры тратят почти половину рабочего времени на обработку исходных данных. Это влияет на их общую производительность и существенно сокращает время на разработку продуктов.
Это глобальная проблема: 80% всех данных в мире не структурированы. По следам исследования мы написали статью с разбором проблемы качества исходных данных — она вышла в издании Tproger. Прочитать ее можно здесь.
Это глобальная проблема: 80% всех данных в мире не структурированы. По следам исследования мы написали статью с разбором проблемы качества исходных данных — она вышла в издании Tproger. Прочитать ее можно здесь.
Месяц назад мы запустили сервис сравнения документов Embedika Compare. За это время инструментом воспользовались более 2 тысяч пользователей — спасибо за доверие!
Мы собрали отзывы специалистов, которым сервис оказался полезен. Вот некоторые из них:
▶️«Во-первых, Legal Tech проекты – это в принципе всегда круто и интересно (все еще жду, когда ИИ заменит юристов). Во-вторых, слетающее форматирование – это извечная проблема Word’a и моя персональная головная боль. Про поддержку PDF я даже молчу (наконец-то). Короче, всем советую!». Михаил Ратушный, главный юридический консультант МТС.
▶️«Ребята из Embedika сделали классный сервис по сравнению документов, который уже можно потестить. Работает быстрее, чем Word». Екатерина Лобышева, юрист Eversheds Sutherland.
▶️«Когда функция сравнения в ворде не отвечает всем потребностям, на помощь приходят такие прекрасные проекты!». Ульяна Корякина, юрисконсульт в Luxoft Russia.
Попробовать сервис можно здесь.
Мы собрали отзывы специалистов, которым сервис оказался полезен. Вот некоторые из них:
▶️«Во-первых, Legal Tech проекты – это в принципе всегда круто и интересно (все еще жду, когда ИИ заменит юристов). Во-вторых, слетающее форматирование – это извечная проблема Word’a и моя персональная головная боль. Про поддержку PDF я даже молчу (наконец-то). Короче, всем советую!». Михаил Ратушный, главный юридический консультант МТС.
▶️«Ребята из Embedika сделали классный сервис по сравнению документов, который уже можно потестить. Работает быстрее, чем Word». Екатерина Лобышева, юрист Eversheds Sutherland.
▶️«Когда функция сравнения в ворде не отвечает всем потребностям, на помощь приходят такие прекрасные проекты!». Ульяна Корякина, юрисконсульт в Luxoft Russia.
Попробовать сервис можно здесь.
Data science быстро развивается — одновременно растет число ресурсов, которые пишут на эту тему. Для того, чтобы быть в курсе последних трендов и исследований, приходится читать много источников, ориентироваться в которых сложно.
По совету наших R&D-специалистов составили подборку источников с качественной и проверенной информацией: кейсами, проблемами и их решениями. Подборка подойдет как специалистам, так и широкой аудитории — тем, кто хочет разобраться, как устроена наука о данных. Читайте здесь.
По совету наших R&D-специалистов составили подборку источников с качественной и проверенной информацией: кейсами, проблемами и их решениями. Подборка подойдет как специалистам, так и широкой аудитории — тем, кто хочет разобраться, как устроена наука о данных. Читайте здесь.
🎉Наш сервис сравнения документов Embedika Compare вошел в подборку на vc.ru.
Compare работает с документами в формате PDF, DOC и DOCX. В нем можно переключаться между отличиями, синхронизировать документы и смотреть, какой объем текста поменялся.
Попробуйте сервис, если ещё не сделали этого. И не забывайте писать нам на info@embedika.ru, если после работы с инструментом у вас появились идеи, как его улучшить.
Compare работает с документами в формате PDF, DOC и DOCX. В нем можно переключаться между отличиями, синхронизировать документы и смотреть, какой объем текста поменялся.
Попробуйте сервис, если ещё не сделали этого. И не забывайте писать нам на info@embedika.ru, если после работы с инструментом у вас появились идеи, как его улучшить.
vc.ru
Семь полезных сервисов для сравнения документов
Сравнение документов вручную занимает очень много времени и влечет риск ошибок. Найти изменения в разных версиях документа можно в Word или Excel, но удобнее делать это через специальные сервисы сравнения документов. Вот несколько платных и бесплатных инструментов.
Мы запускаем несколько авторских рубрик, в которых посмотрим на data science с разных сторон. Первую рубрику мы назвали «Data Science в реальном мире». В ней наш ведущий разработчик машинного обучения Иван Меньших объяснит, почему наука о данных — не панацея от всех проблем и почему завышенные ожидания от data science иногда опасны для бизнеса.
🗒Что скрыто за AI стартапами?
Искусственный интеллект и машинное обучение — доткомы нашего времени. Многие компании хотят внедрить себе абстрактный искусственный интеллект (AI), который решит все их проблемы. К сожалению, технологии пока не могут показать таких результатов. Но знают ли те, кто вкладывается в AI/ML/DL/whatever стартапы и создаваемые ими продукты, за что они платят?
Реальность такова: часто за красивыми терминами Deep learning (DL), Machine learning (ML), Natural Language Processing (NLP) стоят сравнительно простые программы: логистические регрессии и регулярные выражения, а AI называют все, что угодно.
Некоторые предприниматели идут дальше и под видом AI продают ручной труд, — за ним стоит реальный штат сотрудников, которых выдают за искусственный интеллект. Так, согласно расследованию Forbes, многие годы поступала компания ScaleFactor. Этот пример — реализация принципа «Fake it till you make it» во всей красе.
Почему так происходит? Основатели стартапов хорошо понимают, что сейчас тема ИИ крайне популярна, а инвесторы гораздо охотней дают деньги на «самые современные разработки в области AI», чем на сравнительно простые решения. Это двигает отрасль вперед, но в то же время увеличивает количество недобросовестных компаний, которые мимикрируют под AI-стартапы и получают деньги за счет большого спроса.
Нужен ли AI каждой компании? Конечно, нет. Искусственный интеллект — только один из инструментов решения проблем, а не средство от всех болезней. В сравнительно простых решениях без участия нейросетей нет ничего криминального — иногда это даже более эффективный инструмент. Если более простая система решает проблему бизнеса (и делает это хорошо), то не обязательно гнаться именно за AI. #datascienceвреальноммире
🗒Что скрыто за AI стартапами?
Искусственный интеллект и машинное обучение — доткомы нашего времени. Многие компании хотят внедрить себе абстрактный искусственный интеллект (AI), который решит все их проблемы. К сожалению, технологии пока не могут показать таких результатов. Но знают ли те, кто вкладывается в AI/ML/DL/whatever стартапы и создаваемые ими продукты, за что они платят?
Реальность такова: часто за красивыми терминами Deep learning (DL), Machine learning (ML), Natural Language Processing (NLP) стоят сравнительно простые программы: логистические регрессии и регулярные выражения, а AI называют все, что угодно.
Некоторые предприниматели идут дальше и под видом AI продают ручной труд, — за ним стоит реальный штат сотрудников, которых выдают за искусственный интеллект. Так, согласно расследованию Forbes, многие годы поступала компания ScaleFactor. Этот пример — реализация принципа «Fake it till you make it» во всей красе.
Почему так происходит? Основатели стартапов хорошо понимают, что сейчас тема ИИ крайне популярна, а инвесторы гораздо охотней дают деньги на «самые современные разработки в области AI», чем на сравнительно простые решения. Это двигает отрасль вперед, но в то же время увеличивает количество недобросовестных компаний, которые мимикрируют под AI-стартапы и получают деньги за счет большого спроса.
Нужен ли AI каждой компании? Конечно, нет. Искусственный интеллект — только один из инструментов решения проблем, а не средство от всех болезней. В сравнительно простых решениях без участия нейросетей нет ничего криминального — иногда это даже более эффективный инструмент. Если более простая система решает проблему бизнеса (и делает это хорошо), то не обязательно гнаться именно за AI. #datascienceвреальноммире
Встречайте вторую авторскую рубрику — мы назвали ее «Просто о Data Science». В ней наш NLP-инженер Антон Балтачев на примере обработки естественного языка объясняет, как устроена наука о данных.
🗒Что такое обработка естественного языка?
Каждый день в мире генерируются огромные объемы информации, большая часть которой — в виде текстов. Правительства принимают поправки к законам, миллиардеры управляют фондовыми рынками через твиты, а компании создают миллионы новых документов. Для того, чтобы вычленить из этого массива полезную информацию, у людей уходит очень много времени. В этом помогает обработка естественного языка (Natural Language Processing, NLP).
NLP — это область анализа данных, которая позволяет алгоритму с помощью статистики, лингвистики и машинного обучения понимать человеческие языки.
Например, NLP помогает пользователям найти нужный или похожий документ среди миллионов других, понять, к каким темам он относится, получить краткое содержание и набор ключевых слов. Такая автоматизация освобождает рядовых сотрудников от рутинной работы и позволяет заказчику решения сократить издержки.
#простооdatascience
🗒Что такое обработка естественного языка?
Каждый день в мире генерируются огромные объемы информации, большая часть которой — в виде текстов. Правительства принимают поправки к законам, миллиардеры управляют фондовыми рынками через твиты, а компании создают миллионы новых документов. Для того, чтобы вычленить из этого массива полезную информацию, у людей уходит очень много времени. В этом помогает обработка естественного языка (Natural Language Processing, NLP).
NLP — это область анализа данных, которая позволяет алгоритму с помощью статистики, лингвистики и машинного обучения понимать человеческие языки.
Например, NLP помогает пользователям найти нужный или похожий документ среди миллионов других, понять, к каким темам он относится, получить краткое содержание и набор ключевых слов. Такая автоматизация освобождает рядовых сотрудников от рутинной работы и позволяет заказчику решения сократить издержки.
#простооdatascience
Во втором посте рубрики «Data Science в реальном мире» Иван расскажет, с какими ошибками часто сталкиваются разработчики с точки зрения организации бизнеса и постановки стратегических целей.
🗒Ошибки разработчиков DS-решений
Ежедневно в мире появляются новые проекты, которые пытаются упростить жизнь и работу других компаний с помощью технологических решений на основе ML/DL/CV/NLP. К сожалению, разработчики решений продолжают допускать одни и те же ошибки. Вот самые распространенные из них.
# Едим слона целиком
Цель бывает очень амбициозна — настолько, что она фактически недостижима. Вместо того, чтобы декомпозировать ее на отдельные и реализуемые задачи, стартапы часто пытаются решить всю проблему сразу.
На выходе они получают тысячи потраченных человеко-часов и неудовлетворительный результат. Казалось бы, минимально жизнеспособный продукт (MVP), который обладает достаточными для удовлетворения первых потребителей функциями, — это очевидная вещь. Но в состоянии драйва люди об этом совершенно забывают.
# Отсутствие фидбека от пользователей
Никто не любит демонстрировать «сырой» продукт, но это ошибка. MVP — лучшее, что можно сделать, еще и потому, что это единственная возможность собрать обратную связь о своем продукте с пользователей на раннем этапе.
Так стартап может получить информацию, важную для создания действительно хорошего решения, в самом начале, когда в проект еще не вложено большое количество ресурсов. Бонусом компания сможет изучить спрос на подобного рода решения и скорректирует свое видение проблемы. #datascienceвреальноммире
🗒Ошибки разработчиков DS-решений
Ежедневно в мире появляются новые проекты, которые пытаются упростить жизнь и работу других компаний с помощью технологических решений на основе ML/DL/CV/NLP. К сожалению, разработчики решений продолжают допускать одни и те же ошибки. Вот самые распространенные из них.
# Едим слона целиком
Цель бывает очень амбициозна — настолько, что она фактически недостижима. Вместо того, чтобы декомпозировать ее на отдельные и реализуемые задачи, стартапы часто пытаются решить всю проблему сразу.
На выходе они получают тысячи потраченных человеко-часов и неудовлетворительный результат. Казалось бы, минимально жизнеспособный продукт (MVP), который обладает достаточными для удовлетворения первых потребителей функциями, — это очевидная вещь. Но в состоянии драйва люди об этом совершенно забывают.
# Отсутствие фидбека от пользователей
Никто не любит демонстрировать «сырой» продукт, но это ошибка. MVP — лучшее, что можно сделать, еще и потому, что это единственная возможность собрать обратную связь о своем продукте с пользователей на раннем этапе.
Так стартап может получить информацию, важную для создания действительно хорошего решения, в самом начале, когда в проект еще не вложено большое количество ресурсов. Бонусом компания сможет изучить спрос на подобного рода решения и скорректирует свое видение проблемы. #datascienceвреальноммире
Второй пост рубрики NLP-инженера Антона Балтачева «Просто о Data Science» — о том, как происходит обучение нейросети.
🗒Модели в NLP обучаются сами?
До расцвета машинного обучения программисты и лингвисты тратили уйму времени на то, чтобы вручную прописать правила для каждого аспекта работы с языком: например, для перевода с одного языка на другой. Однажды кто-то предложил отказаться от этой практики: собрать тексты на оригинальном языке и их переводы, а затем отдать нейросети — пусть она сама пропишет правила. Нейросеть хоть и работала с ошибками, но значительно сокращала время на разработку правил работы с текстом — даже с учетом исправления погрешностей.
Значит ли это, что сейчас NLP-инженеры могут загрузить все данные в систему, а затем пару недель пить кофе и ждать, пока нейросеть обучится понимать естественный язык? К сожалению, нет.
Данные, с которыми работает алгоритм, нужно сначала привести к формальному виду: очистить и систематизировать. Нейросети обучаются и работают медленно — иногда время ответа на запрос составляет около минуты, в этом случае от такого решения лучше отказаться. Кроме того, далеко не все компании могут позволить себе нейросети — для их поддержания и разработки требуются огромные мощности. Поэтому до сих пор активно используются системы, правила в которых написаны вручную.
В следующих постах подробнее разберем задачи, с которыми приходится сталкиваться NLP-инженерам и проблемы, возникающие на пути к их решению. #простооdatascience
🗒Модели в NLP обучаются сами?
До расцвета машинного обучения программисты и лингвисты тратили уйму времени на то, чтобы вручную прописать правила для каждого аспекта работы с языком: например, для перевода с одного языка на другой. Однажды кто-то предложил отказаться от этой практики: собрать тексты на оригинальном языке и их переводы, а затем отдать нейросети — пусть она сама пропишет правила. Нейросеть хоть и работала с ошибками, но значительно сокращала время на разработку правил работы с текстом — даже с учетом исправления погрешностей.
Значит ли это, что сейчас NLP-инженеры могут загрузить все данные в систему, а затем пару недель пить кофе и ждать, пока нейросеть обучится понимать естественный язык? К сожалению, нет.
Данные, с которыми работает алгоритм, нужно сначала привести к формальному виду: очистить и систематизировать. Нейросети обучаются и работают медленно — иногда время ответа на запрос составляет около минуты, в этом случае от такого решения лучше отказаться. Кроме того, далеко не все компании могут позволить себе нейросети — для их поддержания и разработки требуются огромные мощности. Поэтому до сих пор активно используются системы, правила в которых написаны вручную.
В следующих постах подробнее разберем задачи, с которыми приходится сталкиваться NLP-инженерам и проблемы, возникающие на пути к их решению. #простооdatascience
В новом выпуске рубрики «Data Science в реальном мире» продолжим тему предыдущего поста о проблемах AI-стартапов. Но поговорим о технической стороне вопроса, которая существенно влияет на качество продукта.
# Проблемы с тестированием
Тестирование моделей, на основе которых работает интеллектуальная система — одна из самых важных стадий процесса разработки. К сожалению, многие инженеры ей пренебрегают. Часто причиной становится сложность процесса или отсутствие данных.
Тестирование — базовая часть разработки решения, и если ее игнорировать, результаты становятся непредсказуемыми. При таком подходе разработчик теряет возможность оценивать модель автоматически с помощью метрик. Просматривать результат вручную можно, но со временем этому вопросу уделяется все меньше внимания. Причиной проблемы часто становится отсутствие разметки данных — это именно то, на что стоит тратить время, силы и средства.
# Отсутствие контроля версий для пайплайнов
Как правило, разработчики машинного обучения не сохраняют достаточно информации о модели. Это приводит к тому, что со временем они забывают, какие именно файлы с кодом использовались на том или ином этапе построения модели. Инженерам, которые не участвовали в разработке модели, разобраться в этих файлах почти невозможно.
Избавиться от проблемы можно с помощью системы контроля версий https://dvc.org — аналога https://git-lfs.github.com, который способен хранить сотни гигабайт данных, сохранять пайплайны обучения и воспроизводить их.
# SOTA с ходу
Некоторые инженеры при появлении нового проекта пытаются использовать непроверенные SOTA-пайплайны. Итог у этого обычно плачевный — разработчики тратят месяцы на воспроизведение результатов из статей-гайдов и подбор параметров, а получившаяся модель не демонстрирует ожидаемого качества.
Это не значит, что экспериментировать не надо, но начинать с SOTA-моделей точно не стоит. Сначала лучше попробовать простые модели, которые можно импортировать из привычного фреймворка машинного обучения, обучить и за несколько дней получить результат. При таком подходе заказчик быстро получает демо новой функции, а инженер может заняться обучением более продвинутых моделей, которые можно сравнивать с базовым решением. #datascienceвреальноммире
# Проблемы с тестированием
Тестирование моделей, на основе которых работает интеллектуальная система — одна из самых важных стадий процесса разработки. К сожалению, многие инженеры ей пренебрегают. Часто причиной становится сложность процесса или отсутствие данных.
Тестирование — базовая часть разработки решения, и если ее игнорировать, результаты становятся непредсказуемыми. При таком подходе разработчик теряет возможность оценивать модель автоматически с помощью метрик. Просматривать результат вручную можно, но со временем этому вопросу уделяется все меньше внимания. Причиной проблемы часто становится отсутствие разметки данных — это именно то, на что стоит тратить время, силы и средства.
# Отсутствие контроля версий для пайплайнов
Как правило, разработчики машинного обучения не сохраняют достаточно информации о модели. Это приводит к тому, что со временем они забывают, какие именно файлы с кодом использовались на том или ином этапе построения модели. Инженерам, которые не участвовали в разработке модели, разобраться в этих файлах почти невозможно.
Избавиться от проблемы можно с помощью системы контроля версий https://dvc.org — аналога https://git-lfs.github.com, который способен хранить сотни гигабайт данных, сохранять пайплайны обучения и воспроизводить их.
# SOTA с ходу
Некоторые инженеры при появлении нового проекта пытаются использовать непроверенные SOTA-пайплайны. Итог у этого обычно плачевный — разработчики тратят месяцы на воспроизведение результатов из статей-гайдов и подбор параметров, а получившаяся модель не демонстрирует ожидаемого качества.
Это не значит, что экспериментировать не надо, но начинать с SOTA-моделей точно не стоит. Сначала лучше попробовать простые модели, которые можно импортировать из привычного фреймворка машинного обучения, обучить и за несколько дней получить результат. При таком подходе заказчик быстро получает демо новой функции, а инженер может заняться обучением более продвинутых моделей, которые можно сравнивать с базовым решением. #datascienceвреальноммире
Новые вакансии в Embedika🎉
Наша команда растёт, и сейчас мы ищем разработчиков сразу в два офиса — в Москве и Екатеринбурге. Успешным кандидатам предстоит работать над корпоративными системами для крупного бизнеса, погружаться в сферу data science, machine learning и других перспективных технологий.
Вас ждёт работа в сильной команде разработки под руководством опытного наставника, офис в центре города, ДМС после испытательного срока, возможность участвовать в конференциях и вести авторские колонки в СМИ.
Переходите по ссылкам, знакомьтесь с вакансиями, откликайтесь:
- Scala разработчик, г. Москва
- Scala Junior+ разработчик, г. Москва
- Scala разработчик, г. Екатеринбург
- Scala Junior+ разработчик, г. Екатеринбург
- Angular Junior разработчик, г. Екатеринбург
Наша команда растёт, и сейчас мы ищем разработчиков сразу в два офиса — в Москве и Екатеринбурге. Успешным кандидатам предстоит работать над корпоративными системами для крупного бизнеса, погружаться в сферу data science, machine learning и других перспективных технологий.
Вас ждёт работа в сильной команде разработки под руководством опытного наставника, офис в центре города, ДМС после испытательного срока, возможность участвовать в конференциях и вести авторские колонки в СМИ.
Переходите по ссылкам, знакомьтесь с вакансиями, откликайтесь:
- Scala разработчик, г. Москва
- Scala Junior+ разработчик, г. Москва
- Scala разработчик, г. Екатеринбург
- Scala Junior+ разработчик, г. Екатеринбург
- Angular Junior разработчик, г. Екатеринбург
Наш юрист-аналитик Диана Хакимова написала колонку для vc.ru об образовании в LegalTech.
В ней Диана объясняет, зачем профессиональному юристу получать знания в этой сфере, делится личным опытом и рассказывает, куда пойти учиться.
В ней Диана объясняет, зачем профессиональному юристу получать знания в этой сфере, делится личным опытом и рассказывает, куда пойти учиться.
Быстрый и точный поиск корпоративных знаний, автоматическая проверка договоров, совместное создание и согласование документов — лишь часть наших решений, в основе которых — технологии data science.
Мы — команда инженеров, аналитиков и юристов, изучаем данные и способы работы с ними. Объединяем опыт разработки и научные исследования, чтобы создавать эффективные системы для бизнеса. Посмотрите наши решения, мы всегда на связи :)
Мы — команда инженеров, аналитиков и юристов, изучаем данные и способы работы с ними. Объединяем опыт разработки и научные исследования, чтобы создавать эффективные системы для бизнеса. Посмотрите наши решения, мы всегда на связи :)
В новом выпуске рубрики «Просто о Data Science» Антона Балтачева разберем задачи, которые стоят перед NLP-инженерами.
🗒 Какие задачи стоят перед NLP-инженерами
Нейросети глубоко проникли в нашу жизнь — сегодня сложно найти человека, который не слышал бы о их возможностях. Алгоритмы уже умеют генерировать стихотворения, музыкальные треки, управлять автомобилями и выигрывать профессиональных игроков в Dota 2.
Часть этого успеха — результат работы инженеров по обработке естественного языка (NLP). Разберем несколько NLP-задач, которые я считаю довольно интересным и важными.
➝ Чат-боты стали обычным явлением: они помогают решать самые частые проблемы клиентов компаний без участия человека.
Сейчас такие инструменты создаются для решения конкретных проблем пользователя. Например, понять, почему при переводе на карту другого банка появилась комиссия, поможет «Олег» из банка «Тинькофф», а оказать эмоциональную поддержку от небезразличного собеседника в любую минуту может Replica AI.
Пока сложно сделать универсального бота, который в зависимости от ситуации может и оказать психологическую поддержку, и подсказать, какие купить облигации. Но в будущем это станет возможным — каждый день генерируются сотни гигабайт информации и обучаются все более сложные модели нейронных сетей: такие, как нашумевшая GPT-3.
Эта нейросеть способна автоматически создавать крайне правдоподобные тексты. Это и возможность, и угроза — разработчики GPT-3 не опубликовали исходный код нейросети, опасаясь, что ей могут воспользоваться злоумышленники для создания правдоподобных фейковых новостей, сненерированных отзывов на маркетплейсах или агрессивных и оскорбительных комментариев в социальных сетях.
➝ Идентифицировать подобные аномалии — еще одна задача NLP-инженеров. Тексты, которые создает алгоритм, настолько правдоподобны, что их можно принять за проверенную информацию. Их публикация может сильно повлиять, например, на фондовый рынок.
Зачастую проверенную информацию от ложной трудно отличить даже тогда, когда ее создал человек: так, журналисты некоторых СМИ копировали новости с сатирического издания «Панорама», пока не поняли, что это фейк ньюс. У алгоритмов фальшивые новости скоро будут получаться лучше, чем у человека. Посмотреть на генерацию и детектор фальшивых статей на английском языке можно здесь.
➝ Еще одна NLP-задача — выделение ключевых фраз из текста. Речь идет об автоматическом создании кратчайшей выжимки из большого объема информации.
Возможно, в будущем нейросети смогут сжать семь томов «Гарри Поттера» в одну страницу, на которой будет содержаться главная информация из всех книг. Пока столь масштабную задачу никому решить не удалось, но исследователи делают шаги в этом направлении и уже добились определенных успехов. Например, оценить перспективность статьи или патента по краткому содержанию и ключевым фразам можно уже сейчас.
В следующих постах рассмотрим, как инженеры решают описанные выше задачи — какие инструменты используют и с какими проблемами сталкиваются.
#простооdatascience
🗒 Какие задачи стоят перед NLP-инженерами
Нейросети глубоко проникли в нашу жизнь — сегодня сложно найти человека, который не слышал бы о их возможностях. Алгоритмы уже умеют генерировать стихотворения, музыкальные треки, управлять автомобилями и выигрывать профессиональных игроков в Dota 2.
Часть этого успеха — результат работы инженеров по обработке естественного языка (NLP). Разберем несколько NLP-задач, которые я считаю довольно интересным и важными.
➝ Чат-боты стали обычным явлением: они помогают решать самые частые проблемы клиентов компаний без участия человека.
Сейчас такие инструменты создаются для решения конкретных проблем пользователя. Например, понять, почему при переводе на карту другого банка появилась комиссия, поможет «Олег» из банка «Тинькофф», а оказать эмоциональную поддержку от небезразличного собеседника в любую минуту может Replica AI.
Пока сложно сделать универсального бота, который в зависимости от ситуации может и оказать психологическую поддержку, и подсказать, какие купить облигации. Но в будущем это станет возможным — каждый день генерируются сотни гигабайт информации и обучаются все более сложные модели нейронных сетей: такие, как нашумевшая GPT-3.
Эта нейросеть способна автоматически создавать крайне правдоподобные тексты. Это и возможность, и угроза — разработчики GPT-3 не опубликовали исходный код нейросети, опасаясь, что ей могут воспользоваться злоумышленники для создания правдоподобных фейковых новостей, сненерированных отзывов на маркетплейсах или агрессивных и оскорбительных комментариев в социальных сетях.
➝ Идентифицировать подобные аномалии — еще одна задача NLP-инженеров. Тексты, которые создает алгоритм, настолько правдоподобны, что их можно принять за проверенную информацию. Их публикация может сильно повлиять, например, на фондовый рынок.
Зачастую проверенную информацию от ложной трудно отличить даже тогда, когда ее создал человек: так, журналисты некоторых СМИ копировали новости с сатирического издания «Панорама», пока не поняли, что это фейк ньюс. У алгоритмов фальшивые новости скоро будут получаться лучше, чем у человека. Посмотреть на генерацию и детектор фальшивых статей на английском языке можно здесь.
➝ Еще одна NLP-задача — выделение ключевых фраз из текста. Речь идет об автоматическом создании кратчайшей выжимки из большого объема информации.
Возможно, в будущем нейросети смогут сжать семь томов «Гарри Поттера» в одну страницу, на которой будет содержаться главная информация из всех книг. Пока столь масштабную задачу никому решить не удалось, но исследователи делают шаги в этом направлении и уже добились определенных успехов. Например, оценить перспективность статьи или патента по краткому содержанию и ключевым фразам можно уже сейчас.
В следующих постах рассмотрим, как инженеры решают описанные выше задачи — какие инструменты используют и с какими проблемами сталкиваются.
#простооdatascience
В очередном выпуске рубрики Ивана Меньших «Data Science в реальном мире» рассказываем о данных и о том, насколько важно подготовить их до начала работы над data science-решением.
🗒 Данные — это все, что у нас есть
Данные — это новая нефть. Сейчас мы можем хранить и агрегировать разнородную информацию, — это открывает бизнесу доступ ко всему спектру решений на основе машинного обучения (ML). Еще 20 лет назад компании, которые занимались исключительно разработкой ML-решений, можно было пересчитать по пальцам. Сейчас их тысячи, — а тех, у кого есть компетенции для создания решений на основе машинного обучения, еще больше.
Если вы задумываетесь о технологизации своего бизнеса с помощью ML, но у вас по какой-то причине нет возможности или желания организовать собственный отдел разработки, вам не составит труда найти подрядчика, который внедрит свой готовый продукт. Типичная проблема при таком подходе заключается в том, что подрядчик никогда не видел ваши данные и ничего не знает об их качестве. За счет этого решение может работать существенно хуже, чем казалось на этапе его презентации.
Чтобы избежать такой ситуации, перед внедрением стоит предпринять ряд шагов:
➝ Заранее проконсультироваться со специалистами по машинному обучению на предмет того, какие данные можно собирать прямо сейчас.
➝ Собирать данные в автоматическом режиме. Потенциальная польза, как правило, существенно выше, чем затраты на их хранение.
➝ Собирать данные в наиболее «сыром» виде. Преобразовать их можно в любой момент, а обратить изменения не всегда возможно.
➝ Делиться данными с исполнителем как можно раньше, давая ему возможность лучше подготовиться к конкретному кейсу.
➝ Самое главное — проводить пилотный запуск перед интеграцией для реальной оценки пользы, рисков и возможной адаптации моделей исполнителя к вашим данным (если он предоставляет такую опцию).
Если вы последуете этим рекомендациям, то сможете протестировать часть функционала будущего решения еще на этапе переговоров — в виде пилота. Со своей стороны, подрядчик сможет адаптировать решение под специфику вашего бизнеса — сделать это можно только при наличии качественных данных.
#datascienceвреальноммире
🗒 Данные — это все, что у нас есть
Данные — это новая нефть. Сейчас мы можем хранить и агрегировать разнородную информацию, — это открывает бизнесу доступ ко всему спектру решений на основе машинного обучения (ML). Еще 20 лет назад компании, которые занимались исключительно разработкой ML-решений, можно было пересчитать по пальцам. Сейчас их тысячи, — а тех, у кого есть компетенции для создания решений на основе машинного обучения, еще больше.
Если вы задумываетесь о технологизации своего бизнеса с помощью ML, но у вас по какой-то причине нет возможности или желания организовать собственный отдел разработки, вам не составит труда найти подрядчика, который внедрит свой готовый продукт. Типичная проблема при таком подходе заключается в том, что подрядчик никогда не видел ваши данные и ничего не знает об их качестве. За счет этого решение может работать существенно хуже, чем казалось на этапе его презентации.
Чтобы избежать такой ситуации, перед внедрением стоит предпринять ряд шагов:
➝ Заранее проконсультироваться со специалистами по машинному обучению на предмет того, какие данные можно собирать прямо сейчас.
➝ Собирать данные в автоматическом режиме. Потенциальная польза, как правило, существенно выше, чем затраты на их хранение.
➝ Собирать данные в наиболее «сыром» виде. Преобразовать их можно в любой момент, а обратить изменения не всегда возможно.
➝ Делиться данными с исполнителем как можно раньше, давая ему возможность лучше подготовиться к конкретному кейсу.
➝ Самое главное — проводить пилотный запуск перед интеграцией для реальной оценки пользы, рисков и возможной адаптации моделей исполнителя к вашим данным (если он предоставляет такую опцию).
Если вы последуете этим рекомендациям, то сможете протестировать часть функционала будущего решения еще на этапе переговоров — в виде пилота. Со своей стороны, подрядчик сможет адаптировать решение под специфику вашего бизнеса — сделать это можно только при наличии качественных данных.
#datascienceвреальноммире