​​От разработчиков часто можно услышать, что успех решения напрямую зависит от количества и качества исходных данных. Но как понять, сколько данных нужно и каких? Рассказывает ведущий разработчик машинного обучения Иван Меньших в новом выпуске авторской колонки «Data science в реальном мире».

🗒Какие данные нужны разработчикам
Часть 1. Плохие и хорошие данные

Любое DS-решение критически зависит от данных. В их отсутствии решить проблему, как правило, невозможно (но, конечно, бывают и исключения). Возникает вопрос: а как понять, насколько «хороши» те данные, которыми мы располагаем?

Как ни странно, чтобы ответить на него, поделитесь данными с теми, кто планирует внедрить вам ML-based решение и попросите их оценить. Таким образом, вы получите:

- Конкретные комментарии, что хорошо/плохо
- Вопросы о том, как вы их собираете и обрабатываете, что может повлечь рациональные предложения со стороны подрядчика по улучшению данного процесса — они заинтересованы, чтобы их решение работало хорошо
- Если повезёт — демо с комментариями, как именно текущие проблемы с данными влияют на результат.

Очень важно делиться наиболее репрезентативными данными, ведь вас интересует решение, которое сможет работать с реальными данными. Это поможет избежать популярной проблемы «решение хорошо работает на демо, но в ‘диком мире' выдаёт совершенно непригодный результат». #datascienceвреальноммире

​​​В прошлом посте мы разобрались, как можно оценить исходные данные. Сегодня поговорим о том, какое количество данных будет достаточным.

🗒Какие данные нужны разработчикам
Часть 2. Сколько данных нужно?

Следующий возникающий вопрос: а сколько нужно данных, чтобы получить достоверное понимание о качестве решения? Короткий ответ: чем больше — тем лучше, и это сильно зависит от поставленной задачи.

На практике же, процесс происходит итерационно:
- Вы делитесь данными с подрядчиком. Как правило, это небольшой кусок данных, например 100-200 примеров
- Подрядчик готовит решение на основе этих данных
- На демо показываются как формальные метрики, так и качество работы решения «на глаз» (не стоит недооценивать популярную метрику wtf)
- Вы даёте подрядчику новые данные и процесс повторяется до тех пор, пока вы не будете довольны результатом или подрядчик сдастся.

Как правило, именно такой подход позволяет получить наилучшее решение, а также лучше понять ваши данные. #datascienceвреальноммире

​​После запуска первого сервиса мы начали искать идеи для новых онлайн-инструментов, которые могли бы упростить работу юристов, делопроизводителей и всех тех, кто работает с документами. Для создания такого решения мы объединились с командой юридического департамента компании «Сименс» и начали разработку сервиса для анализа ответственности по договору.

Сейчас сервис работает в демо-режиме, и прежде чем сделать его открытым и доступным для всех, мы хотим убедиться, что он не допускает ошибок. Для этого мы запустили закрытое тестирование среди экспертного сообщества.

Если для вас актуален такой инструмент, и вы хотите принять участие в тестировании — напишите нам на hello@embedika.ru, и мы отправим вам ссылку на сервис.

​​Друзья, поздравляем вас с наступающими праздниками! Спасибо, что были с нами, читали наш блог, следили за авторскими колонками и новостями.
В последние дни 2020-ого хотим подвести итог — рассказать, что интересного произошло в отрасли и чем нам запомнится этот год. Новогоднюю серию постов открывает продуктовая команда.

▶️Айканыш Орозбаева руководитель направления по работе с партнерами
«2020 год запомнится тем, как неожиданно быстро вырос интерес на интеллектуализацию даже у консервативной части ИТ-мира. Общаясь с крупными компаниями и интеграторами, я заметила, что их отношение к технологиям data science изменилось — если раньше их запросы касались больше области автоматизации, то теперь появился спрос на интеллектуализацию текущих ИТ-систем, а именно — практическое решение таких задач, как анализ текстов в договорах, интеллектуализация корпоративных СЭД и т.д.

Сегодня решения на основе big data не кажутся такими «экспериментальными» — в мире, где пиццу заказывает Алиса, а автомобилями управляет программное обеспечение, внедрение в бизнес современных технологий становится новой нормой.

Здорово, что функциональные заказчики все чаще вникают в процессы и участвуют в создании решений совместно с разработчиком — интересуются, какие существуют технологии, как подготовить данные и оценить их. Такая совместная проработка позволяет получить наилучший результат».

▶️Артем Низамов, руководитель продуктового направления
«Открытием этого года стало то, что удаленно можно полноценно работать не только разработчикам и дизайнерам, но и проджектам и продактам — в том числе генерировать новые идеи вместе с командой и партнерами, проводить мозговые штурмы онлайн и даже придумывать и запускать новые продукты.

Например, за этот год мы сделали 2 бесплатных онлайн-сервиса:
- Compare — сравнивает версии документа и показывает отличия между ними. За несколько месяцев сервисом воспользовались более 7,5 тысяч человек.
- Contract — проверяет договора на риски, выявляя в тексте документа условия об ответственности. Сейчас идет тестирование сервиса среди экспертного сообщества, и скоро он станет доступен всем».


▶️Диана Хакимова, аналитик и юрист
«Это был первый год работы нашей команды как продуктовой — мы упаковывали технологии в продукты, формировали гипотезы, проводили custdev. Ранее мы занимались в основном заказной разработкой, и пришлось учиться — проходить профильные курсы и много читать.

Отмечу несколько книг и курсов, которые будут полезны и тем, кто создаёт ИТ-решения, и тем, кто их внедряет:
- Go practice — симулятор работы в продуктовой компании, где учат развивать продукты, используя метрики и аналитику
- видеокурс Яндекса по управлению продуктом и проектами
- книга Inspired Марти Кагана — находка для тех, кто развивает B2B-решения
- книга Спринт от группы авторов из Google про тестирование гипотез. Эта книга вдохновила нас провести бизнес-ужин с экспертами отрасли, где мы всего за пару часов нашли более 5 новых применений нашим технологиям».

​​Продолжаем подводить итоги 2020-ого. На этот раз R&D-команда поделится исследованиями, экспериментами и статьями, которые запомнились им больше всего.

▶️ Антон Балтачев, NLP-инженер
Этот год еще раз доказал насколько правильное использование машинного обучения в сердце продукта может повлиять на его успех. Нельзя не вспомнить тикток, который в этом году рос стремительнее, чем любая соцсеть, сильно нашумел и задал тренд для других компаний (а еще завлек меня в свои лапы). А ведь ничего бы не было без крутой рекомендательной системы, которая чутко учитывает интересы пользователя и выдает идеальный дофаминовый коктейль.

▶️ Полина Казакова, data scientist
В этом году хайп вокруг больших языковых моделей (large language models), таких как BERT и GPT-2/3, повлек за собой бурное обсуждение того, могут ли языковые модели «действительно понимать» язык. Авторы этой очень резонансной статьи показывают, что модели, обученные только на текстовых данных и не имеющие никакой иной информации о мире, не могут обладать настоящим знанием языка. Мысленный эксперимент с осьминогом, Витгенштейн и краткая инструкция по защите от медведя палками – если интересно, к чему это все, советую почитать саму статью. Так же как и этот пост, автор которого провел ее критический разбор и утверждает, что в действительности у нас пока нет оснований отвергать идею о том, что модели понимают язык, а кроме того, мы и сами на самом деле не знаем, что такое «действительно понимать».

▶️ Иван Меньших, ведущий разработчик МО
Этот год нашей команде запомнится развитием культуры разработки и реализацией смелых технологий, одной из самых запоминающихся стал «Македонский».
«Македонский» — универсальный способ проекции разнородных векторных представлений в единое пространство. В 2021 году это позволит нам получать не только качественные мультиязычные вектора для слов и целых текстов, но и мультимодальные представления, обогащенные метаданными, основываясь лишь на небольшом количестве связей.

▶️ Игорь Ляхов, старший разработчик МО
Со времени появления Трансформера (ключевой state-of-the-art нейросетевой архитектуры для задач NLP), стоит вопрос оптимизации данной архитектуры с точки зрения вычислительных ресурсов. Из-за прожорливости его довольно проблематично использовать небольшим лабораториям и компаниям для обучения больших моделей, таких как BERT. Так же пока Трансформер не особо применим к длинным последовательностям. В этом году вышла очень интересная статья «Reformer: The Efficient Transformer», которая предлагает довольно любопытную технику по оптимизации механизма attention'а в трансформере. Предложенный Locality-Sensitive Hashing Attention — оригинальный и очень элегантный способ снизить вычислительные затраты с O(N^2) до O(NlogN), что играет существенную роль на больших коллекциях длинных документов. Подобные идеи вдохновляют другие R'n'D команды на изобретения своих attention для трансформеров под свои задачи.

​​В третьем, заключительном посте об итогах этого года своими впечатлениями делится команда разработки. Ребята живут и работают в Екатеринбурге, и их команда постоянно растет, — вы можете следить за актуальными вакансиями на нашей странице hh.

▶️ Павел Худышкин, ведущий инженер-программист

Мы с фронтендерами организовали еженедельные встречи-созвоны, чтобы каждый мог поделиться интересными задачами, кейсами, проблемами, рассказать как их решал и обменяться опытом. Так как разработчики задействованы в разных проектах, такие созвоны помогают узнавать, что происходит в других рабочих командах и какие технологии они используют. И, конечно, это полезно для новичков — обсуждения помогают им лучше разобраться в технологиях, которые мы используем, и попросить совета у старших коллег.

Общение команды — важная составляющая, особенно в это непростое время, когда все мы работаем из дома и фактически остаемся один на один с задачами, которые не всегда бывает просто решить без поддержки команды.

▶️ Алексей Пантин, руководитель направления разработки и внедрения

В этом году я открыл для себя книгу «Несовершенная случайность. Как случай управляет нашей жизнью» Леонарда Млодинова. С помощью базовых методов статистики и теории вероятности книга научит распознавать «псевдо-последовательности» — последовательности, которые только кажутся нам реальными.

Книга не имеет прямого отношения к ИТ, но будет полезна многим и поможет сэкономить ваши силы и время.

▶️ Полную версию итогов года от трёх команд — продуктовой, RnD и разработки — можно почитать на нашем сайте. До встречи в новом году!

NLP-инженер Антон Балтачев рассказал vc.ru о 9 способах эффективной коммуникации с разработчиками. Делитесь своими в комментариях к статье:

https://vc.ru/life/214977-metch-mezhdu-razrabotchikom-i-menedzherom-9-sposobov-ne-besit-drug-druga

​​Наше решение — система интеллектуального кросс-языкового анализа текстовых данных, — опубликовано в Библиотеке эффективных кейсов AI Russia Works.

AI Russia — проект Альянса по развитию искусственного интеллекта, в который входят крупнейшие технологические компании России. Задача проекта — представить российские решения с доказанной эффективностью, в которых используется AI.

Подробнее о том, как работает наше решение и его бизнес-эффектах, читайте на карточке проекта в Библиотеке AI Russia Works.

Диана Хакимова, юрист-аналитик в нашей компании, рассказала изданию rusbase, как технология ML помогает в анализе юридических документов и какие барьеры ограничивают ее повсеместное внедрение.

Ищите в статье ссылку на наш новый онлайн-сервис, который мы разрабатываем вместе с юридическим департаментом компании «Сименс»: https://rb.ru/opinion/ml-for-document-analysis/

​​Онлайн-сервис проверки договоров на риски

Рады представить новый сервис, который мы разработали совместно с юридическим департаментом компании Siemens, — Embedika Contract!

Contract выявляет в тексте документа условия, на которые стоит обратить внимание перед заключением договора, и дает рекомендации по изменению нежелательных формулировок. Поддерживает форматы DOC, DOCX и PDF, сохраняет исходное форматирование и подсвечивает найденные риски. Работает без регистрации и полностью конфиденциальный.

Сервис будет полезен юристам и предпринимателям, представителям малого и среднего бизнеса и всем, для кого актуальна задача проверки договоров.

Скорее пробуйте, оставляйте отзывы и не забудьте поделиться с коллегами:)

​​Внедрение ИИ-решений — сложный и дорогостоящий процесс: помимо расходов на специалистов, инфраструктуру и ПО, необходимо учесть целый ряд неочевидных трат, о которых знают, как правило, только сами разработчики.

Мы написали большой аналитический материал о скрытой стоимости ИИ-решений и способах снижения издержек, — его уже можно почитать на TAdviser. Статья будет полезна всем, кто готовится к внедрению таких решений и поможет избежать массу распространенных ошибок.

Материал, дополненный комментариями экспертов из Сибур и LegIT, читайте в нашем блоге.

​​7 полезных сервисов для работы с договорами

Специалист по legaltech-продуктам Диана Хакимова делится на vc.ru сервисами для работы с договорами. Многие из этих инструментов бесплатны, работают прямо из браузера и неоднократно проверены нами — мы пользуемся ими в работе, а два из них разработали сами.

Знаете полезный сервис для работы с договорами? Пишите в комментарии к статье — мы проверим функциональность, условия использования и добавим в подборку.

​​Разработчики Екатеринбурга, завтра состоится Tinkoff Scala Meetup!

Ведущий инженер-программист в Embedika Владислав Филатов расскажет про опыт использования ZIO — стремительно набирающей популярность Scala-библиотеке. Наша команда разработки использует ZIO уже больше года и теперь готова поделиться полученным опытом: рассказать об особенностях этой библиотеки, проблемах и преимуществах.

Регистрация на митап по ссылке: https://meetup.tinkoff.ru/event/tinkoff-scala-meetup/

​​9 новых вакансий в Embedika

Наша команда быстро растет, и сейчас мы ищем сразу 9 специалистов в 2 наших офиса — в Москве и Екатеринбурге: Scala- и Angular-разработчиков, DevOps-инженера, QA-специалиста, руководителя проектов, IT-рекрутеров и стажёра-аналитика.

Успешным кандидатам предстоит работать над корпоративными системами для крупного бизнеса и погружаться в сферу data science. Вас ждет работа в сильной команде под руководством опытного наставника, офис в центре города, ДМС после испытательного срока, возможность участвовать в конференциях и вести авторские колонки в СМИ.

Все вакансии смотрите в нашем профиле на HH: https://hh.ru/employer/4598746

​​Бесплатные онлайн-сервисы от Embedika

Нашими сервисами для работы с документами Compare и Contract воспользовались более 20 тысяч человек! Спасибо за доверие, мы рады создавать полезные инструменты для вас.

Напомним, что сервисы абсолютно бесплатны, работают прямо из браузера, не требуют регистрации и полностью конфиденциальны — загружаемые документы нигде не хранятся.

Мы собрали сервисы на одной странице, чтобы вам было удобнее работать: https://embedika.ru/services. Поделиться фидбэком, задать вопрос или предложить идею нового сервиса всегда можно по почте info@embedika.ru.

​​Embedika — партнер новой магистратуры НИТУ «МИСиС»

НИТУ «МИСиС» запускает новую магистерскую программу «Интеллектуальные программные решения для бизнеса», разработанную совместно с представителями крупного бизнеса. Программа готовит специалистов по двум направлениям: Data Science и Software Engineering. Embedika стала технологическим партнером магистратуры.

Cтуденты получат практические навыки по созданию ИИ-решений: от разработки и внедрения до оценки рисков и эффективности ИТ-систем. Среди преподавателей — российские и зарубежные исследователи из НИТУ «МИСиС», НИУ ВШЭ, МФТИ и практикующие ИТ-эксперты. Это отличный шанс для начинающих специалистов получить актуальные знания напрямую от ведущих разработчиков и дата сайентистов.

Обучение на программе бесплатное, ведется ограниченный набор — всего 10 мест. Подробная информация — на сайте программы.

​​Embedika — участник акселератора «Сибур»

Мы стали участниками цифрового акселератора «Сибур» — наше решение для автоматической проверки и анализа договоров Contract успешно прошло отбор, и теперь наша команда создаёт пилот проекта для юридического департамента компании «Сибур».

Contract сокращает затраты на проверку и согласование документов, минимизирует правовые риски и предлагает исправления. С внедрением Contract на комплексную проверку одного договора нужно не более 5 минут, а время, необходимое на экспертизу и согласование контрактов, сокращается на 70%.

В рамках акселерации мы доработаем решение под документы и процессы «Сибур», обучим модели находить нестандартные формулировки разных типов и категорий. Читайте подробнее в нашем блоге: https://embedika.ru/blog/akselerator-sibur

​​Embedika — победитель цифрового акселератора СИБУР

В июле мы стали участниками акселератора — наше решение Contract прошло отбор в направлении «Анализатор договоров». За 4 месяца акселерации мы разработали и протестировали прототип решения и успешно представили свою работу на Демо-дне. Теперь мы продолжим развивать продукт с целью его дальнейшего масштабирования в компании.

Подробнее о том, как это было, читайте у нас в блоге: https://embedika.ru/blog/itogi-akselerator-sibur

​​Embedika — финалист Retail Innovation Tech Alliance (RITA)

X5 Retail Group, Билайн, М.Видео-Эльдорадо, Hoff и Magnum создали альянс, который занимается поиском новых технологических решений. Эксперты выбрали наше из 118 проектов из 13 стран.

Впереди питч-сессии, наша цель — продемонстрировать, как data science-инструменты, основанные на технологиях обработки текста, могут помочь ритейлу в работе с неструктурированными документами.

Подробнее в нашем блоге: embedika.ru/blog/embedika-final-rita

Через считанные минуты начнётся онлайн-конференция Data Start. Программа разделена на 2 потока — технический и бизнес. Второй поток, как и в прошлом году, ведёт специалист по legaltech-продуктам в нашей компании Диана Хакимова.

Задавайте вопросы спикерам в чат и зовите коллег!

​​С наступающим Новым Годом и Рождеством!

Как тепло звучат эти слова — напоминают о детстве, семейном застолье, просмотре «Иронии судьбы», радостном предвкушении обмена подарками с родными и близкими, звонках ровно в полночь тем, кто далеко… Радость этого праздника не в новых цифрах календаря, а в возможности быть рядом с любимыми и сказать «спасибо» тем, кто провёл уходящий год с нами.

И мы хотим поблагодарить вас за эти «365»! Это был особенный, насыщенный и вдохновляющий для нас год: мы запустили первый в России бесплатный онлайн-сервис для проверки договоров совместно с Siemens, стали победителями цифрового акселератора СИБУР, запустили совместную магистерскую программу по data science с НИТУ «МИСиС», писали статьи, участвовали и модерировали конференции по data science, а одно из наших решений вошло в библиотеку эффективных кейсов AI Russia Works. Дальше — больше! До скорой встречи в новом 2022 году💜