Зачем анализировать текст? Как это работает и кому все это нужно? 

Разберемся не только в этих вопросах с директором Мастерской анализа текстовых данных Марией Масловой:

Технологии проникают во все сферы нашей жизни, и любая работа с текстом тоже автоматизируется. Вряд ли кто-то не слышал про гугл-переводчик. Стремительно набирают популярность нейросети вроде ChatGPT или «Балабобы». Все это — лишь часть того, как анализ и генерация текста применяются в разных областях, их реальный функционал же намного шире.

Если мы хотим научить машину понимать человеческий язык, нам нужно описать этот язык понятными компьютерными терминами, а именно — числовыми значениями. Этим мы и занимаемся на мастерской: учимся преобразовывать тексты в формат, понятный компьютеру, и работать с ними с помощью соответствующего инструментария, в частности, программирования на языке Python. 

Допустим, есть текст, и наша задача — превратить его в набор чисел. Этот процесс называется векторизацией текста, а результат — векторным представлением. Для этого нам нужно представить каждое слово как набор его характеристик: для нас важно количество раз, сколько слово встречается в тексте (с учетом того, насколько это слово популярно само по себе), а также контекст, в котором оно встречается. Таким образом, с помощью анализа самого слова и его окружения мы понимаем, как описать это все числом. Модель усваивает текст в виде циферок.

Сейчас модели довольно быстрые и их можно добыть в свободном доступе. Например, BERT, предобученная модель, которую можно запустить. Можно обучить модель с нуля, но это занимает намного больше времени. Если есть готовое решение, то понадобится от нескольких минут до нескольких часов, в зависимости от объема текста. 

Мы проводим мастерскую уже не первый год, и ее итоговым событием всегда является хакатон. Мы предоставляем участникам набор данных для анализа, даем им день, и они сами решают, что с ними делать, а потом представляют результаты в виде короткой презентации. Главная цель такого мероприятия — научить участников самостоятельно ставить исследовательский вопрос и определять, какие методы они хотят применить для поиска ответа на него.