В продолжение предыдущей темы о Big Data. Как большие данные используются магазинами.

http://telegra.ph/Data-Science-i-Big-Data-uznayut-o-vashej-beremennosti-Ranshe-vas-09-23

Расширяем лексикон, без зауми - о Data Mining.

http://telegra.ph/O-Data-Mining---dlya-samyh-malenkih-09-28

Приятно проводим вечер воскресенья. Читаем романтическую историю с хэппи-эндом.

http://telegra.ph/DataMining-do-svadby-dovedet-Kak-znakomyatsya-s-devushkoj-chetkie-Data-Scientisty-10-01

Нейросети - это совсем не сложно.

http://telegra.ph/CHasto-govoryat-pro-nejroseti-Oni-kak-volejbolnye-ili-dlya-rybolovstva-10-06

Где еще используются нейросети. В закрытых сообществах ходят слухи о двух историях.

1. сделали чат бота-попрошайку, который общается, а потом просит немного денег. Результат - за 2 дня собрали $15 тыс.

2. сделали бота, который общался с девушками с сайта знакомств и постепенно раскручивал на интим фото. Провели эксперимент на выборке из 2000 девушек. Успех - в 43% случаев!

Мы писали, как нашел себе вторую половинку один Data Scientist. А теперь - история девушки, наскоро обучившей нейросеть для знакомств.

http://telegra.ph/Hochesh-poznakomitsya-Obuchi-nejroset-10-06

Если ваш муж последние пару дней стал разговаривать с какой то Алисой - не ревнуйте. Так называется выпущенный на днях Яндексом голосовой помощник. Конкурентка Siri от Apple, но гораздо более разговорчивая.

Новость вроде и рядовая, но для Data Science это очередное большое достижение. Дело в том, что очень сложно генерировать адекватные ответы на человеческие вопросы. А набивать базу заранее приготовленными ответами - это уже пройденный этап, которым никого не удивишь.

Яндекс эту проблему решил - и теперь Алиса довольно осмысленно отвечает на самые неожиданные вопросы. Да что там, она даже разбирается в мемах и сленге лучше, чем вы! Как этого добились? Путем долго обучения нейросети (о них я писал в предыдущих 3 постах, и напишу еще, не сомневайтесь). Какие-то ответы конечно же выдают, что с вами общается машина, но вот закосить под капризную тинейджершу - Алиса может запросто.

Другая сложность - реалистичность звучания речи. Компьютерные имитаторы голоса были и раньше, но вот речь была безжизненной как на Марсе ночью. Яндекс давно и упорно разрабатывает пакет имитации голоса, его и взяли для генерации голоса Алисы. В качестве основы взят голос актрисы Татьяны Шитовой, которая озвучивает Скарлет Йохансон в русских переводах ее фильмов.

А теперь - немного смешных диалогов с Алисой. Для затравки:

Я: Нравлюсь ли я девушке напротив
Алиса: Да ты никому не нравишься!


http://telegra.ph/Alisa-i-eyo-shutochki-10-13

А сегодня у нас на канале мордобой! Но не во имя битья ближнего своего, а как наглядная иллюстрация самообучения нейросетей.

Подрбности - пост ниже.
#нейросети #AI #игры #видео

Что это было, на видео выше?!

Две программы, имитирующих борцов сумо, каждая управляет своей фигуркой. Цель каждой - вытолкнуть другого из круга. Как? А хз! Отцы-программисты не обучали их никаким навыкам боя. Просто внедрили в каждую из них нейросеть и отправили обучаться на месте. После каждого боя каждая из программ получает какой то опыт: если она проиграла в прошлый раунд - в следующей такой ситуации она попробует вести себя иначе, если выиграла - "копает" дальше в этом направлении. Вот так работают нейросети!

Тысячи боев пройдено, из отдельных смонтирован короткий (всего 45 сек вашего времени!) ролик.

Разберу его по боям.
Первые пару боев - обе программы топтались и не могли понять, куда они вообще попали? Случайно столкнув другого, они догадались, что надо делать, чтобы победить.
Бой Cahrging into opponent - нейросеть освоила правило: резко толкни противника изподтишка - и победишь. Следующий бой - противник догадался, что надо от такого удара защищаться, и проиграл не сразу.
Бои Stable fighting stance - программы научились двигаться как настоящие сумоисты! Упираются головами, не дают проотивнику подлезть под себя. Соперники отчаяно сопротивляются спихиванию.
Fooling Opponent - нейросеть "вычислила", что противник реагирует определенным образом на ее движения. И "догадалась", что можно одурачить его ложным движением, в результате чего он по инерции улетает "за борт".

Примерно так обучается любая нейросеть. Сначала она крайне "тупая", тыкается как слепой котёнок. Постепенно она запоминает, что ее приводит к успеху, а что - к неудаче. И через какое то время становится умнее своего создателя 🙂

#нейросети #AI #игры #видео

Нейросеть: "Они заставляли меня смотреть тысячи часов порно!"

#нейросети #взрослое

Злые дядьки-датасайентисты с сайта PornHub натренировали невинную нейросеть на 500 тысячах видеороликов. Теперь этот программный код, некогда бывший чистым как слеза, превратился в проженного опытного циника, узнающего в лицо 10 тысяч порноактеров.

Как этого добились? А все так же, как в постах выше: "показывали" видеоролики нейросети и давали имена учавствующих в них актеров. Затем - показывали видеоролики, и нейросеть должна была "угадать", кто в них снялся, а потом смотрела правильный ответ. Сначала у нейросети, как обычно, получалось очень плохо. И не потому что она краснела и стеснялась - все же не забываем, что это всего лишь компьютерный код, лишенный чувств. А потому, что первые этапы обучения всегда очень неуклюжие. Но чем дальше - тем "догадливее" становился алгоритм.

Как нейросеть научилась "догадываться"? Примерно как и человек - через какое-то количество итераций обучения она вычислила, что наиболее успешно узнает актера, если сравнивает вот этот вот овал - лицо. А еще точность повышается, если брать в расчет вот эту родинку на попе, или забавного вытатуированного дельфинчика на руке. И все эти выводы нейросеть делает сама, просто в процессе самообучения.

"Зачем они это сделали?!", спросят некоторые возмущенные читатели. Отвечаю: для лучшего обслуживания посетителей сайта, теперь они могут найти все ролики своего любимого актера. И, если касаться исключительно технической стороны вопроса, порноиндустрия вместе с военными и финансистами - самые основные двигатели современного технического прогресса, в том числе и в дата сайнс. Хорошо это или нет - вопрос отдельный.

#нейросети #взрослое

А вот и иллюстрация, что НЕ могут нейросети. Нейросети торгуют очень и очень неважно. Но чел этого не знал. Обучил нейронку, собрал бабла с инвесторов, и вот теперь чешет репу.

#нейросети #трейдинг

Тут опять я, со своими нейросетями. Уж так оно получилось, что именно с ними связаны самые громкие новости Data Science.

Что у меня на этот раз?
Спешу рассказать о том, что Большой Брат все ближе и ближе. Прочитал про случай из Китая, где опять не обошлось без нейронки, делюсь.

В Китае украли 3 летнюю девочку. Убитый горем папаша пришел в полицию. Копы попросили фото дочери. Фото скормили угадайте кому? Правильно, нейросетке! Эта нейронка подключена к базе видеокамер. И вот она, даром что китайская, качественно сделала свою работу - нашла лицо этой девочки в базе видео. Оказалось, девочку увела какая то тётка. Лицо тётки тут же распознали, получили паспортные данные. Ну а дальше уже скучно, без нейронок, зато с хэппи эндом: тётку пробили по базе, увидели что она купила билет на поезд, и в городе назначения её встретили с "хлебом-солью". Девочку благополучно вернули в семью. На всё про всё ушло 15 часов.

Какие выводы? Вот такой вот инь и янь. С одной стороны - жить будет безопаснее. С другой - забываем слово "приватность", это что-то из прошлого века.

#нейросети #криминал #большойбрат

Как дела у машин с переводами между языками?

Думаю на этот вопрос может правильно ответить любой, кто пробовал перевести через Google Translate. И ответ этот таков: так себе дела.

Сейчас наткнулся на очередную новость иллюстрирующую эту тему. Вкратце: в Израиле палестинец написал «Доброе утро» в фейсбуке. Алгоритм перевел ее как «Атакуйте их!», настучал в полицию. Ну а полицейские - ребята простые, сначала винтят, потом разбираются. Так же поступили и на этот раз. Уже в полицейском участке на допросе выяснилось, что на арабском фраза «Доброе утро всем вам» и слова «Атакуйте их» отличаются одной буквой, что копам подтвердил арабоязычный эксперт. Вот об эту букву и споткнулся робот фейсбука, следящий за потенциально террористическими постами. Парня отпустили, и вроде как даже почки не успели отбить, бывает и такое. А машину чуток подправят, и снова в бой - до следующей серьезной ошибки.

Ну а с синхронным переводом речи все еще хуже. Там машине нужно не только понимать нюансы написания, но еще и нюансы звучания, учитывать контекст. То что мозг человека делает на лету - машины пока не умеют делать даже с задержкой. Так что каждый раз, когда читайте чепуху вида "Микрософт встроила переводчик в скайп" или "Гугл выпустил наушники, переводящие речь на лету" - можете возмущенно фыркать: это просто писали маркетологи, которые хотят ваших денег и готовы ради этого впарить вам нерабочую туфту.

Отмечу, что благодаря развитию нейросетей, в ближайшие годы ситуация с переводами должна значительно улучшиться.

#машинныйперевод

Для вас Титаник - это фильм про корабль, а для датасайентистов - не только 😉

⬇️ Читать статью ⬇️

Дорогие читатели, в голове "аффтара" висят заготовки статей на следующие темы:
🔧 Обзор основных методов машинного обучения. Ранее писал про нейросети, но есть и куча других алгоритмов.
🎨 Обзор про визуализацию данных. Всякие там графики, гистограммы, карты - как в них запихать тыщщи цифр.
🎩 Очередная история из жизни, связанная с DataScience.
🚗 Про беспилотные автомобили.
🎲 Машинное обучение и лотереи, ставки на спорт.
Объявляю голосование. Что из этого добра бы хотели прочитать раньше?
Естественно, без зауми, все по формату канала. На уровне, чтоб поддержать беседу с собутыльником-аналитиком. Выбирайте!
#голосование

Спасибо всем проголосовавшим, благодаря вам - приоритеты расставлены!

Начинаю разъяснять термины, необходимые для понимания методов машинного обучения. Сегодня - Регрессия и Классификация.

Спойлер в одно предложение. Если на вопрос "Миша, можно денег в твоем кошельке взять?" он ответил жене "Да" - значит Миша решил в уме задачу классификации, а если ответил "Только 1500 рублей!" - значит задчу регрессии.

Хочется чуть подробнее? ⬇️ читаем статью ⬇️

Минута оффтопика.

Почитал на канале @tainynet интересную статью "Роботы станут причиной гибели человечества". Букв много, но точки зрения очень интересные. Сначала, прочитав название статьи, подумал: "Да-да, Скайнет на подходе, роботы воюют с людьми, все дела". Но статья оказалась не об этом. В числе прочего, автор считает, что роботы приведут к тому, что работники-люди окажутся ненужными - ведь роботы дешевле. Всюду будут работать роботы, а людям будет нечем заняться. Давать им деньги за просто так никто не захочет, поэтому правительства их сгонят в человечьи гетто. Отличный сюжет для фильма по типу "Район №9" (кстати, рекомендую), особенно если Скайнетом приправить.

Лично мое мнение по этому вопросу: роботы действительно полным ходом заменяют людей на фабриках, но только на рутинных однотипных задачах. Ну там, одну детальку прижать к другой, щёлк - готово. Если же в работе нужен хоть малейший элемент интеллекта - то пока дешевле нанять обычного двуногого. Всегда ли так будет? В целом - да. Нормальный Искуственный Интеллект до сих пор делать не научились, только алгоритмы заточенные под конкретные задачи. И научатся наверное не раньше 2040 годов, оцениваю на глаз.
Что касается социальной стороны вопроса, то на Земле и без всяких роботов полно гетто. Перенаселение из-за неконтролируемой рождаемости - вот причина этого. Нравится людям это дело - перенаселяться, вместо того чтоб подумать о нехватке ресурсов для потомства. Но это совсем уже оффтоп.

Какие выводы? Старайтесь, чтобы ваша работа требовала использовование мозга. Довольно полезный орган, я вам скажу. И пользоваться им прикольно, и ваш шеф роботами вас не сможет заменить, и много других плюсов 😉

А на @tainynet советую подписаться, там много и других годных статей.
#роботы #ии #будущее

Деревья решений
Продолжаем тему алгоритмов машинного обучения.

Спойлер: Если не умеете обучать машины, но очень хочется понтануться - нарисуйте сами Дерево решений, а друзьям говорите, что это компьютер вам выдал.

#алгоритмы #дереворешений

⬇️ читаем статью ⬇️