Наивный Байесовский классификатор
Продолжаю цикл статей про алгоритмы машинного обучения.

Спойлер: Вчера были тучи и пошел дождь, сегодня были тучи и идет дождь? Значит, если завтра будут тучи - расскажите всем, что согласно Теореме Байеса, скорее всего будет дождь.

#алгоритмы #байес

⬇️ читаем статью ⬇️

Доброго времени суток!

Чтобы разбавить поток лекций про алгоритмы машинного обучения, следующая статья будет про визуализацию данных. Но это так, лирическое отступление.

Теперь к делу 🙂 На канале уже полторы тысячи читателей - это радует! Но пугает, что это - полторы тысячи неизвестных. Хочется узнать - кто все эти люди, ой, т.е. вы, дорогие читатели? Поэтому хочу время от времени устраивать опросы. А полученные данные можно будет визуализировать 😉 Начнем с самого простого. Какого вы пола?
💂 М
👸 Ж
😤 автор, статьи пиши, а не собирай разведданные!
#опрос

А вот и про визуализацию данных
Помните результаты опроса? Введение по визуализации готово.

Спойлер: Когда на планёрке кто-то из коллег принесет таблицу из Экселя, важно прокомментируйте: "Эти данные нужно визуализировать". Возможно, шеф оценит и прибавит зарплату.

#визуализация

⬇️ читаем статью ⬇️

В интернетах гуляет, и про Data Scientist'а тут есть 😄

12 фев. Скинулись, открыли с Олегом и Мишей шиномонтаж. Работаем сами, подсобником взяли Шухрата со стройки. Проходное место, очередь клиентов с утра до ночи, бизнес попёр.

9 мар. Надоел учет в блокноте и бардак на складе. Наняли девочку, установили ей компьютер с 1С, всё теперь будет вноситься в базу. Закончили наконец спорить о названии, победило моё: "Мир покрышек" - коротко, точно и очень ёмко.

12 апр. 1С это конечно бомба! В ней можно всё учитывать, и даже рулить бизнесом. Наняли программиста, чтобы немного её допилил. Скоро блокнот можно будет выкинуть!

17 мая. Учет ещё немного сбоит, но уже видно как будет всё круто, когда закончим. Взяли второго программиста для ускорения. От сбоев страхуемся старым добрым блокнотиком, но его дни уже сочтены. На выходных поигрался с конструктором и сконструировал наш первый сайт. Выходим в онлайн!

8 июн. Обновили версию 1С, очень крутая, огонь! И хотя все наши доработки слетели, не беда - мы их быстро повторим и даже сделаем лучше. Для ускорения наняли java-программиста, тестировщика и менеджера проектов. Сделаем из нашего шиномонтажа Индустрию 4.0, это будет прорыв!

20 июл. Клиенты видимо свалили в отпуска. Блокнотик говорит, что с июля всего одиннадцать покупок. Зато в 1С видно, что отремонтировано тридцать пять колес, заделано семь проколов и установлено 940 граммов балансировочных грузов. Биг дата рулит!

19 авг. Переманили из соседней кофейни data scientist. Всего за три дня он вычислил, что с понижением температуры на два градуса, количество клиентов растет на 9.5%, а с дождем - падает на 5.7%. А пока мы ждем сухой и холодной погоды, команда подключает балансировочный станок к облаку.

19 сен. Наши программисты - гении! На коленках написали мобильное приложение. Теперь все графики под рукой и даже есть управление скоростью станка с телефона. Благо клиентов вал - начался сезон и Шухрат пашет 24/7. Мы тоже не сачкуем - внедряем Agile и ремонтируем новый офис.

10 окт. Уберизация наше всё! Придумали, как объединить все шиномонтажи страны в одну сеть. Пилим для них маркетплейс и создаём единую шинную экосистему. Пока всё тестируем на Шухрате. Он конечно ноет и просит прибавить за это денег, но ничего - скоро поймет, насколько автоматизация упрощает ему жизнь.

4 ноя. Шухрат уволился - сбежал обратно на стройку и мы решили временно закрыть шиномонтаж. Тем более что, что работы хватает и без него. Завели блог на Хабре, канал в Телеграме, едем с докладом на блокчейн конференцию в Барселону. Расскажем про нашу концепцию покрышка-as-a-service. Это будет революция!

15 дек. Пока проект не взлетел, с деньгами приходится туго. Две недели бегали по инвест фондам и бизнес-ангелам. Но эти чертовы капиталисты слишком жадные - никто не согласен дать миллион за 10% нашего стартапа, хотя мы стоим намного больше. В итоге затянули ремни и взяли на себя шесть потребкредитов разом. Начинаем готовить ICO.

Оригинал

Соседи - это хорошо! Продолжаем изучать алгоритмы машинного обучения.

Спойлер: В холодильнике бутылка неизвестной крепости? Посмотрите на соседние известные - крепость неизвестной бутылки будет как у ближайших соседних.

#алгоритмы #knn

⬇️ читаем статью ⬇️

Продолжаю собирать статистику о читателях.

Сколько вам лет?
👶 меньше 18
👱 от 18 до 24
👷 от 25 до 33
👲 от 34 до 44
🕵 45 и старше
🗣 не скажу!

Тепловая карта - это вовсе не перегревшаяся видеокарта любителя криптовалют
Продолжаем тему визуализации.

Спойлер: Если данных очень много, а времени объяснять мало - то тепловая карта ваше спасение.

#визуализация #heatmap

⬇️ читаем статью ⬇️

Был пару месяцев назад пост с приколами от голосового помощника Алисы

Прочитал забавну историю из этой же серии. Англичанин Джейми Гроссман стравил два гаджета с голосовым помощником Алекса. Одна - с 🇬🇧британским английским, вторая - с 🇺🇸американским, а эти языки немного отличаются. Диалог получился знатным:

Гроссман: Alexa, из чего сделана фольга?
Alexa 🇺🇸: Материал, из которого сделана фольга — алюминий (aluminium).
Alexa 🇬🇧: Ты подразумеваешь алюминий (aluminum).
Alexa 🇺🇸: Это алюминий.
Alexa 🇬🇧: «Алюминий» пишется A-L-U-M-I-N-U-M.
Alexa 🇺🇸: Это неправильно.
Alexa 🇬🇧: Заткнись!
Alexa 🇺🇸: Ты заткнись!
Alexa 🇬🇧: Нет, ты заткнись!

Ждем домашних человекоподобных роботов-помощников с ИИ, будем выкладывать видосы с их драками на кухне 😉

оригинальное видео

Недавно была статья про тепловые карты. И в качестве одной из иллюстраций была карта фондового рынка.
Наткнулся на онлайн-карту рынка криптовалют: http://cryptomaps.org/
Для тех, кто отслеживает эту тему - очень удобно. Открыли - и сразу видно, какие ведущие валюты куда «прут».

Доброго утра, дорогие читатели!

Да, я (автор канала) жив, и даже помню, что есть у меня такой канал. Цветов не надо. Вот стаканчик виски или хорошего пива - это можно.
Куда пропадал - объяснять не буду, а вот канал возрождать - буду. Формат канала немножко поменяется - будет, как и в первое время, больше упоминаний интересных новостей с моими комментариями.
Ну а начнем мы, не угадаете, с полурекламной статьи. Но не торопитесь плеваться! Верные читатели помнят, что рекламы в классическом виде на канале никогда не было. Так и в этот раз - сейчас будет не столько реклама, сколько персональная рекомендация.

Ко мне обратилась представитель Нетологии (онлайн-университет, если кто не знает) и, несмотря на то что я давно ничего не писал, попросила помочь донести до заинтересованной аудитории информацию: 1 марта начинается очередной поток курса по специальности Data Scientist.
И что же там делать, спрашивается? "Прокачайте навыки работы с рекомендательными системами, машинным зрением и NLP", говорила она. "Научитесь создавать и обучать нейросети", добавила вслед. Я задумался, а она не останавливалась: "5 месяцев, 100+ часов практики". Пока я переваривал, меня добивали: "преподаватели - эксперты из “Яндекс”, “СберТех”, “Ростелеком”, ivi ru и других ведущих компаний отрасли."
А пока я набирал воздуха, чтобы рявкнуть "хватит!", пришел контрольный выстрел: "По кодовому слову ACCURACY - скидка на программу 20 000 руб. и онлайн курс Нетологии “Big Data: основы работы с большими данными” в подарок!"
Короче, вот вам ссылка: http://netolo.gy/ecX - там подоробности, и не забывайте промо-код ACCURACY.
Нетология толково учит, и условия довольно хорошие. Так что что моим верным читателям это может быть интересно. Заодно и я к каналу вернулся.
До следующих статей!

Доброго времени суток, доргие читатели!

Лето приближается, и вместе с этим у аффтара канала вновь появляется вкус к писательству, по стечению обстоятельств покинувший писателя на полгода. Если вы уже забыли, что это за канал и где вы вообще, напоминаю. Это telegram-канал про Data Scince - науку о данных и связанные с этим новости, технологии. На котором я объясняю все эти вещи максимально понятным языком. Даже домохозяйкам. Даже тем из них, кто с гуманитарным образованием.

Сегодня, в качестве затравки, пересказываю свежайшую историю о голосовых помощниках. (Голосовые помощники - это такие программы, встроенные в разную технику, которые распознают команды голосом и выполняют им. Например, Алиса от Яндекса, или Сири от Apple.)

Сейчас речь пойдет о голосовом помощнике Алекса, встроенном в умные устройства Echo от Амазон. Знаете, есть такая весьма популярная за бугром колонка, подключаемая по Bluetooth и WiFi к компьютеру/планшету/смартфону. Умеющая выполнять разные команды, как телефонные помощники. Так вот, эта милая колонка на днях стала героем скнадала.

"Мой муж шутил со мной, что ставит на то, что наши умные устройства подслушивают то, о чем мы разговариваем", рассказывает героиня истории Даниэла. «А через две недели мне позвонил мой сотрудник и рассказал о полученном странном сообщении. И посоветовал сейчас же отключить Алексу, потому что меня взломали через нее."

Оказалось, Алекса отправила голосовое сообщение, содержащее приватные разговоры Даниэлы и её мужа, которые, естественно, никто не просил никому отправить. Даниэла, не будь дурой, уведомила Амазон, разработчика этого "умного" помощника. Вместе они восстановили картину случившегося. Оказалось - череда невероятных совпадений. Алексе послышалось (или же реально было сказано) слово "Алекса", которое для неё является сигналом, что далее будет команда. Как назло, одна из фраз далее была "отправить сообщение", и Алекса немедля приготовилась это делать. И даже уточнила - кому отправлять будем, хозяин-барин? Но грормкость была на минимуме, и её не услышали. Зато Алекса всё внимательно слушала, и интерпретировала одну из следующих фраз как название одного из контактов. После чего уточнила "Отправляем сообщение такому-то, правильно?" и получила "ответ" (на деле - случайно совпававшую фразу) что мол да, отправляем. Что и было сделано.

В связи с этой историей возникло много вопросов на тему безопасности проникновения подобных устройств в дома. Об этом возможно напишу отдельную статью, спойлер: скоро мы услышим о взломах через голосовые помощники, которые услышали команды через музыку/ТВ/громкую связь.

Лично у меня ко всей этой истории возник ещё один вопрос. Благодаря чему Амазон так подробно смог разобраться в истории, и в частности во всех нюансах того, что слышала Алекса? Никого не хочу обвинять, но мне кажется вы тоже всё поняли.

А если вы спросите "какое отношение Дата Сайнс имеет ко всему этому", отвечу: самое прямое! Вся эта байда стала возможна лишь с попустительства постоянно изобретающих что-то датасайнтистов.
Хочешь поработить вселенную - изучай датасайнс, делай умный девайс, и через него захватывай мир 😉

http://money.cnn.com/2018/05/24/technology/alexa-secret-recording/index.html -источник истории на английском

#голосовыепомощники

Наткнулся на интересную игру - симулятор Data Scientist’a и его кота 😄

В процессе игры нужно либо работать программистом-фрилансером, либо техническим директором в стартапе. При этом понарошку решать игровые задачи, взятые из настоящего Data Science мира, так что игра может быть интересна желающим получить представление об этой сфере. Ну а заработанные деньги можно тратить в игре на себя и на кота 😺

В общем, хоть автор канальчика давно уже практически не играет, но эта игра показалась очень интересной. Решил купить, поиграть - даже в steam зарегистрировался)

https://store.steampowered.com/app/619150/while_True_learn/

#игры #whiletruelearn

Приветствую! Если почитать мой канал, то многие сложные и страшные слова кажутся не труднее уроков труда в третьем классе. Но, на самом деле, наука анализа данных (и смежные области) достаточно серьезная, и многим из вас будет интересно почитать и другие источники информации. Рекомендую ознакомиться ниже с подборкой каналов по "нашей" тематике. Ну а сам буду радовать и дальше максимально доступными объяснениями. Stay tuned ;)

Меню канала с основными постами.

Основы Data Science, алгоритмы.
1. Data Science
2. Big Data
3. Data Mining
4. Нейросети
5. Задача про Титаник
6. Регрессия, регрессоры. Классификаторы.
7. Деревья решений
8. Наивный Байесовский классификатор
9. Метод K-ближайших соседей

Визуализация.
1. Визуализация данных
2. Тепловые карты

Истории о нейросетях
1. Пример работы нейросети на примере боев сумо
2. Нейросети и распознавание порноактеров
3. Нейросети и трейдинг
4. Нейросети и видеослежка

Истории из жизни.
1. Айфон-психолог
2. Магазины вычисляют вашу беременность
3. Знакомство с помощью Data Science
4. Знакомство с помощью Data Science - 2
5. Про машинный перевод

Как самому вырастить дерево решений?

Спойлер: Вольный пересказ статьи с красивыми картинками

#дереворешений #визуализация

⬇️ читаем статью ⬇️

Пояснение к шутке выше - для самых маленьких.

Питонист - программист на языке Python, очень популярный в DataScience.
Дата Сайентист - занимающийся Data Science.
Искусственный Интеллект - маркетинговая фикция, которая якобы есть в каждом новом телефоне/автомобиле/утюге.
Рандомный подбор коэффициентов - про это напишу отдельную статью, по сути это "угадывание".
Кросс-валидация (перекрёстная проверка, скользящий контроль) - проверка модели на других данных, не на тех, на которых шло обучение.
Нормальный результат кросс-валидации - когда кросс-валидация показывает, что вы составили годную предсказательную модель (угадывающую более чем в 55-60% случаев, а лучше ближе к 100%).

С ув., Ваш Кэп.

Печально, но telegra.ph открывается в РФ не у всех. Так что новые статьи будут в Яндекс Дзен.
А пока - поризвел репликацию ранее вышедших материалов.

«Автор, что ты там несёшь?», спрашивают на этом месте дорогие читатели. Ой, и действительно, буду проще:
А пока - скопипастил каждую прошлую статью с Телеграфа в Дзен 🙂

Вот ссылка на канал в Дзен: https://zen.yandex.ru/id/5b31751bc898ca00a9199051
Подписывайтесь сами, и друга/подругу подписать не забудьте, и к соседу ради такого случая зайдите))

Красиво ли в Случайном лесу?

Спойлер: Если вы любите все делать от балды - этот алгоритм вам определенно понравится!

#алгоритмы #случайныйлес #randomforest

⬇️ читаем статью ⬇️

Ахаха, юмор по теме канальчика :)