Data Science и все такое – Telegram
Data Science и все такое
2.91K subscribers
7 photos
1 video
41 links
Даже если вы совсем "блондинка", подписавшиcь на канал вы станете разбираться в Data Science - науке о данных.
С юмором и простым языком - анализ данных, машинное обучение, нейросети, искусственный интеллект, обо всем таком.

по всем ?: @virusandy
Download Telegram
Как дела у машин с переводами между языками?

Думаю на этот вопрос может правильно ответить любой, кто пробовал перевести через Google Translate. И ответ этот таков: так себе дела.

Сейчас наткнулся на очередную новость иллюстрирующую эту тему. Вкратце: в Израиле палестинец написал «Доброе утро» в фейсбуке. Алгоритм перевел ее как «Атакуйте их!», настучал в полицию. Ну а полицейские - ребята простые, сначала винтят, потом разбираются. Так же поступили и на этот раз. Уже в полицейском участке на допросе выяснилось, что на арабском фраза «Доброе утро всем вам» и слова «Атакуйте их» отличаются одной буквой, что копам подтвердил арабоязычный эксперт. Вот об эту букву и споткнулся робот фейсбука, следящий за потенциально террористическими постами. Парня отпустили, и вроде как даже почки не успели отбить, бывает и такое. А машину чуток подправят, и снова в бой - до следующей серьезной ошибки.

Ну а с синхронным переводом речи все еще хуже. Там машине нужно не только понимать нюансы написания, но еще и нюансы звучания, учитывать контекст. То что мозг человека делает на лету - машины пока не умеют делать даже с задержкой. Так что каждый раз, когда читайте чепуху вида "Микрософт встроила переводчик в скайп" или "Гугл выпустил наушники, переводящие речь на лету" - можете возмущенно фыркать: это просто писали маркетологи, которые хотят ваших денег и готовы ради этого впарить вам нерабочую туфту.

Отмечу, что благодаря развитию нейросетей, в ближайшие годы ситуация с переводами должна значительно улучшиться.

#машинныйперевод
Дорогие читатели, в голове "аффтара" висят заготовки статей на следующие темы:
🔧 Обзор основных методов машинного обучения. Ранее писал про нейросети, но есть и куча других алгоритмов.
🎨 Обзор про визуализацию данных. Всякие там графики, гистограммы, карты - как в них запихать тыщщи цифр.
🎩 Очередная история из жизни, связанная с DataScience.
🚗 Про беспилотные автомобили.
🎲 Машинное обучение и лотереи, ставки на спорт.
Объявляю голосование. Что из этого добра бы хотели прочитать раньше?
Естественно, без зауми, все по формату канала. На уровне, чтоб поддержать беседу с собутыльником-аналитиком. Выбирайте!
#голосование
Спасибо всем проголосовавшим, благодаря вам - приоритеты расставлены!

Начинаю разъяснять термины, необходимые для понимания методов машинного обучения. Сегодня - Регрессия и Классификация.

Спойлер в одно предложение. Если на вопрос "Миша, можно денег в твоем кошельке взять?" он ответил жене "Да" - значит Миша решил в уме задачу классификации, а если ответил "Только 1500 рублей!" - значит задчу регрессии.

Хочется чуть подробнее? ⬇️ читаем статью ⬇️
Минута оффтопика.

Почитал на канале @tainynet интересную статью "Роботы станут причиной гибели человечества". Букв много, но точки зрения очень интересные. Сначала, прочитав название статьи, подумал: "Да-да, Скайнет на подходе, роботы воюют с людьми, все дела". Но статья оказалась не об этом. В числе прочего, автор считает, что роботы приведут к тому, что работники-люди окажутся ненужными - ведь роботы дешевле. Всюду будут работать роботы, а людям будет нечем заняться. Давать им деньги за просто так никто не захочет, поэтому правительства их сгонят в человечьи гетто. Отличный сюжет для фильма по типу "Район №9" (кстати, рекомендую), особенно если Скайнетом приправить.

Лично мое мнение по этому вопросу: роботы действительно полным ходом заменяют людей на фабриках, но только на рутинных однотипных задачах. Ну там, одну детальку прижать к другой, щёлк - готово. Если же в работе нужен хоть малейший элемент интеллекта - то пока дешевле нанять обычного двуногого. Всегда ли так будет? В целом - да. Нормальный Искуственный Интеллект до сих пор делать не научились, только алгоритмы заточенные под конкретные задачи. И научатся наверное не раньше 2040 годов, оцениваю на глаз.
Что касается социальной стороны вопроса, то на Земле и без всяких роботов полно гетто. Перенаселение из-за неконтролируемой рождаемости - вот причина этого. Нравится людям это дело - перенаселяться, вместо того чтоб подумать о нехватке ресурсов для потомства. Но это совсем уже оффтоп.

Какие выводы? Старайтесь, чтобы ваша работа требовала использовование мозга. Довольно полезный орган, я вам скажу. И пользоваться им прикольно, и ваш шеф роботами вас не сможет заменить, и много других плюсов 😉

А на @tainynet советую подписаться, там много и других годных статей.
#роботы #ии #будущее
5 вариантов как поднять денег на Data Science

Вы меркантильны, и не знаете, чему бы обучиться ради денег? Советую подумать над Data Science. Такой спец имеет следующие возможности:

1. Работает по найму - самое очевидное, зп хорошие. В Москве вакансии висят незакрытыми месяцами - спецов мало, и уже имеющиеся отделы постоянно расширяются.
Чем занимается? От построения отчетиков и запросиков в базу данных, до разработки машинного зрения и автопилотов. Чаще всего - околофинансовая тематика.

2. Становится фрилансером/открывает фирму по аналитике данных. Спрос на услуги пока небольшой, но явно будет расти. Подобный аутсорсинг практикуется с бухгалтерами, юристами, программистами 1С.
Чем занимается? Один пример, для торговой компании. Можно проанализировать закупки, продажи, построить модель зависимости продаж от всего остального. А с ней - дать прогноз на будущее, рекомендации.

3. Обучает Data Science. Везде открываются платные курсы. Нужны спецы, способные обучить, а не просто выдать грамоту.
Чем занимается? Составляет учебный план (или пользуется готовым), и старается от него не сильно отходить.

4. Подается в трейдинг/ставки/покер и т.п.. Потенциально - безграничный по прибыли вариант. А на практике, любой рынок - это не только сухой анализ данных, но и... Тут наберется еще несколько статей, так что оставлю тему нераскрытой.
Чем занимается? Варианта как правило три. Самый частый: балансирует на грани слива, сидит на валидоле. Второй по частоте: живет от продаж бота-"Грааля" (или от инвестиций в него), который на самом деле сливает. И самый редкий: сидит в тишине и прибыли.

5. Побеждает в соревнованиях. Не получится использовать как регулярный доход. Учавствуют сотни-тысячи, а приз только один. Многие крупные компании выкладывают свои задачи на конкурс. Даже если у них есть свои data science отделы, но они хотят получить решение еще лучше. Поэтому бывает денежный приз за лучшее решение.
Чем занимается? Сидит бессонные ночи. Нередко - платит $$$ за аренду кластера для лучшего решения задачи. Получает чувство удовлетворения от участия.

Ну а если профессионально изучать Data Science не интересно, а денег хочется, то просто учите китайский. Без дела точно не останетесь.
Наивный Байесовский классификатор
Продолжаю цикл статей про алгоритмы машинного обучения.

Спойлер: Вчера были тучи и пошел дождь, сегодня были тучи и идет дождь? Значит, если завтра будут тучи - расскажите всем, что согласно Теореме Байеса, скорее всего будет дождь.

#алгоритмы #байес

⬇️ читаем статью ⬇️
Доброго времени суток!

Чтобы разбавить поток лекций про алгоритмы машинного обучения, следующая статья будет про визуализацию данных. Но это так, лирическое отступление.

Теперь к делу 🙂 На канале уже полторы тысячи читателей - это радует! Но пугает, что это - полторы тысячи неизвестных. Хочется узнать - кто все эти люди, ой, т.е. вы, дорогие читатели? Поэтому хочу время от времени устраивать опросы. А полученные данные можно будет визуализировать 😉 Начнем с самого простого. Какого вы пола?
💂 М
👸 Ж
😤 автор, статьи пиши, а не собирай разведданные!
#опрос
А вот и про визуализацию данных
Помните результаты опроса? Введение по визуализации готово.

Спойлер: Когда на планёрке кто-то из коллег принесет таблицу из Экселя, важно прокомментируйте: "Эти данные нужно визуализировать". Возможно, шеф оценит и прибавит зарплату.

#визуализация

⬇️ читаем статью ⬇️
В интернетах гуляет, и про Data Scientist'а тут есть 😄

12 фев. Скинулись, открыли с Олегом и Мишей шиномонтаж. Работаем сами, подсобником взяли Шухрата со стройки. Проходное место, очередь клиентов с утра до ночи, бизнес попёр.

9 мар. Надоел учет в блокноте и бардак на складе. Наняли девочку, установили ей компьютер с 1С, всё теперь будет вноситься в базу. Закончили наконец спорить о названии, победило моё: "Мир покрышек" - коротко, точно и очень ёмко.

12 апр. 1С это конечно бомба! В ней можно всё учитывать, и даже рулить бизнесом. Наняли программиста, чтобы немного её допилил. Скоро блокнот можно будет выкинуть!

17 мая. Учет ещё немного сбоит, но уже видно как будет всё круто, когда закончим. Взяли второго программиста для ускорения. От сбоев страхуемся старым добрым блокнотиком, но его дни уже сочтены. На выходных поигрался с конструктором и сконструировал наш первый сайт. Выходим в онлайн!

8 июн. Обновили версию 1С, очень крутая, огонь! И хотя все наши доработки слетели, не беда - мы их быстро повторим и даже сделаем лучше. Для ускорения наняли java-программиста, тестировщика и менеджера проектов. Сделаем из нашего шиномонтажа Индустрию 4.0, это будет прорыв!

20 июл. Клиенты видимо свалили в отпуска. Блокнотик говорит, что с июля всего одиннадцать покупок. Зато в 1С видно, что отремонтировано тридцать пять колес, заделано семь проколов и установлено 940 граммов балансировочных грузов. Биг дата рулит!

19 авг. Переманили из соседней кофейни data scientist. Всего за три дня он вычислил, что с понижением температуры на два градуса, количество клиентов растет на 9.5%, а с дождем - падает на 5.7%. А пока мы ждем сухой и холодной погоды, команда подключает балансировочный станок к облаку.

19 сен. Наши программисты - гении! На коленках написали мобильное приложение. Теперь все графики под рукой и даже есть управление скоростью станка с телефона. Благо клиентов вал - начался сезон и Шухрат пашет 24/7. Мы тоже не сачкуем - внедряем Agile и ремонтируем новый офис.

10 окт. Уберизация наше всё! Придумали, как объединить все шиномонтажи страны в одну сеть. Пилим для них маркетплейс и создаём единую шинную экосистему. Пока всё тестируем на Шухрате. Он конечно ноет и просит прибавить за это денег, но ничего - скоро поймет, насколько автоматизация упрощает ему жизнь.

4 ноя. Шухрат уволился - сбежал обратно на стройку и мы решили временно закрыть шиномонтаж. Тем более что, что работы хватает и без него. Завели блог на Хабре, канал в Телеграме, едем с докладом на блокчейн конференцию в Барселону. Расскажем про нашу концепцию покрышка-as-a-service. Это будет революция!

15 дек. Пока проект не взлетел, с деньгами приходится туго. Две недели бегали по инвест фондам и бизнес-ангелам. Но эти чертовы капиталисты слишком жадные - никто не согласен дать миллион за 10% нашего стартапа, хотя мы стоим намного больше. В итоге затянули ремни и взяли на себя шесть потребкредитов разом. Начинаем готовить ICO.

Оригинал
Соседи - это хорошо! Продолжаем изучать алгоритмы машинного обучения.

Спойлер: В холодильнике бутылка неизвестной крепости? Посмотрите на соседние известные - крепость неизвестной бутылки будет как у ближайших соседних.

#алгоритмы #knn

⬇️ читаем статью ⬇️
Продолжаю собирать статистику о читателях.

Сколько вам лет?
👶 меньше 18
👱 от 18 до 24
👷 от 25 до 33
👲 от 34 до 44
🕵 45 и старше
🗣 не скажу!
Был пару месяцев назад пост с приколами от голосового помощника Алисы

Прочитал забавну историю из этой же серии. Англичанин Джейми Гроссман стравил два гаджета с голосовым помощником Алекса. Одна - с 🇬🇧британским английским, вторая - с 🇺🇸американским, а эти языки немного отличаются. Диалог получился знатным:

Гроссман: Alexa, из чего сделана фольга?
Alexa 🇺🇸: Материал, из которого сделана фольга — алюминий (aluminium).
Alexa 🇬🇧: Ты подразумеваешь алюминий (aluminum).
Alexa 🇺🇸: Это алюминий.
Alexa 🇬🇧: «Алюминий» пишется A-L-U-M-I-N-U-M.
Alexa 🇺🇸: Это неправильно.
Alexa 🇬🇧: Заткнись!
Alexa 🇺🇸: Ты заткнись!
Alexa 🇬🇧: Нет, ты заткнись!

Ждем домашних человекоподобных роботов-помощников с ИИ, будем выкладывать видосы с их драками на кухне 😉

оригинальное видео
Недавно была статья про тепловые карты. И в качестве одной из иллюстраций была карта фондового рынка.
Наткнулся на онлайн-карту рынка криптовалют: http://cryptomaps.org/
Для тех, кто отслеживает эту тему - очень удобно. Открыли - и сразу видно, какие ведущие валюты куда «прут».
Доброго утра, дорогие читатели!

Да, я (автор канала) жив, и даже помню, что есть у меня такой канал. Цветов не надо. Вот стаканчик виски или хорошего пива - это можно.
Куда пропадал - объяснять не буду, а вот канал возрождать - буду. Формат канала немножко поменяется - будет, как и в первое время, больше упоминаний интересных новостей с моими комментариями.
Ну а начнем мы, не угадаете, с полурекламной статьи. Но не торопитесь плеваться! Верные читатели помнят, что рекламы в классическом виде на канале никогда не было. Так и в этот раз - сейчас будет не столько реклама, сколько персональная рекомендация.

Ко мне обратилась представитель Нетологии (онлайн-университет, если кто не знает) и, несмотря на то что я давно ничего не писал, попросила помочь донести до заинтересованной аудитории информацию: 1 марта начинается очередной поток курса по специальности Data Scientist.
И что же там делать, спрашивается? "Прокачайте навыки работы с рекомендательными системами, машинным зрением и NLP", говорила она. "Научитесь создавать и обучать нейросети", добавила вслед. Я задумался, а она не останавливалась: "5 месяцев, 100+ часов практики". Пока я переваривал, меня добивали: "преподаватели - эксперты из “Яндекс”, “СберТех”, “Ростелеком”, ivi ru и других ведущих компаний отрасли."
А пока я набирал воздуха, чтобы рявкнуть "хватит!", пришел контрольный выстрел: "По кодовому слову ACCURACY - скидка на программу 20 000 руб. и онлайн курс Нетологии “Big Data: основы работы с большими данными” в подарок!"
Короче, вот вам ссылка: http://netolo.gy/ecX - там подоробности, и не забывайте промо-код ACCURACY.
Нетология толково учит, и условия довольно хорошие. Так что что моим верным читателям это может быть интересно. Заодно и я к каналу вернулся.
До следующих статей!
Доброго времени суток, доргие читатели!

Лето приближается, и вместе с этим у аффтара канала вновь появляется вкус к писательству, по стечению обстоятельств покинувший писателя на полгода. Если вы уже забыли, что это за канал и где вы вообще, напоминаю. Это telegram-канал про Data Scince - науку о данных и связанные с этим новости, технологии. На котором я объясняю все эти вещи максимально понятным языком. Даже домохозяйкам. Даже тем из них, кто с гуманитарным образованием.

Сегодня, в качестве затравки, пересказываю свежайшую историю о голосовых помощниках. (Голосовые помощники - это такие программы, встроенные в разную технику, которые распознают команды голосом и выполняют им. Например, Алиса от Яндекса, или Сири от Apple.)

Сейчас речь пойдет о голосовом помощнике Алекса, встроенном в умные устройства Echo от Амазон. Знаете, есть такая весьма популярная за бугром колонка, подключаемая по Bluetooth и WiFi к компьютеру/планшету/смартфону. Умеющая выполнять разные команды, как телефонные помощники. Так вот, эта милая колонка на днях стала героем скнадала.

"Мой муж шутил со мной, что ставит на то, что наши умные устройства подслушивают то, о чем мы разговариваем", рассказывает героиня истории Даниэла. «А через две недели мне позвонил мой сотрудник и рассказал о полученном странном сообщении. И посоветовал сейчас же отключить Алексу, потому что меня взломали через нее."

Оказалось, Алекса отправила голосовое сообщение, содержащее приватные разговоры Даниэлы и её мужа, которые, естественно, никто не просил никому отправить. Даниэла, не будь дурой, уведомила Амазон, разработчика этого "умного" помощника. Вместе они восстановили картину случившегося. Оказалось - череда невероятных совпадений. Алексе послышалось (или же реально было сказано) слово "Алекса", которое для неё является сигналом, что далее будет команда. Как назло, одна из фраз далее была "отправить сообщение", и Алекса немедля приготовилась это делать. И даже уточнила - кому отправлять будем, хозяин-барин? Но грормкость была на минимуме, и её не услышали. Зато Алекса всё внимательно слушала, и интерпретировала одну из следующих фраз как название одного из контактов. После чего уточнила "Отправляем сообщение такому-то, правильно?" и получила "ответ" (на деле - случайно совпававшую фразу) что мол да, отправляем. Что и было сделано.

В связи с этой историей возникло много вопросов на тему безопасности проникновения подобных устройств в дома. Об этом возможно напишу отдельную статью, спойлер: скоро мы услышим о взломах через голосовые помощники, которые услышали команды через музыку/ТВ/громкую связь.

Лично у меня ко всей этой истории возник ещё один вопрос. Благодаря чему Амазон так подробно смог разобраться в истории, и в частности во всех нюансах того, что слышала Алекса? Никого не хочу обвинять, но мне кажется вы тоже всё поняли.

А если вы спросите "какое отношение Дата Сайнс имеет ко всему этому", отвечу: самое прямое! Вся эта байда стала возможна лишь с попустительства постоянно изобретающих что-то датасайнтистов.
Хочешь поработить вселенную - изучай датасайнс, делай умный девайс, и через него захватывай мир 😉

http://money.cnn.com/2018/05/24/technology/alexa-secret-recording/index.html -источник истории на английском

#голосовыепомощники
Наткнулся на интересную игру - симулятор Data Scientist’a и его кота 😄

В процессе игры нужно либо работать программистом-фрилансером, либо техническим директором в стартапе. При этом понарошку решать игровые задачи, взятые из настоящего Data Science мира, так что игра может быть интересна желающим получить представление об этой сфере. Ну а заработанные деньги можно тратить в игре на себя и на кота 😺

В общем, хоть автор канальчика давно уже практически не играет, но эта игра показалась очень интересной. Решил купить, поиграть - даже в steam зарегистрировался)

https://store.steampowered.com/app/619150/while_True_learn/

#игры #whiletruelearn
Приветствую! Если почитать мой канал, то многие сложные и страшные слова кажутся не труднее уроков труда в третьем классе. Но, на самом деле, наука анализа данных (и смежные области) достаточно серьезная, и многим из вас будет интересно почитать и другие источники информации. Рекомендую ознакомиться ниже с подборкой каналов по "нашей" тематике. Ну а сам буду радовать и дальше максимально доступными объяснениями. Stay tuned ;)