взять кучу умных людей, оцифровать их рекомендации лучших книжек → получится GoodBooks

https://www.goodbooks.io/top-100/non-fiction

(из рассылки Макса Черепицы :Р)

Интерактивный обновляющийся дешборд на открытых данных

Как сделать из простого Jupyter ноутбука полноценный сайт в интернете.

1. получить данные с Reddit через их API — pushshift (облегчив себе жизнь с помощью функции-обёртки с **kwargs); слегка обработать эти данные и сложить их в pandas.
2. добавить чуток NLP через библиотеку TextBlob. Через неё текст оценивается по двум параметрам: субъективность и эмоциональный окрас (негативный или позитивный).
3. Сделать из Jupyter ноутбука HTML страницу через Voilà.
4. Сделать так, чтобы Jypter ноутбук с Voilà можно было открыть как обычный сайт в интернете и чтобы при этом он обновлялся. Простой вариант — через Binder. Сложный вариант — через Linux сервер. Ещё один простой — через Heroku или Google Cloud Platform.

Статья с поэтапным объяснением, примерами кода и всем ссылками на все перечисленные инструменты.

на визуализации странный выбор параметра для обозначения цветом — эмоциональный окрас сообщения. По сути этот же параметр уже передаётся положением точки на вертикальной оси: все точки выше нуля зелёные, ниже — красные. Получается, что информация дублируется.

РазTextBlob даёт два параметра, можно было бы показать их оба: положением показывать эмоцию сообщения, а цветом — его эмоциональный окрас.

Книга «Задача трёх тел», Лю Цысинь

Впервые за долгое время прочитал не какой-нибудь суперползеный нонфикшн, а самый настоящий фикшн — научно-ксомичискую фантастику от китайского автора Лю Цысиня.

И если фикшн обычно читается долго: сесть почитать —это же целое действие. Надо настроиться, отмечать важные моменты, перечитывать непонятное, делать пометки. То «три тела» буквально пролетели: прочитал за пять дней.

Всё потому, что не мог остановиться, пока не дочитал. Читал утром, в обед и вечером. В очереди и в любой перерыв. Силой заставлял делать передышки и не начинать следующую главу.

Сценарий классно петляет, многие линии идут, переплетаясь, через весь сюжет. Сначала много непонятного и даже сверхъестественного.

После каждого нового открытия интересно сделать паузу и повторить в голове события из прошлых глав, чтобы увидеть из в свете новых фактов.

Много технических подробностей и необычных точек зрения. Мегагерцы радиоволн, наноматериал, ускорители частиц и 11-мерные(!) объекты.

Как говорит автор в эпилоге, ему с детства легко представлялись многомерные объекты или объекта невообразимого размера: слишком маленькие или вселенско большие. Частью этой способности он делится через описания научных исследований своих героев.

Впереди ещё две книги и судя по описанию основное действие. Боюсь начинать, иначе пропаду в них совсем)

Дорогие бесплатные слова
Один из самых недооцененных ресурсов – добрые слова.
В отличие от денег, связей, знаний и других ресурсов, запас добрых слов стремится к неисчерпаемому.

При этом пользы они часто несут не меньше. Секрет в том, что добрые слова, как и деньги, надо инвестировать (произносить), а не прятать под подушкой. Часть инвестиций не отобьется (ничего страшного), но часть принесет огромные дивиденды: кому-то поможет поверить в себя, кому-то вдохновиться на новые достижения, кому-то не сойти с дистанции в трудную минуту, кому-то увидеть свою красоту. На проверку оказывается, что это чуть ли не самое дорогое, что вообще есть. И это бесплатно.

Видишь, что человек хорошо выглядит? Скажи об этом.
Испытываешь чувство благодарности? Шо ты молчишь тогда?
Желаешь кому-то всего хорошего? Дай знать.
Радуешься, что кто-то просто существует? Напиши.

Небольшое интервью Харитона Матвеева — сооснователя Skyeng.

Несколько цитат:
⁃ Узкое место в бизнесе — самое эффективное место для приложения силы.
⁃ Узкое место всегда убегает от центра экспертизы.
⁃ Источник мотивации предпринимателя — это непрерывное недовольство.

Рецепт счастливой жизни:
1. Утром хотеть на работу.
2. На работе каждый день делать небольшие задачи, которые двигают большие долгосрочные проекты.
3. Вечером чувствовать удовлетворение и усталость. Усталость — ровно в конце дня, не раньше, не позже.

Подсмотрел у Марьяны Онысько, там ещё несколько цитат.

Рассуждаю в блоге о зависимости результата от приложенных усилий (плосле просмотра фильма Дудя про Кремниевую долину)

https://sashamikhailov.ru/blog/all/efforts/

Илья Михайлов рассказывает менеджерам, как делать дизайн… без дизайнера.

Сначала проходится по всей цепочки, как обычно делается дизайн. От идея до конечного результата.

А потом рассказывает, где можно срезать и не делать лишнего. Попутно знакомя с основными фреймворками для работы: все эти Customer Journey Maps и Jobs to be Done.

https://www.youtube.com/watch?v=Va5AOX42UYQ&feature=share

Футболка 🖤

Вчера Рома Бунин - руководитель команды визуализации Яндекс.Такси и автор канала @revealthedata провел емкий вебинар про визуализацию данных. Тема вебинара так и звучала - Алгоритм проектирования дашборда

Очень здорово, что появляются подобные материалы и отлично, что их начинают генерировать люди, которым есть, что сказать.
Сам Роман тоже берет интервью у аналитиков. Отдельно отмечу разговор с Николаем Валиотти - автором блога @leftjoin

Кроме этого, развиваются разные форматы. Например, Андрей Демидов из Data Yoga проводят MIRO-дискуссии. Из забавного и интересного: сделали сравнение дашбордов и панели кокпита самолета AirbusА320, обсудили как через дашборды работала чилийская ситуационная комната президента, Прямо сейчас они с Ромой Колеченковым из Яндекс.DataLens обсуждают обучение детей датавизу - https://datayoga.ru/datakids А все серии доступны в открытом доступе.

И вишенка на торте - канал @dashboardets, который упрямо грызет гранит науки о визуализации данных

@internetanalytics

Дмитрий Аношин работает в Амазон и неспешно пишет бесплатный курс по аналитике и инжинирингу данных.

В очередном уроке разбирает структуру аналитического решения в компании: откуда данные приходят, где хранятся, и как потом попадают к бизнесу.

И как называются роли, которые отвечают за каждый вид работа. Где там BI аналитик, а где — data engineer.

https://youtu.be/_M8yxr2Inyo

как я делал тестовое задание в Welltory и анализировал данные с фитнес-трекеров.

внутри нет технических деталей, зато есть полудетективная история про то, как я нашёл владельца трекера и получил приглашение на собеседование в полседьмого утра 🙂

https://sashamikhailov.ru/blog/all/welltory-data-engineer/

Две истории от аналитиков в Яндексе

Беслан бросил универ и открыл с приятелем студию по разработке сайтов. А где сайты, там и продвижение в Директе: так Беслан стал «просто считать маркетинговые деньги».

Бизнес потом закрылся и Беслан продолжил считать маркетинговые деньги уже для других компаний: сначала на стороне клиента, а потом уже и в Яндексе.

Интересно про ротацию внутри Яндекса — когда со временем все интересные задачи уже стали просто рутинами, можно перевестись в другое направление, где будет всё в новинку.

***

Женя — тюрколог: она честно отучилась в университете и с интересом изучала там восточную культуру. Потом работала переводчиком и даже перевела целую книгу.

Потом, скучая на работе, нашла удалённую подработку в Яндексе — асессором. Яндекс как раз выходил на рынок Турции и им нужны были специалисты со знанием местной культуры и языка.

Потом подработка превратилась в постоянную работу, потом ушла, училась новому, потом вернулась — в общем, было интересно послушать историю Жени.

Удивительная статья в удивительном месте, Sinead Bovel (это офигенной красоты и ума фотомодель, погуглите) пишет в Vogue о том, что уверена, скоро она будет конкурировать в своей работе с ИИ. Т.е. уже и модели поумнее поняли, откуда ветер дует. Да, запрограммированная модель развивается, улучшается, растет и не стареет. А мы люди скорее наоборот https://www.vogue.com/article/sinead-bovell-model-artificial-intelligence

Всем нужно дёшево?

Встречал такой тезис: всем нужно дешево. Главное, чтобы было хотя бы на рубль дешевле. На этом принципе строятся тендерны: кто дал дешевле, то и выиграл.

Где-то в этом же мире существуют магазины типа Азбуки Вкуса или той же Магнолии. Там не самые низкие цены, но тем не менее там есть покупатели.

Или вот пришла Яндекс.Лавка и говорит: «привезём продукты за 15 минут» — продукты у вашей двери быстрее, чем вы сами сходите в магазин. Заметьте, и ни слова про цены.

И никто не будет сверять стоимость килограмма картошки с Пятёрочке и Лавке — это бессмысленно. Кому надо дешевле — пойдут в Пятёрочку, а кому надо через 15 минут к двери — откроют приложение и сделают заказ.

Так что, не всем нужно просто дёшево.

Максим Ильяхов приводил в пример шиномонтаж за 20 тысяч, вместо двух:

«…Не просто поменять резину, а забрать машину с парковки, отвезти в цех, поменять колеса и вернуть на парковку, а шины помыть, высушить и сдать на хранение, и за все это заплатить карточкой — вот уже это может стоить не 1500 рублей, а 6000. Заодно провести ТО, подготовить машину к зиме, почистить салон, залить незамерзайку, заменить воздушный фильтр, покрыть дворники какой-нибудь наносмазкой — уже 10 000. Сделать это за ночь, чтобы утром тебя уже ждала полностью готовая к зиме машина — 15 000. Плюс взять летнюю резину на хранение — вот и получился шиномонтаж за 20 000. Есть люди, которые готовы платить за удобство»

совмещаю приятное с полезным: и послушал подскастик для души, и заодно узнал, что думают в Дзене и ivi про моральную сторону своих рекомендательных сервисов

Рекомендательные сервисы

Онлайн-кинотеатру нужно, чтобы больше людей и как можно дольше смотрели его фильмы. Для этого ему нужно предлагать подходящие фильмы зрителям, чтобы те с большой вероятностью захотели их посмотреть.

Как выбрать какой фильм предложить зрителю?

1. Можно просто рандомом или тупо по порядку из топ 100 фильмов. Практика показывает, что это не эффективно: никакой персонализации и зрители потихоньку разжигаются.
2. Можно делать редакторские подборки. Эффективность выше, но нужна отдельная редакция, и чем больше аудитория — тем больше нужно редакторов.
3. Можно передать решение машинам: это называется рекомендательные сервисы. Алгоритмы смотрят на много-много характеристик каждого зрителя и пробуют предсказать на какие фильмы конкретно этот зритель кликнет с бо́льшей вероятностью. Эффективность по сравнению с первыми двумя способами доказана на практике.

Такие штуки есть во многих сервисах в интернете. По скромным подсчётам, каждый владелец смартфона и компьютера сталкивается с подобным десятки раз за день.

Иван Ямщиков допросил ребят из Дзена и ivi о том, как их платформы предлагают контент своим пользователям.

ссылки на послушать (и подписаться!)
https://news.1rj.ru/str/progulka/147

и, надеюсь, у вас есть Overcast 🙂
https://overcast.fm/+Pqr0S7ZdA

Влад Исмагилов из Яндексю.Маркет о том, что нужно знать начинающему аналитику:

1. Любознательность.
2. Базовая практика. Для начала для себя: спарсить погоду или Циан.
3. Базовое понимание, что за цифрами есть математическая база
4. Понимание, зачем цифры нужны бизнесу и как будут приниматься решения на их основе.


https://news.1rj.ru/str/just_analytics/15

П.С.: будет легче читаться, если хотя бы разбить текст на абзацы 🙃
https://telegra.ph/chto-nuzhno-znat-dzhunior-analitiku-07-30

у JetBrains есть даже официальный WeChat — они точно что-то знают)

Если посмотреть ближайшую кофейню или купить билет в кино, то это к Яндексу.

А если надо найти нужную функцию в питоне или понять, почему код не работает, то я открываю Гугл.

Да, приходится искать на английском, но в этом больше плюсов, чем минусов. Не нужно спрягать слова или выдумывать синонимы, как могли бы описать мою проблему другие: вопросы задают такие же «знатоки» английского, как и я: хватит даже школьного уровня.

Обычно прям забиваю ключевые слова в поиск:
python string to datetime

(я даже мануал по pandas каждый раз открываю через гугл ¯\_(ツ)_/¯ )

О пользе измерений или как заваривать вкусный чай

Задача: заварить вкусный чай нужной крепости.

Чтобы заварить чай, нужно насыпать в чайник чай и залить кипятком. Вот мы засыпаем листья чая в чайник: сыпем прям через край, особо не заморачиваясь.

По итогам возможны два варианта:
1. Чай получился нужной крепости
2. Слишком крепко или недостаточно крепко

Тогда в следующий раз мы захотим первый вариант повторить, а второй — исправить. То есть в первом случае засыпать столько же чая, а во втором — изменить количество чая.

Но чтобы это сделать, в обоих случая надо знать точное количество чая из первой попытки. Иначе как же его изменять (или повторить)?

Вот почему гуру менеджмента Питер Друкер говорил, что нельзя улучшить то, что не измеряешь:

If You Can't Measure It, You Can't Improve It.

Patreon прислал чек за июль — отличный повод пошерить список поддерживаемых проектов. Добро пожаловать в 2020, в новую эпоху поддержки любимых авторов (и монетизации экспертизы).