Как мы улучшали процесс загрузки товаров на AliExpress.ru: машинное обучение, проблемы и решения
Статья
Статья
process mining: 100 строк кода и генератор логов у нас в руках
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Всем привет! Если вам по работе необходима или просто интересна сфера Баз Данных, добро пожаловать на канал Базы данных & SQL
Здесь ежедневно выкладывают обучающие материалы, новости и статьи о СУБД, языках запроса, методах сбора и обработке данных, которые будут полезны как для новичков, так и для опытных специалистов.
Материалы для знакомства с каналом:
° Учимся применять оконные функции
° Автоматизация отчётности при помощи SQL и Power BI
° Как подружить Python и базы данных SQL
Подписаться: @db_in_it
Здесь ежедневно выкладывают обучающие материалы, новости и статьи о СУБД, языках запроса, методах сбора и обработке данных, которые будут полезны как для новичков, так и для опытных специалистов.
Материалы для знакомства с каналом:
° Учимся применять оконные функции
° Автоматизация отчётности при помощи SQL и Power BI
° Как подружить Python и базы данных SQL
Подписаться: @db_in_it
Forwarded from Рестарт
#новости
ICPC объявил о том, что на деловую программу Финала в Москве можно будет попасть бесплатно.
На ней будут проходить лекции и мастер-классы от спикеров топовых компаний: Huawei, Jet Brains, Мегафон, 1С и другие.
Расскажут как получить работу в крупной корпорации, зачем технарям развивать soft skills и как строить карьеру в IT.
Мероприятие пройдет 1-2 октября в Манеже, чтобы попасть на него бесплатно нужно просто зарегистрироваться.
GIT
ICPC объявил о том, что на деловую программу Финала в Москве можно будет попасть бесплатно.
На ней будут проходить лекции и мастер-классы от спикеров топовых компаний: Huawei, Jet Brains, Мегафон, 1С и другие.
Расскажут как получить работу в крупной корпорации, зачем технарям развивать soft skills и как строить карьеру в IT.
Мероприятие пройдет 1-2 октября в Манеже, чтобы попасть на него бесплатно нужно просто зарегистрироваться.
GIT
Чем рука робота лучше вашей, или Автоматизация контроля качества на производстве
Закройте глаза и представьте себя в цехах большого завода. Пусть это будет производство вакцин в ампулах. А вы, как и еще 70 человек, заняты тем, что целыми днями просматриваете ампулы, чтобы отобрать дефектные. И так весь день… Сколько ампул с малейшими отклонениями от нормы вы бы не заметили? Задачу усложняет то, что дефектом считается не только неправильная запайка, но и едва заметная точка на дне ампулы. Можете ли вы быть на 100% уверены, что не пропустили ни одного дефекта?
Статья
Закройте глаза и представьте себя в цехах большого завода. Пусть это будет производство вакцин в ампулах. А вы, как и еще 70 человек, заняты тем, что целыми днями просматриваете ампулы, чтобы отобрать дефектные. И так весь день… Сколько ампул с малейшими отклонениями от нормы вы бы не заметили? Задачу усложняет то, что дефектом считается не только неправильная запайка, но и едва заметная точка на дне ампулы. Можете ли вы быть на 100% уверены, что не пропустили ни одного дефекта?
Статья
⁉️Как выстраивать системы мониторинга и логирования, чтобы они приносили пользу проекту?
🔥Научитесь работать с ключевыми инструментами: Zabbix, Prometheus, ELK и Grafana на онлайн-курсе OTUS.
📚За 3 месяца практики вы построите собственную систему мониторинга и логирования и сможете быстро определять причины инцидентов.
Программа ориентирована на админов и DevOps-инженеров, которые работают с десятками и сотнями серверов.
👉Проходите вступительный тест, чтобы занять место по спец.цене: https://otus.pw/FgHQs/
📌Хотите больше узнать о программе курса, формате обучения и преподавателях? Регистрируйтесь на Demo Day курса 11 Октября: https://otus.pw/vc0V/
Регистрируйтесь сейчас — напомним перед вебинаром!
🔥Научитесь работать с ключевыми инструментами: Zabbix, Prometheus, ELK и Grafana на онлайн-курсе OTUS.
📚За 3 месяца практики вы построите собственную систему мониторинга и логирования и сможете быстро определять причины инцидентов.
Программа ориентирована на админов и DevOps-инженеров, которые работают с десятками и сотнями серверов.
👉Проходите вступительный тест, чтобы занять место по спец.цене: https://otus.pw/FgHQs/
📌Хотите больше узнать о программе курса, формате обучения и преподавателях? Регистрируйтесь на Demo Day курса 11 Октября: https://otus.pw/vc0V/
Регистрируйтесь сейчас — напомним перед вебинаром!
5 применений ИИ, в которых он конкурирует с человеком
С момента появления искусственного интеллекта прошло почти 70 лет. За эти годы он превратился в доступный рабочий инструмент, которым могут воспользоваться для своих целей даже школьники. Мы сталкиваемся с ИИ буквально на каждом шагу, произнося «окей, гугл» или «слушай, Алиса!», общаясь с чат-ботами банков и получая «письма счастья» со штрафами за нарушение ПДД. И всё чаще раздаются голоса, говорящие, что в скором времени более быстрый и сообразительный, чем человек, ИИ заменит людей, которые останутся без работы и без средств к существованию. Не заменит. Но вот пять сфер, в которых ИИ может серьёзно потеснить людей, — разберёмся, стоит ли нам опасаться конкуренции с «бездушной железякой».
Читать...
С момента появления искусственного интеллекта прошло почти 70 лет. За эти годы он превратился в доступный рабочий инструмент, которым могут воспользоваться для своих целей даже школьники. Мы сталкиваемся с ИИ буквально на каждом шагу, произнося «окей, гугл» или «слушай, Алиса!», общаясь с чат-ботами банков и получая «письма счастья» со штрафами за нарушение ПДД. И всё чаще раздаются голоса, говорящие, что в скором времени более быстрый и сообразительный, чем человек, ИИ заменит людей, которые останутся без работы и без средств к существованию. Не заменит. Но вот пять сфер, в которых ИИ может серьёзно потеснить людей, — разберёмся, стоит ли нам опасаться конкуренции с «бездушной железякой».
Читать...
Почему мы создаем инфраструктуру машинного обучения в Go, а не в Python
Ни для кого не секрет, что Python является наиболее востребованным языком для проектирования машинного обучения. В то время как R, C++ и Julia имеют своих приверженцев и отдельные случаи применения, Python остается максимально универсальным языком, используемым в каждом фреймворке, посвященном машинному обучению.
Наша же кодовая база на Cortex — открытой платформе для внедрения моделей машинного обучения в качестве API на 87,5% написана на Go.
Читать...
Ни для кого не секрет, что Python является наиболее востребованным языком для проектирования машинного обучения. В то время как R, C++ и Julia имеют своих приверженцев и отдельные случаи применения, Python остается максимально универсальным языком, используемым в каждом фреймворке, посвященном машинному обучению.
Наша же кодовая база на Cortex — открытой платформе для внедрения моделей машинного обучения в качестве API на 87,5% написана на Go.
Читать...
Успеть за 12 минут: как мы научились прогнозировать время доставки товаров из Утконос ОНЛАЙН
В этой статье рассказывается о том как рассчитывается время обслуживания клиента, почему в этом больше помогают данные GPS-координат автомобилей, а не отметки о прибытии на точку, и какая математическая модель была построена, чтобы оптимизировать работу курьеров.
Читать...
В этой статье рассказывается о том как рассчитывается время обслуживания клиента, почему в этом больше помогают данные GPS-координат автомобилей, а не отметки о прибытии на точку, и какая математическая модель была построена, чтобы оптимизировать работу курьеров.
Читать...
Найти инсайт для бизнеса в массиве данных — как отыскать иголку в стоге сена. Data Science-специалисты востребованы везде: от медицины до ритейла.
На обзорном курсе «Старт в аналитике» в Нетологии вы получите базовые навыки Data Science и построите план дальнейшего развития. За 9 занятий успеете влюбиться в аналитику и познакомиться с 6 основными инструментами, пощупаете код и активируете data-driven мышление.
Сделайте первый шаг к большим возможностям ↓
https://netolo.gy/g61
На обзорном курсе «Старт в аналитике» в Нетологии вы получите базовые навыки Data Science и построите план дальнейшего развития. За 9 занятий успеете влюбиться в аналитику и познакомиться с 6 основными инструментами, пощупаете код и активируете data-driven мышление.
Сделайте первый шаг к большим возможностям ↓
https://netolo.gy/g61
Построение и отбор признаков. Часть 1: feature engineering
Машинное обучение – это не просто подбор правильных параметров для модели. Рабочие процессы ML зависят от построения и отбора признаков. В сообществах специалистов по Data Science эти понятия ошибочно отождествляют. Разберемся, для чего нам нужны признаки, а также изучим особенности реализации техники feature engineering.
Читать...
Машинное обучение – это не просто подбор правильных параметров для модели. Рабочие процессы ML зависят от построения и отбора признаков. В сообществах специалистов по Data Science эти понятия ошибочно отождествляют. Разберемся, для чего нам нужны признаки, а также изучим особенности реализации техники feature engineering.
Читать...
Построение модели оттока сотрудников для разработки стратегии удержания
Увольнение сотрудников дорого обходится компаниям. Стоимость замены ушедшего сотрудника зачастую очень высока. Исследования Центра Американского прогресса говорят, что компании обычно тратят около одной пятой части годовой зарплаты сотрудника, чтобы найти ему замену. И траты эти могут изрядно возрасти, если требуется замена для руководящего или высокооплачиваемого сотрудника. Затраты приходятся на проведение интервью в процессе поиска замены, бонусы на входе, и потерю производительности работы в течение первых месяцев, пока сотрудник входит в новую роль.
Понимание когда и почему сотрудники более всего склонны к уходу из компании поможет качественнее их удерживать, или хотя бы заранее планировать работы по поиску новых сотрудников.
Читать...
Увольнение сотрудников дорого обходится компаниям. Стоимость замены ушедшего сотрудника зачастую очень высока. Исследования Центра Американского прогресса говорят, что компании обычно тратят около одной пятой части годовой зарплаты сотрудника, чтобы найти ему замену. И траты эти могут изрядно возрасти, если требуется замена для руководящего или высокооплачиваемого сотрудника. Затраты приходятся на проведение интервью в процессе поиска замены, бонусы на входе, и потерю производительности работы в течение первых месяцев, пока сотрудник входит в новую роль.
Понимание когда и почему сотрудники более всего склонны к уходу из компании поможет качественнее их удерживать, или хотя бы заранее планировать работы по поиску новых сотрудников.
Читать...
Умение анализировать данные полезно всем
Мы каждый день сталкиваемся с большим количеством данных и важно уметь делать правильные выводы на их основе. Для этого не обязательно разбираться с языками программирования. Для задач, не посильных Excel существуют специализированные решения — платформы продвинутой аналитики.
Loginom — low-code платформа позволяющая решать задачи интеграции, очистки, подготовки данных, моделирования, визуализации без программирования. Loginom позволяет бизнес-пользователям самостоятельно решать большинство востребованных задач: автоматизация принятия решений, кредитный скоринг, противодействие мошенничеству, прогнозирование спроса, прогнозирование оттока клиентов, очистка и дедупликация данных, кросс-продажи, сегментация клиентов...
Практические кейсы применения аналитики данных в бизнесе можно будет увидеть на ежегодной конференции по продвинутой аналитике Loginom Days, которая пройдет с 19 по 21 октября в онлайн-формате.
Представители бизнеса поделятся реальными кейсами трансформации бизнеса:
* Process Mining — глубинный анализ и оптимизация бизнес-процессов
* Системы поддержки принятия решений в процессы кредитования
* Снижение оттока клиентов и увеличение LTV с помощью Machine Learning
* Цифровой советчик дуговой плавильной печи — предсказание поломок и выдача рекомендаций
Участие бесплатное, регистрация по ссылке https://day.loginom.ru/
Мы каждый день сталкиваемся с большим количеством данных и важно уметь делать правильные выводы на их основе. Для этого не обязательно разбираться с языками программирования. Для задач, не посильных Excel существуют специализированные решения — платформы продвинутой аналитики.
Loginom — low-code платформа позволяющая решать задачи интеграции, очистки, подготовки данных, моделирования, визуализации без программирования. Loginom позволяет бизнес-пользователям самостоятельно решать большинство востребованных задач: автоматизация принятия решений, кредитный скоринг, противодействие мошенничеству, прогнозирование спроса, прогнозирование оттока клиентов, очистка и дедупликация данных, кросс-продажи, сегментация клиентов...
Практические кейсы применения аналитики данных в бизнесе можно будет увидеть на ежегодной конференции по продвинутой аналитике Loginom Days, которая пройдет с 19 по 21 октября в онлайн-формате.
Представители бизнеса поделятся реальными кейсами трансформации бизнеса:
* Process Mining — глубинный анализ и оптимизация бизнес-процессов
* Системы поддержки принятия решений в процессы кредитования
* Снижение оттока клиентов и увеличение LTV с помощью Machine Learning
* Цифровой советчик дуговой плавильной печи — предсказание поломок и выдача рекомендаций
Участие бесплатное, регистрация по ссылке https://day.loginom.ru/
Как с белкой и ИИ мы экономим ресурсы при обогащении руды
В последнее время у нас на СГОКе (это Стойленский горно-обогатительный комбинат) можно услышать фразы типа: «А что тебе белка сегодня советовала?» Со стороны странновато, но объясняется просто: мы запустили систему с ИИ, которая рекомендует операторам оптимальные настройки оборудования при любом из тысяч возможных сочетаний технологических параметров (все это для получения максимальной производительности обогатительной секции). Официальное название системы очень длинное, а неформально мы зовем ее «Белка» — по аналогии с названием компании, которая помогала нам в разработке, хотя многие сотрудники уверены, что название происходит от пушистого грызуна, которому, теоретически, может и руда по зубам.
Читать...
В последнее время у нас на СГОКе (это Стойленский горно-обогатительный комбинат) можно услышать фразы типа: «А что тебе белка сегодня советовала?» Со стороны странновато, но объясняется просто: мы запустили систему с ИИ, которая рекомендует операторам оптимальные настройки оборудования при любом из тысяч возможных сочетаний технологических параметров (все это для получения максимальной производительности обогатительной секции). Официальное название системы очень длинное, а неформально мы зовем ее «Белка» — по аналогии с названием компании, которая помогала нам в разработке, хотя многие сотрудники уверены, что название происходит от пушистого грызуна, которому, теоретически, может и руда по зубам.
Читать...
Яндекс ищет backend разработчиков в команды Поиска, рекламных и облачных сервисов, Маркета и Яндекс Go. Если вы пишете на С++/Java/Python/C#/Go/Kotlin/Scala, то у вас есть возможность присоединиться к команде за выходные 🔥
Weekend Offer пройдет 13-14 ноября. Чтобы получить предложение нужно:
- подать заявку
- решить несколько задач до 7 ноября
- пройти 2 секции с кодом 13 ноября
- пройти часовые финалы с командами сервисов 14 ноября
Интересно? Пора регистрироваться по ссылке.
Weekend Offer пройдет 13-14 ноября. Чтобы получить предложение нужно:
- подать заявку
- решить несколько задач до 7 ноября
- пройти 2 секции с кодом 13 ноября
- пройти часовые финалы с командами сервисов 14 ноября
Интересно? Пора регистрироваться по ссылке.
Работа в Яндексе
Получите офер в Яндекс за 1–2 дня!
Страница быстрых наймовых мероприятий.
Осознанная ходьба для удаленщика
В этой статье рассказывается про самую простую физическую активность из тех, которые можно практиковать каждый день - обычную (не спортивную) ходьбу. Под катом о том, почему она отлично подходит в том числе для удаленки и насколько масштабными могут быть результаты от банальных прогулок.
Читать...
В этой статье рассказывается про самую простую физическую активность из тех, которые можно практиковать каждый день - обычную (не спортивную) ходьбу. Под катом о том, почему она отлично подходит в том числе для удаленки и насколько масштабными могут быть результаты от банальных прогулок.
Читать...
Уже 20 октября стартует флагманский онлайн-курс
"Data Engineer 9.0". Присоединяйтесь: https://clck.ru/YBUks
🧑🏻💻Приглашаем дата инженеров, администраторов баз данных и менеджеров по развитию продуктов систематизировать свои знания и овладеть новыми востребованными навыками в области дата инжиниринга.
Вас ждет 7-недельная образовательная программа по построению ETL-пайплайнов: Hadoop, Kafka, Spark, Airflow, ElasticSearch и пр:
✔️21 практическое занятие;
✔️10+ современных инструментов по обработке данных;
✔️6 лабораторий-суперачивок.
Обучают Андрей Титов (NVIDIA), Антон Пилипенко (Sbermarket), Егор Матешук (ГПМ Дата) и другая команда преподавателей, не нуждающаяся в дополнительном представлении.
Они поделятся с вами своим бесценным опытом, датасетами из реальной жизни и помогут обойти многие подводные камни.
"Data Engineer 9.0". Присоединяйтесь: https://clck.ru/YBUks
🧑🏻💻Приглашаем дата инженеров, администраторов баз данных и менеджеров по развитию продуктов систематизировать свои знания и овладеть новыми востребованными навыками в области дата инжиниринга.
Вас ждет 7-недельная образовательная программа по построению ETL-пайплайнов: Hadoop, Kafka, Spark, Airflow, ElasticSearch и пр:
✔️21 практическое занятие;
✔️10+ современных инструментов по обработке данных;
✔️6 лабораторий-суперачивок.
Обучают Андрей Титов (NVIDIA), Антон Пилипенко (Sbermarket), Егор Матешук (ГПМ Дата) и другая команда преподавателей, не нуждающаяся в дополнительном представлении.
Они поделятся с вами своим бесценным опытом, датасетами из реальной жизни и помогут обойти многие подводные камни.