process mining: 100 строк кода и генератор логов у нас в руках
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
Статья
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
Статья
Как принципы ResponsibleAI помогают ML-моделям работать по максимуму?
С помощью ML-моделей сегодня выдают кредиты, регулируют движение на дорогах, определяют цены на товары и многое другое. Однако, процесс их разработки и вывода в продуктивную среду сложен и полон подводных камней. Очень часто качество прогноза, основанного на реальных данных, не соответствует ожиданиям пользователей.
Статья
С помощью ML-моделей сегодня выдают кредиты, регулируют движение на дорогах, определяют цены на товары и многое другое. Однако, процесс их разработки и вывода в продуктивную среду сложен и полон подводных камней. Очень часто качество прогноза, основанного на реальных данных, не соответствует ожиданиям пользователей.
Статья
Каково значение arr[1].length в следующем массиве?
int[][] arr = { {1, 2, 3, 4, 5}, { 6, 7, 8, 9, 10} };
int[][] arr = { {1, 2, 3, 4, 5}, { 6, 7, 8, 9, 10} };
Anonymous Quiz
43%
5
20%
10
14%
1
23%
2
Европейская компания DataWorkshop не так давно запустила свой канал, в котором делится последними событиями из мира Machine Learning.
DataWorkshop регулярно запускает различные образовательные программы по ML, на которых обучилось уже более 10 000 участников из разных стран.
Если вы искали, где можно получить практику в ML на реальных данных, без воды и где сложные вещи объясняются простым языком - вам точно к ним.
Тем более, что в эти выходные они запускают бесплатный (для первой 1000 записавшихся) интенсив по прогнозированию цен на автомобили с помощью ML. Поспешите!
Подробности по ссылке в их канале.
DataWorkshop регулярно запускает различные образовательные программы по ML, на которых обучилось уже более 10 000 участников из разных стран.
Если вы искали, где можно получить практику в ML на реальных данных, без воды и где сложные вещи объясняются простым языком - вам точно к ним.
Тем более, что в эти выходные они запускают бесплатный (для первой 1000 записавшихся) интенсив по прогнозированию цен на автомобили с помощью ML. Поспешите!
Подробности по ссылке в их канале.
3 Крутых языка для Big Data
Python
Да, 39% набрал один из самых крутых языков программирования, который совсем не случайно оказался популярен и среди людей, работающих с обработкой больших потоков данных. В некотором роде это компромисс между изощренностью R и лёгкостью, которую дарит язык Python. Его популярность обосновывается как раз отсутствием необходимости применения идеальных алгоритмов в угоду возможности включать в работу группу программистов, не имеющих специальных навыков. Если вы хотите начать изучать этот язык, рекомендуем пройти наш онлайн-интесив по питону.
Julia
Язык, который возник совсем недавно, но уже попал на радары всех специалистов Big Data. Он прост и масштабируем, как Python, при этом эффективен, как R. Пока язык Julia молод, ему не хватает мелких доработок, библиотек и элементарной человеческой поддержки, но сомнений в его безоблачном будущем практически нет.
Scala
Если вы никогда ранее не слышали об этом языке, то можете просто ознакомиться со статистическими данными ,чтобы понять насколько успешен сегодня и насколько перспективен завтра будет Scala. Java-подобный язык может быть развёрнут под веб и платформу Android. Но главное его преимущество заключается в удобстве и гибкости, которые не дадут вам многие другие языки из Big Data. Twitter, Siemens и LinkedIn подтверждают.
Python
Да, 39% набрал один из самых крутых языков программирования, который совсем не случайно оказался популярен и среди людей, работающих с обработкой больших потоков данных. В некотором роде это компромисс между изощренностью R и лёгкостью, которую дарит язык Python. Его популярность обосновывается как раз отсутствием необходимости применения идеальных алгоритмов в угоду возможности включать в работу группу программистов, не имеющих специальных навыков. Если вы хотите начать изучать этот язык, рекомендуем пройти наш онлайн-интесив по питону.
Julia
Язык, который возник совсем недавно, но уже попал на радары всех специалистов Big Data. Он прост и масштабируем, как Python, при этом эффективен, как R. Пока язык Julia молод, ему не хватает мелких доработок, библиотек и элементарной человеческой поддержки, но сомнений в его безоблачном будущем практически нет.
Scala
Если вы никогда ранее не слышали об этом языке, то можете просто ознакомиться со статистическими данными ,чтобы понять насколько успешен сегодня и насколько перспективен завтра будет Scala. Java-подобный язык может быть развёрнут под веб и платформу Android. Но главное его преимущество заключается в удобстве и гибкости, которые не дадут вам многие другие языки из Big Data. Twitter, Siemens и LinkedIn подтверждают.
Фронтам на заметку: весь код уже написан.
Чтобы быть спецом, не нужно изобретать велосипед. Просто берёте готовый код, редачите под себя и вуаля – он работает.
А где брать такие заготовки?
На канале Frontender’s notes.
Внутри полезные фичи для работы с кодом, готовые подборки кода с описанием и статьи-советы, которые сэкономят часы нервов каждому фронтендщику.
Вы знаете, что делать - Frontender’s notes
Чтобы быть спецом, не нужно изобретать велосипед. Просто берёте готовый код, редачите под себя и вуаля – он работает.
А где брать такие заготовки?
На канале Frontender’s notes.
Внутри полезные фичи для работы с кодом, готовые подборки кода с описанием и статьи-советы, которые сэкономят часы нервов каждому фронтендщику.
Вы знаете, что делать - Frontender’s notes
Как мы улучшали процесс загрузки товаров на AliExpress.ru: машинное обучение, проблемы и решения
Статья
Статья
process mining: 100 строк кода и генератор логов у нас в руках
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Продакт-менеджерам посвящается...
Заступая на территорию proccess mining, каждый участник рано или поздно будет нуждаться в наборе логов событий, отражающих те или иные специфические моменты в процессах. Эти логи нужны как на этапе демонстрации решения, подсвечивания определенных вопросов, так и для отработки алгоритмов или же тестов на производительность. Оба рекомендуемых сценария «взять с продуктивных систем» или «взять из интернета» терпят фиаско. Как правило, это очень
малые датасеты, слабо удовлетворяющие потребностям как по наполнению, так и по объему.
статья
Всем привет! Если вам по работе необходима или просто интересна сфера Баз Данных, добро пожаловать на канал Базы данных & SQL
Здесь ежедневно выкладывают обучающие материалы, новости и статьи о СУБД, языках запроса, методах сбора и обработке данных, которые будут полезны как для новичков, так и для опытных специалистов.
Материалы для знакомства с каналом:
° Учимся применять оконные функции
° Автоматизация отчётности при помощи SQL и Power BI
° Как подружить Python и базы данных SQL
Подписаться: @db_in_it
Здесь ежедневно выкладывают обучающие материалы, новости и статьи о СУБД, языках запроса, методах сбора и обработке данных, которые будут полезны как для новичков, так и для опытных специалистов.
Материалы для знакомства с каналом:
° Учимся применять оконные функции
° Автоматизация отчётности при помощи SQL и Power BI
° Как подружить Python и базы данных SQL
Подписаться: @db_in_it
Forwarded from Рестарт
#новости
ICPC объявил о том, что на деловую программу Финала в Москве можно будет попасть бесплатно.
На ней будут проходить лекции и мастер-классы от спикеров топовых компаний: Huawei, Jet Brains, Мегафон, 1С и другие.
Расскажут как получить работу в крупной корпорации, зачем технарям развивать soft skills и как строить карьеру в IT.
Мероприятие пройдет 1-2 октября в Манеже, чтобы попасть на него бесплатно нужно просто зарегистрироваться.
GIT
ICPC объявил о том, что на деловую программу Финала в Москве можно будет попасть бесплатно.
На ней будут проходить лекции и мастер-классы от спикеров топовых компаний: Huawei, Jet Brains, Мегафон, 1С и другие.
Расскажут как получить работу в крупной корпорации, зачем технарям развивать soft skills и как строить карьеру в IT.
Мероприятие пройдет 1-2 октября в Манеже, чтобы попасть на него бесплатно нужно просто зарегистрироваться.
GIT
Чем рука робота лучше вашей, или Автоматизация контроля качества на производстве
Закройте глаза и представьте себя в цехах большого завода. Пусть это будет производство вакцин в ампулах. А вы, как и еще 70 человек, заняты тем, что целыми днями просматриваете ампулы, чтобы отобрать дефектные. И так весь день… Сколько ампул с малейшими отклонениями от нормы вы бы не заметили? Задачу усложняет то, что дефектом считается не только неправильная запайка, но и едва заметная точка на дне ампулы. Можете ли вы быть на 100% уверены, что не пропустили ни одного дефекта?
Статья
Закройте глаза и представьте себя в цехах большого завода. Пусть это будет производство вакцин в ампулах. А вы, как и еще 70 человек, заняты тем, что целыми днями просматриваете ампулы, чтобы отобрать дефектные. И так весь день… Сколько ампул с малейшими отклонениями от нормы вы бы не заметили? Задачу усложняет то, что дефектом считается не только неправильная запайка, но и едва заметная точка на дне ампулы. Можете ли вы быть на 100% уверены, что не пропустили ни одного дефекта?
Статья
⁉️Как выстраивать системы мониторинга и логирования, чтобы они приносили пользу проекту?
🔥Научитесь работать с ключевыми инструментами: Zabbix, Prometheus, ELK и Grafana на онлайн-курсе OTUS.
📚За 3 месяца практики вы построите собственную систему мониторинга и логирования и сможете быстро определять причины инцидентов.
Программа ориентирована на админов и DevOps-инженеров, которые работают с десятками и сотнями серверов.
👉Проходите вступительный тест, чтобы занять место по спец.цене: https://otus.pw/FgHQs/
📌Хотите больше узнать о программе курса, формате обучения и преподавателях? Регистрируйтесь на Demo Day курса 11 Октября: https://otus.pw/vc0V/
Регистрируйтесь сейчас — напомним перед вебинаром!
🔥Научитесь работать с ключевыми инструментами: Zabbix, Prometheus, ELK и Grafana на онлайн-курсе OTUS.
📚За 3 месяца практики вы построите собственную систему мониторинга и логирования и сможете быстро определять причины инцидентов.
Программа ориентирована на админов и DevOps-инженеров, которые работают с десятками и сотнями серверов.
👉Проходите вступительный тест, чтобы занять место по спец.цене: https://otus.pw/FgHQs/
📌Хотите больше узнать о программе курса, формате обучения и преподавателях? Регистрируйтесь на Demo Day курса 11 Октября: https://otus.pw/vc0V/
Регистрируйтесь сейчас — напомним перед вебинаром!
5 применений ИИ, в которых он конкурирует с человеком
С момента появления искусственного интеллекта прошло почти 70 лет. За эти годы он превратился в доступный рабочий инструмент, которым могут воспользоваться для своих целей даже школьники. Мы сталкиваемся с ИИ буквально на каждом шагу, произнося «окей, гугл» или «слушай, Алиса!», общаясь с чат-ботами банков и получая «письма счастья» со штрафами за нарушение ПДД. И всё чаще раздаются голоса, говорящие, что в скором времени более быстрый и сообразительный, чем человек, ИИ заменит людей, которые останутся без работы и без средств к существованию. Не заменит. Но вот пять сфер, в которых ИИ может серьёзно потеснить людей, — разберёмся, стоит ли нам опасаться конкуренции с «бездушной железякой».
Читать...
С момента появления искусственного интеллекта прошло почти 70 лет. За эти годы он превратился в доступный рабочий инструмент, которым могут воспользоваться для своих целей даже школьники. Мы сталкиваемся с ИИ буквально на каждом шагу, произнося «окей, гугл» или «слушай, Алиса!», общаясь с чат-ботами банков и получая «письма счастья» со штрафами за нарушение ПДД. И всё чаще раздаются голоса, говорящие, что в скором времени более быстрый и сообразительный, чем человек, ИИ заменит людей, которые останутся без работы и без средств к существованию. Не заменит. Но вот пять сфер, в которых ИИ может серьёзно потеснить людей, — разберёмся, стоит ли нам опасаться конкуренции с «бездушной железякой».
Читать...
Почему мы создаем инфраструктуру машинного обучения в Go, а не в Python
Ни для кого не секрет, что Python является наиболее востребованным языком для проектирования машинного обучения. В то время как R, C++ и Julia имеют своих приверженцев и отдельные случаи применения, Python остается максимально универсальным языком, используемым в каждом фреймворке, посвященном машинному обучению.
Наша же кодовая база на Cortex — открытой платформе для внедрения моделей машинного обучения в качестве API на 87,5% написана на Go.
Читать...
Ни для кого не секрет, что Python является наиболее востребованным языком для проектирования машинного обучения. В то время как R, C++ и Julia имеют своих приверженцев и отдельные случаи применения, Python остается максимально универсальным языком, используемым в каждом фреймворке, посвященном машинному обучению.
Наша же кодовая база на Cortex — открытой платформе для внедрения моделей машинного обучения в качестве API на 87,5% написана на Go.
Читать...
Успеть за 12 минут: как мы научились прогнозировать время доставки товаров из Утконос ОНЛАЙН
В этой статье рассказывается о том как рассчитывается время обслуживания клиента, почему в этом больше помогают данные GPS-координат автомобилей, а не отметки о прибытии на точку, и какая математическая модель была построена, чтобы оптимизировать работу курьеров.
Читать...
В этой статье рассказывается о том как рассчитывается время обслуживания клиента, почему в этом больше помогают данные GPS-координат автомобилей, а не отметки о прибытии на точку, и какая математическая модель была построена, чтобы оптимизировать работу курьеров.
Читать...
Найти инсайт для бизнеса в массиве данных — как отыскать иголку в стоге сена. Data Science-специалисты востребованы везде: от медицины до ритейла.
На обзорном курсе «Старт в аналитике» в Нетологии вы получите базовые навыки Data Science и построите план дальнейшего развития. За 9 занятий успеете влюбиться в аналитику и познакомиться с 6 основными инструментами, пощупаете код и активируете data-driven мышление.
Сделайте первый шаг к большим возможностям ↓
https://netolo.gy/g61
На обзорном курсе «Старт в аналитике» в Нетологии вы получите базовые навыки Data Science и построите план дальнейшего развития. За 9 занятий успеете влюбиться в аналитику и познакомиться с 6 основными инструментами, пощупаете код и активируете data-driven мышление.
Сделайте первый шаг к большим возможностям ↓
https://netolo.gy/g61
Построение и отбор признаков. Часть 1: feature engineering
Машинное обучение – это не просто подбор правильных параметров для модели. Рабочие процессы ML зависят от построения и отбора признаков. В сообществах специалистов по Data Science эти понятия ошибочно отождествляют. Разберемся, для чего нам нужны признаки, а также изучим особенности реализации техники feature engineering.
Читать...
Машинное обучение – это не просто подбор правильных параметров для модели. Рабочие процессы ML зависят от построения и отбора признаков. В сообществах специалистов по Data Science эти понятия ошибочно отождествляют. Разберемся, для чего нам нужны признаки, а также изучим особенности реализации техники feature engineering.
Читать...