В общих чертах рассмотрим два подхода к анализу и обработке данных — обучение контролируемое (с учителем) и неконтролируемое (без учителя). Основная разница в том, что в первом случае используются...

В обзоре представлены краткие руководства по библиотекам Data Science и в частности Machine Learning для популярных языков. Список: 1. Keras Source: https://github.com/kailashahirwar/cheatsheets-ai/blob/master/PDFs/Keras.pdf 2. Numpy Source: https://gith…

В октябре 2020 года Cloudera приобрела компанию Eventador, а в начале 2021 года был выпущен продукт Cloudera Streaming Analytics (CSA) 1.3.0. Это был первый релиз, который включал в себя SQL Stream Builder (SSB), полученный в результате интеграции наработок…

Машинное обучение выходит из зоны хайпа. И сложно однозначно сказать насколько это хорошо или плохо, но что совершенно точно видно - все больше людей задаются во...

Привет, чемпион! Возможно, ты сейчас участвуешь в соревновании по анализу данных или просто решил погрузиться в мира Data Science. Тогда эта статья будет тебе очень полезна! Сражу скажу, что трюки, о которых мы сегодня поговорим, я не просто так назвал "грязными".…

В этом посте мы расскажем о нашем обновлении архитектуры интерфейса и о том, как внедрили GraphQL в систему Marketing Tech. Наше основное приложение для управления созданием и сборкой рекламы для внешних издательских платформ, внутренне называется Monet.…

«Традиционно, самым узким местом в архитектуре любой информационной системы является система управления базами данных (СУБД). Можно сколько угодно оптимизировать прикладное программное обеспечение (ПО), но все равно упремся в ограничения в части производительности…

Когда чуть больше года назад я впервые услышал о слабой разметке, то поначалу отнёсся к ней скептически. Суть слабой разметки (weak labelling) заключается в том, что можно заменить аннотированные вручную данные на данные, созданные по эвристическим правилам…

или прививка от искусственного интеллекта Сейчас, когда обучение созданию искусственного интеллекта наряду с ковырянием в носу преподают в продвинутых детских садах и утренний разговор с кофеваркой о перспективах урожая в Эфиопии стали реальностью, количество…

Мы избалованы выбором в работе с данными. Инструмент номер один — Pandas, затем идут Dask, Vaex, Datatable, cuDF и так далее. К этому списку добавим Terality, как будто всего этого недостаточно.  Возникает вопрос: Terality компенсирует скорость Pandas ценой…

Системы машинного обучения рождаются от союза кода и данных. Код сообщает, как машина должна учиться, а данные обучения включают в себя то, чему нужно учиться. Научные круги в основном занимаются способами улучшения алгоритмов обучения. Однако когда дело…

Python это мощный язык программирования, который используется для различного типа задач и имеет большое комьюнити. Многие знают что это гибкий язык, который может справиться с практически любой задачей. Что если у нас есть сложное приложение, которое требует…

Подробнее об инструменте Qlik для онлайн репликации данных и CDC (Change Data Capture) - Qlik Replicate: https://www.qlik.com/us/trial/replicate

Тестовый доступ к Qlik Replicate: https://www.qlik.com/us/trial/replicate

Вебинар-демонстрация возможностей…

Платформа данных как услуга Когда мы проектируем и создаем платформу данных, то работаем над обеспечением возможностей и инструментов, которые необходимы другим командам для развития их проектов.  Введение Прошло несколько месяцев с тех пор, как я задумался…

Когда мир вошел в эпоху больших данных, потребность в их хранении также выросла. Это была основная задача и проблема для предприятий отрасли до 2010 года. Основное внимание было уделено созданию решений для хранения данных. Теперь, когда Hadoop и другие структуры…

Сейчас Data Warehouse в Авито — это инсталляция на 32 серверах. Мы используем девятую версию Vertica и ClickHouse. В команде, которая отвечает за хранилище, работает 21 человек. Поток событий, который мы загружаем, достигает 20 миллионов событий в минуту.…

R имеет интересные возможности для обработки и анализа неструктурированных данных, таких как простой текст. Используя библиотеки RTextTools и topicmodels R, процесс, называемый Latent Dirichlet Allocation (Латентное размещение Дирихле), может быть выполнен…