Set up and monitor AWS Glue crawlers using the enhanced AWS Glue UI and crawler history
Read: https://aws.amazon.com/blogs/big-data/set-up-and-monitor-aws-glue-crawlers-using-the-enhanced-aws-glue-ui-and-crawler-history/
Read: https://aws.amazon.com/blogs/big-data/set-up-and-monitor-aws-glue-crawlers-using-the-enhanced-aws-glue-ui-and-crawler-history/
Top Amazon QuickSight features launched in Q2 2022
Read: https://aws.amazon.com/blogs/big-data/top-amazon-quicksight-features-launched-in-q2-2022/
Read: https://aws.amazon.com/blogs/big-data/top-amazon-quicksight-features-launched-in-q2-2022/
Путь от стажера до junior Data Scientist
Небольшая статья в первую очередь для начинающих специалистов в Data Science, к которому они смогли бы обращаться, когда необходимо что-то вспомнить при решении задач машинного обучения. Затронем темы, которые необходимо усвоить, чтобы подойти к обучению своей первой модели.
Читать: https://habr.com/ru/post/684998/
Небольшая статья в первую очередь для начинающих специалистов в Data Science, к которому они смогли бы обращаться, когда необходимо что-то вспомнить при решении задач машинного обучения. Затронем темы, которые необходимо усвоить, чтобы подойти к обучению своей первой модели.
Читать: https://habr.com/ru/post/684998/
👍5
How to gather requirements for your data project
Read: https://www.startdataengineering.com/post/n-questions-data-pipeline-req/
Read: https://www.startdataengineering.com/post/n-questions-data-pipeline-req/
Enable federation to Amazon QuickSight accounts with Ping One
Read: https://aws.amazon.com/blogs/big-data/enable-federation-to-amazon-quicksight-accounts-with-ping-one/
Read: https://aws.amazon.com/blogs/big-data/enable-federation-to-amazon-quicksight-accounts-with-ping-one/
👍1
Convert Oracle XML BLOB data to JSON using Amazon EMR and load to Amazon Redshift
Read: https://aws.amazon.com/blogs/big-data/convert-oracle-xml-blob-data-to-json-using-amazon-emr-and-load-to-amazon-redshift/
Read: https://aws.amazon.com/blogs/big-data/convert-oracle-xml-blob-data-to-json-using-amazon-emr-and-load-to-amazon-redshift/
Что должен знать дата-инженер. Роадмап для джуниора
Привет, username! Меня зовут Иван Васенков и я джуниор дата-инженер в дирекции данных и аналитики Lamoda. Но к этой профессии я пришел не сразу: окончив университет, я начал работать аналитиком данных, затем стал BI-разработчиком, а уже после этого — дата-инженером.
На моем пути были простые и сложные участки: где-то помогал опыт предыдущей работы, а где-то приходилось доучиваться практически на ходу. Именно поэтому я хочу поделиться советами из своего опыта, которые помогут начинающим специалистам быть максимально готовыми к вступлению в мир дата-инжиниринга.
Читать: https://habr.com/ru/post/684658/
Привет, username! Меня зовут Иван Васенков и я джуниор дата-инженер в дирекции данных и аналитики Lamoda. Но к этой профессии я пришел не сразу: окончив университет, я начал работать аналитиком данных, затем стал BI-разработчиком, а уже после этого — дата-инженером.
На моем пути были простые и сложные участки: где-то помогал опыт предыдущей работы, а где-то приходилось доучиваться практически на ходу. Именно поэтому я хочу поделиться советами из своего опыта, которые помогут начинающим специалистам быть максимально готовыми к вступлению в мир дата-инжиниринга.
Читать: https://habr.com/ru/post/684658/
🔥1
Экскаватор и два робота: «джун» лаборатории больших данных о том, как сделать крутой проект и одновременно писать диплом
Антон Подлегаев недавно окончил университет. В «Криптоните» он работает уже больше года — а начинал со стажировки, где помогал с системой мониторинга зубьев экскаватора. Расспросили его о том, сложно ли студенту получить оффер, как в этом помогает стажировка и возможно ли на ней приобрести реальные знания.
Читать: https://habr.com/ru/post/685372/
Антон Подлегаев недавно окончил университет. В «Криптоните» он работает уже больше года — а начинал со стажировки, где помогал с системой мониторинга зубьев экскаватора. Расспросили его о том, сложно ли студенту получить оффер, как в этом помогает стажировка и возможно ли на ней приобрести реальные знания.
Читать: https://habr.com/ru/post/685372/
Как упростить работу с временными рядами: 14 библиотек от эксперта Росатома
Временные ряды — важный инструмент в Data Science. Росатом рассказывает, как работать с ними эффективно.
Читать: «Как упростить работу с временными рядами: 14 библиотек от эксперта Росатома»
Временные ряды — важный инструмент в Data Science. Росатом рассказывает, как работать с ними эффективно.
Читать: «Как упростить работу с временными рядами: 14 библиотек от эксперта Росатома»
👍1
Easy analytics and cost-optimization with Amazon Redshift Serverless
Read: https://aws.amazon.com/blogs/big-data/easy-analytics-and-cost-optimization-with-amazon-redshift-serverless/
Read: https://aws.amazon.com/blogs/big-data/easy-analytics-and-cost-optimization-with-amazon-redshift-serverless/
Как организовать потоковую обработку данных. Часть 2
Привет, Хабр! Я – Евгений Ненахов из центра Big Data МТС Digital. Это вторая часть статьи о том, как мы создали универсальный инструмент потоковой обработки данных и построили с его помощью мощную систему стриминга. В первой половине статьи мы обсудили основные компоненты методологии, а сейчас поговорим о том, как ими пользоваться.
Если вам интересна обработка данных – жмите кнопку «»!
Читать: https://habr.com/ru/post/685492/
Привет, Хабр! Я – Евгений Ненахов из центра Big Data МТС Digital. Это вторая часть статьи о том, как мы создали универсальный инструмент потоковой обработки данных и построили с его помощью мощную систему стриминга. В первой половине статьи мы обсудили основные компоненты методологии, а сейчас поговорим о том, как ими пользоваться.
Если вам интересна обработка данных – жмите кнопку «»!
Читать: https://habr.com/ru/post/685492/
Импортозамещение BI своими руками
Привет! Сегодня расскажем большую историю: как мы разработали корпоративную платформу отчётности и решили сделать её общедоступной и бесплатной.
Читать: https://habr.com/ru/post/685604/
Привет! Сегодня расскажем большую историю: как мы разработали корпоративную платформу отчётности и решили сделать её общедоступной и бесплатной.
Читать: https://habr.com/ru/post/685604/
Использование стандарта ISO 14224 при определении и стандартизации основных данных системы управления ТОиР организации
Когда руководителю предлагают испытать в работе новый стандарт, у него возникает резонный вопрос — какую пользу это принесёт предприятию? Особенно когда речь идёт о «необязательных» стандартах, таких как семейство ISO 5500X или стандарт ISO 14224. О том, как он помогает определять и стандартизировать данные предприятия о ТОиР, в этой статье расскажет системный аналитик Factory5 Николай Байдаченко.
Читать: https://habr.com/ru/post/685622/
Когда руководителю предлагают испытать в работе новый стандарт, у него возникает резонный вопрос — какую пользу это принесёт предприятию? Особенно когда речь идёт о «необязательных» стандартах, таких как семейство ISO 5500X или стандарт ISO 14224. О том, как он помогает определять и стандартизировать данные предприятия о ТОиР, в этой статье расскажет системный аналитик Factory5 Николай Байдаченко.
Читать: https://habr.com/ru/post/685622/
Как ГЛОНАСС испортил мне кровь и причем тут BI
Привет, Хабр! Этот будет пост о том, как тяжело может идти принятие решения об импортозамещении популярной западной системы. Речь пойдет о замене для PowerBI, который мы только-только начали использовать. Под катом — история с самого начала (в кратком изложении), а также много моих личных страданий и размышлений. Если вы тоже меняли BI, поделитесь своим опытом — может быть он поможет мне или кому-то еще.
Меня зовут Антон, и, если честно, я давно хотел что-то написать здесь. Но никак не доходили руки, не хватало времени или мотивации. Но вот свершилось! Я окончательно замучался с выбором российской BI-платформы. Это и сподвигло написать пост. Я даже нарисовал несколько картинок, чтобы все это было веселее, так что не судите строго за кустарное творчество.
Читать: https://habr.com/ru/post/685690/
Привет, Хабр! Этот будет пост о том, как тяжело может идти принятие решения об импортозамещении популярной западной системы. Речь пойдет о замене для PowerBI, который мы только-только начали использовать. Под катом — история с самого начала (в кратком изложении), а также много моих личных страданий и размышлений. Если вы тоже меняли BI, поделитесь своим опытом — может быть он поможет мне или кому-то еще.
Меня зовут Антон, и, если честно, я давно хотел что-то написать здесь. Но никак не доходили руки, не хватало времени или мотивации. Но вот свершилось! Я окончательно замучался с выбором российской BI-платформы. Это и сподвигло написать пост. Я даже нарисовал несколько картинок, чтобы все это было веселее, так что не судите строго за кустарное творчество.
Читать: https://habr.com/ru/post/685690/
👍1
Store Amazon EMR in-transit data encryption certificates using AWS Secrets Manager
Read: https://aws.amazon.com/blogs/big-data/store-amazon-emr-in-transit-data-encryption-certificates-using-aws-secrets-manager/
Read: https://aws.amazon.com/blogs/big-data/store-amazon-emr-in-transit-data-encryption-certificates-using-aws-secrets-manager/
New row and column interactivity options for tables and pivot tables in Amazon QuickSight – Part 2
Read: https://aws.amazon.com/blogs/big-data/part-2-new-row-and-column-interactivity-options-for-tables-and-pivot-tables-in-amazon-quicksight/
Read: https://aws.amazon.com/blogs/big-data/part-2-new-row-and-column-interactivity-options-for-tables-and-pivot-tables-in-amazon-quicksight/
Учимся анализировать — полный цикл
Всем привет! Долго собирался выложить данный пост и вот настал момент = )
Контент будет ориентирован на новичков в анализе данных, ниже мы с Вами рассмотрим статистику работающих и безработных людей, поставим цели и проверим гипотезы.
Язык программирования: Python
Перейдем к анализу датасета
Читать: https://habr.com/ru/post/685764/
Всем привет! Долго собирался выложить данный пост и вот настал момент = )
Контент будет ориентирован на новичков в анализе данных, ниже мы с Вами рассмотрим статистику работающих и безработных людей, поставим цели и проверим гипотезы.
Язык программирования: Python
Перейдем к анализу датасета
Читать: https://habr.com/ru/post/685764/
Сколько денег приносит системное решение по А/Б тестам?
Хабр, привет! Меня зовут Наталья Тоганова, я работаю старшим бизнес-аналитиком в компании GlowByte. Мы помогаем компаниям с построением моделей, задачами на стыке data science и инфраструктуры, а также с аналитикой и А/Б тестами. Здесь я хочу поговорить об А/Б тестах и финансовых надеждах, которые на них возлагаются.
Вопрос «Сколько денег принесет более правильное проведение А/Б тестов?» – всплывает в нашей работе постоянно. И мы знаем правильный ответ на него: в краткосрочной перспективе довольно мало, а возможно и ничего. Даже в долгосрочной перспективе доходность может стремиться к нулю. Хотя… зависит от того, как мы понимаем слово «доходность». Если включать в него «снижение издержек», то правильные А/Б тесты могут быть выгодными. Именно поэтому мы ратуем за веру в статистику, эксперименты и инвестиции в методику и надежность алгоритмов принятия решений.
Кроме того, доверие к методике А/Б тестирования означает и доверие к результатам тестов, а также – что немаловажно – и к тем, чьи идеи проверялись. И хотя доверие важнее денег, нередко оно - ещё и залог роста доходности.
Читать: https://habr.com/ru/post/685038/
Хабр, привет! Меня зовут Наталья Тоганова, я работаю старшим бизнес-аналитиком в компании GlowByte. Мы помогаем компаниям с построением моделей, задачами на стыке data science и инфраструктуры, а также с аналитикой и А/Б тестами. Здесь я хочу поговорить об А/Б тестах и финансовых надеждах, которые на них возлагаются.
Вопрос «Сколько денег принесет более правильное проведение А/Б тестов?» – всплывает в нашей работе постоянно. И мы знаем правильный ответ на него: в краткосрочной перспективе довольно мало, а возможно и ничего. Даже в долгосрочной перспективе доходность может стремиться к нулю. Хотя… зависит от того, как мы понимаем слово «доходность». Если включать в него «снижение издержек», то правильные А/Б тесты могут быть выгодными. Именно поэтому мы ратуем за веру в статистику, эксперименты и инвестиции в методику и надежность алгоритмов принятия решений.
Кроме того, доверие к методике А/Б тестирования означает и доверие к результатам тестов, а также – что немаловажно – и к тем, чьи идеи проверялись. И хотя доверие важнее денег, нередко оно - ещё и залог роста доходности.
Читать: https://habr.com/ru/post/685038/
Interactively develop your AWS Glue streaming ETL jobs using AWS Glue Studio notebooks
Read: https://aws.amazon.com/blogs/big-data/interactively-develop-your-aws-glue-streaming-etl-jobs-using-aws-glue-studio-notebooks/
Read: https://aws.amazon.com/blogs/big-data/interactively-develop-your-aws-glue-streaming-etl-jobs-using-aws-glue-studio-notebooks/
👍1
Use Amazon Redshift Spectrum with row-level and cell-level security policies defined in AWS Lake Formation
Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-spectrum-with-row-level-and-cell-level-security-policies-defined-in-aws-lake-formation/
Read: https://aws.amazon.com/blogs/big-data/use-amazon-redshift-spectrum-with-row-level-and-cell-level-security-policies-defined-in-aws-lake-formation/
👍1