Data Place – Telegram
Data Place
548 subscribers
36 photos
2 files
215 links
Канал про данные, науку о данных и про обучение работе с данными.
Автор: Ирина Радченко, доцент, канд. техн. наук, любитель данных и Computer Science, в Телеграме -- @dadaistka
Download Telegram
Вебинар Бесплатный ML Space на базе инструментов Intel oneAPI для всех желающих.

У нас отличные новости, инструменты Intel® oneAPI на облачной платформе ML Space стали доступны для физических лиц. Это значит, что любой желающий может бесплатно использовать набор программных инструментов для ускорения машинного обучения, анализа данных, разработки ПО.

На вебинаре вы узнаете:

— подробности об инструментах Intel® oneAPI;
— сценарии применения этих инструментов для построения ML-моделей;
— как получить бесплатный доступ к инструментам на платформе ML Space.

Вебинар будет полезен всем, кто интересуется data science.
Регистрируйтесь по ссылке.

Вебинар пройдёт — 14 октября 2021, четверг, 12:00

*SberCloud — облачный провайдер услуг и сервисов для физлиц, бизнеса и государственных организаций.
How I got into Big Data?

Data Zen community приглашает на бесплатный online-event
Поговорим о Big Data и обсудим отличия направления в разных странах.

Гость встречи - Izabella Zuk, Senior Data Engineer из EPAM Польша поделится своей историей перехода в Big Data и расскажет, какие знания ей помогли на этом пути.

Регистрируйтесь на event и задавайте интересующие вопросы нашему гостю.

17 ноября, 19.00 (UTC+3)
Ссылка на регистрацию
DATA ZEN PODCAST 🎙

ВЫПУСК #4 Data Base Developer vs Big Data Engineer

Любой разработчик так или иначе сталкивается с базами данных. Чтобы убедиться в этом, достаточно посмотреть требования вакансий: там обязательно будет присутствовать как минимум знание SQL.

Можно было бы предположить, что Биг Дата разработчики плотнее всего работают с данными и базами данных, исходя из названия профессии. Но есть как минимум ещё один вид специалистов, которые могли бы с этим поспорить, - это Database инженеры, которые разрабатывают прямо внутри баз данных.

Различаются ли эти роли, или Биг Дата инженер – это хипстерская версия старого доброго Database разработчика?

Каково это писать на PL/SQL, когда все только и говорят, какой питон удобный?
Всё это в новом выпуске подкаста с Антоном Татариновым (Database Engineer) и Дмитрием Тумиловичем (Big Data Engineer), встречайте!

слушать DATA Zen PODCAST

🎥 YouTube 🔍 Google Podcasts
🎵 Яндекс.Музыка 🍏Apple Podcasts
Необычный выпуск Data Zen Podcast: поговорим о психологии в IT.

Премьера 1 декабря 12.00 (UTC+3)!
▫️Что нужно знать, чтобы выгорать ровно к началу отпуска?
▫️Как ходить по грани и при этом сохранять рассудок и эффективность?
▫️Как работать 24/7, но продержаться дольше, чем тот парень напротив?
Ирина Каленчук, психолог, карьерный консультант, поделится с нами опытом и подскажет, где искать ментальные силы, когда всё плохо.
Узнаем, кто виноват в выгорании и как понять, что ты следующий, а также зададим интересующие вас вопросы - присылайте их нам.

👁‍🗨 Анонимность, как и полагается в психологии, гарантируем.
Towards ML Engineering: A Brief History
Of TensorFlow Extended (TFX)
https://arxiv.org/pdf/2010.02013.pdf
👍1
Как стать дата-инженером?
Вот подборка любопытных статей на тему, а также список вопросов и ответов для прохождения интервью.
1. Data Engineer Learning Path, Career Track & Roadmap for 2023: https://www.projectpro.io/article/data-engineer-learning-path/550
2. The Complete Data Engineering Study Roadmap: https://www.kdnuggets.com/2022/11/complete-data-engineering-study-roadmap.html
3. The Top 21 Data Engineering Interview Questions and Answers: https://www.datacamp.com/blog/top-21-data-engineering-interview-questions-and-answers
4. Roadmap to becoming a data engineer in 2021 (немного устаревшее, но пока актуальное): https://github.com/datastacktv/data-engineer-roadmap
Forwarded from HABR FEED + OPENNET
Библиотека ML Tuning: как подобрать гиперпараметры модели GBTRegressor в PySpark #habr
https://habr.com/ru/post/715678/
Tags: Блог компании Сбер, Машинное обучение, Big Data, Python, python, bigdata, big data, машинное+обучение, машинное обучение, программирование
Author: NewTechAudit
👍1
Про схему звезды в РБД
1. Star Schema in Data Warehouse modeling: https://www.geeksforgeeks.org/star-schema-in-data-warehouse-modeling/
2. star schema (с примерами, видео, за и против): https://www.techtarget.com/searchdatamanagement/definition/star-schema

Рекомендую также ознакомиться со статьей на Хабре, написанную понятным языком: Архитектура хранилищ данных: традиционная и облачная: https://habr.com/ru/post/441538/
👍1
Самая модная метапоисковая система теневых библиотек Anna's Archive:
annas-archive.org
Запустилась 7 месяцев назад, и стала самой актуальной точкой входа для поиска научной информации, книг, журналов и тд
🔥4👍31🤩1
Claude обгоняет ChatGPT.
Есть сильные подозрения, что скоро мы увидим "гонки интеллектов":
https://www.kdnuggets.com/2023/07/chatgpt-dethroned-claude-became-new-ai-leader.html
Планирую писать посты с использованием подсказок от ChatGPT-4.
Такие посты буду помечать тегом #ChatGPTprocessed.
Во-первых, чтобы Вы были в курсе того, что за основу брались ответы бота, которые затем подверглись проверке и обработке, во-вторых, чтобы собрать статистику таких постов.
👍4😱1
Интересный обзор стартапов YC этого года
Forwarded from kyrillic
Вчера смотрел YC Alumni Demo Day - питчи всех 200+ стартапов S23 батча главного в мире акселератора. Для выпускников прошлых лет demo day проходит на несколько дней раньше, чем для инвесторов!

Писал ранее, зачем следить за YC стартапами (не только фаундерам), а также есть наблюдения после демо дня S22 (пост) и W23 (раз, два)

Выводы-статистика будут попозже, сейчас хочу поделится просто впечатлениями.

1️⃣ В шоке от бэкграунда команд! И раньше было очень много Стэнфорда-MIT-Йеля-FAANG и тд, а также фаундеров с миллионными экзитами. Но в этот раз почти нет других! Четверть фаундеров - из топовых американских университетов. А если считать по стартапам то думаю почти у половины (!!) есть хотя бы один человек из Ivy Leauge, Стэнфорда, MIT и др.

На это наверняка повлияли увольнения прошлого года - в фаундеры пошли невероятно квалифицированные люди.

2️⃣ Прикольно наблюдение, что если фаундер питчит что-то очень размытое вроде "платформа для автоматизации цепочек поставок", то у него наверняка многомилионных экзит. "Вот я - крутой фаундер, вот рынок, где будет стартап, остальное пока непонятно. Рейзю $3m seed!" Ну что, имеет право! Уже доказал предыдущим бизнесом, что умеет-могет.

3️⃣ Жесткий фокус на американский рынок - такого в стартапах не было! Почти полность отвалились ЛатАм, ЮВА, даже Африка. С маркоэкономикой не поспоришь: инвесторы всех типов стали осторожнее относиться к развивающимся рынкам.

Поэтому значительно меньше international founders. Да и те, в большинстве своем учились и работали в США.

Можно много говорить, как плохо американской экономике, но по факту из рецессии она выходит с наименьшими потерями.

4️⃣ "Занимался узкой задачей страхования здоровья в Амазоне, теперь делаю b2b для больших страховых, решая те же проблемы" - так выглядит самый популярный подход к поиску идеи для стартапа.

То есть свою экспертизу конкретных процессов из большой компании фаундеры оборачивают в стартап. Конечно нужно знать и проблему, и контекст рынка, и американский культурный код!

Я пытался сделать упражнение: среди 200+ стартапов найти идеи, которые может делать человек без глубокой экспертизы. Например талантливый амбизиозный айтишник из Европы, без специфических знаний какой-то американской индустрии, хочет запилить MVP, получить трекшн и пройти в YC.

Таких идей почти нет (!!!)

Мы скоро будем разбирать "нормальные" для нашего ru-бэкграунда идеи YC компаний (и не только) в kyrillic is doing.

5️⃣ 3/4 стартапов - b2b! Ушло много "романтики" - почти нет web3, mental health, productivity tools, edtech, горизонтальных b2c, hrtech и т.д. Финтех просел ожидаемо - из за макроэкономики и ставок. Любопытно, что стало сильно меньше real estate стартапов.

Даже вечно популярные devtools просели! Много open source - хвалятся количеством звезд на github. Забавно, что происходит "инфляция github-звезд" - когда-то 500 - было круто, а сейчас уже нужны тысячи!

6️⃣ Интересно с ML/AI: стартапов, употребляющих термины LLM, AI, ML - очень много, также много ML-инженеров среди CTO. А значит есть реальное использование ML.

Но часть стартапов могла бы решать проблему на рынке и без AI (то есть он там скорее для маркетинга).

Другая часть - реально использует например LLM. Иногда с простыми сценариями: "вот есть куча данных, мы суммируем/приведем к нужному виду" - в лучших традициях бутстраперов из Твиттера. Но есть нюанс... Делают YC-стартапы такое в очень конкретном бизнес-процессе, где у фаундеров очевидная экспертиза. Например часть процесса закупок в какой-то индустрии.

7️⃣ Подытожу, для нашего ru-контекста: лучший способ попасть в следующие батчи YC - ехать в США. Учиться в университете (пост) или несколько лет поработать в большой компании, чтобы найти там интересную задачу/проблему, которую можно выделить в отдельный стартап!

Самое главное:
тренды YC demo days - это тренды всего венчурного рынка. Они задаются в YC, а потом расходятся по другим индустриям и странам. Полезно видеть старт движения идей сверху вниз. Про это я как-то писал в одном из постов про YC, с примерами из фешна! 🙂

@kyrillic
👍42🔥2