Напишу текстом главную мысль из видео 👆️️️️️️.

Сегодня я проводил вебинар о том, как выглядит наш процесс внедрения машинного обучения (ML) на фабриках в DataWorkshop. Вебинар был предназначен для так называемых с-level специалистов (директоров или людей, которые будут непосредственно задействованы в внедрении ML). Важно понимать, что каждый вебинар требует времени и структурирования информации.

Это полезно, но есть и другой момент. Очень важный! Когда уже накоплен значительный опыт работы с различными компаниями и внедрением моделей, создающих ценность, начинаешь "забывать" или уменьшать значение того, что знаешь. Чтобы извлечь этот опыт, нужно создать определенные условия. Например, войти в состояние "потока" на вебинаре, когда мысли просто льются, главное — не прерываться 😂. Возвращаясь к вебинару, когда я слушаю те моменты, где мне кажется, что я хорошо раскрыл мысль, я иногда удивляюсь.! Слушаю и думаю: хм... "хорошо сказано" или "это была правильная мысль".

Главная идея заключается в том, что опыт — это одно, когда знаешь, как что-то делать. Опыт вещания об этом — совсем другое. Кроме того, у нас есть подсознание, которое постоянно работает над тем, что для нас важно. И поэтому, чтобы проявились интересные мысли, которые уже существуют внутри нас, необходимо создать условия.

Как-то кто-то сказал: "Откуда я узнаю, о чем я думаю, пока не скажу это вслух". Что думаешь? Как справляешься с задачей извлечения результатов глубоких размышлений на поверхность?

Знаешь, за последние 20 месяцев ИИ Midjourney прям взлетел в плане создания картинок!

Это реально круто показывает, насколько быстро развиваются технологии ИИ. И не только это, они ещё и кучу креатива и новшеств в разные сферы приносят.

Просто супер интересно наблюдать, как всё меняется и что ещё ИИ нам покажет в будущем!

Что думаешь?

Вот решил создать немного новогодней атмосферы 🎅.

Они сделали это вместе 🥳. Пока что это выглядит “миленько”, пусть лучше объединяют свои усилия только в таких и других благих целях.

Кстати, в Европе сегодня главный день праздника, завтра елки пойдут выбрасывать. Но это не точно, может и до 1 января подождут.

Когда там искусственный интеллект уже полностью заменит человека?

Выскажу свое мнение 🙂

Не сегодня. Пока что до этого далеко. Да, с помощью инструментов на основе ИИ, если ими умело пользоваться, можно получить хорошего помощника.
Но этого помощника обязательно нужно контролировать, обязательно!

Если думаешь, что можно дать задание тому же ChatGPT и он за тебя напишет код, то тут есть много НО.

Когда я в конце прошлого года создавал курс по SQL, то ради интереса, давал ChatGPT решить домашние задания из курса. И он решал, но:
❌ в решениях, как правило, были ошибки
❌ часто решения были неоптимальными

И это не говорит о том, что не нужно пользоваться ChatGPT и ему подобным. Нужно, но с головой.

Как минимум, нужно самому понимать и уметь писать код, иначе Ты не будешь в состоянии найти ошибку в г(отовом) коде от ChatGPT.😉

Почему SQL такой универсальный? Потому что даже кофеварке иногда приходится делать запросы: "SELECT * FROM coffee WHERE temperature > 90 ORDER BY aroma DESC"! 😉

А теперь серьезно.

Почему 90% работодателей из сферы Data Science (да и не только) упорно хотят видеть в Твоем резюме знание SQL?

Мы недавно анализировали реальные вакансии на рынке труда и, действительно, практически в каждой вакансии на позицию Data Scientist, Data Analyst, ML Engineer и т.д. указано требование - знание SQL.

Стоит сказать, что это справедливое требование.

Почему?

SQL - это удобный и универсальный инструмент для извлечения, преобразования и анализа данных.

Именно поэтому мы решили создать курс по SQL.
В лучших традициях DataWorkshop - это будет максимально практический и концентрированный курс.

Ориентировочный старт - 29 января.
Длительность - 3 недели.

Если планируешь строить свою карьеру в сфере Data Science - SQL Тебе точно понадобится.

Кстати, SQL нужен и системным администраторам, аналитикам, разработчикам, тестировщикам - проще сказать, кому он не нужен 😁

Здесь можно посмотреть программу курса.

Если Ты работаешь с данными, рано или поздно SQL Тебе точно понадобится.

А чтобы Ты не откладывал(а) обучение когда-нибудь на потом (как это обычно бывает), мы решили для первого потока курса сделать очень хорошую скидку, которую больше повторять не будем.

Для получения скидки необходимо оставить свои данные в листе ожидания ЗДЕСЬ.

Действуй - все в Твоих руках 😎

В жизни каждого человека бывают моменты когда зашел не в ту дверь 😂…

Мир data science и machine learning ждет, а DataWorkshop поможет найти и зайти в правильную дверь

Data Science - это точно любовь ❤️


Мы подобрали несколько шуточек на эту тему 😎


Что говорит Data Scientist в День Святого Валентина?
"Ты - мой исключительный случай в огромной выборке жизни».

Как Data Scientist выбирает себе пару?
"С помощью алгоритма кластеризации".

Как Data Scientist проводит День влюбленных?
"Анализирует паттерны поведения людей в социальных сетях".

Как Data Scientist делает комплимент?
"У тебя очень красивый набор данных."

Как Data Scientist флиртует?
"Хочешь посмотреть на мою нейронную сеть?"


Мы в DataWorkshop считаем, что не только влюбленные заслуживают внимания в этот день ❤️

Даже если у вас еще нет второй половинки - без подарка вы сегодня не останетесь 🎁.

Заполните ЭТУ АНКЕТУ и получите сертификат на 50 евро, который можно будет использовать при покупке любого курса от DataWorkshop.
Сертификат будет действовать до 29 февраля 2024 года.

С любовью, команда DataWorkshop

Кстати, в мире технологии постоявнно появляются новые инструменты и найтись во всем этом становится трудно.
Есть такая библиотека, которая называется Ibis (это не призыв к действиям, чем заняться 14 февраля, хотя случайностей не бывает 😂).


Ibis — это как универсальный "переводчик" для работы с данными в Python. Позволяет манипулировать огромными объемами данных, хранящимися где угодно, используя знакомый интерфейс в стиле pandas.

Самое крутое — код выполняется там, где хранятся данные, благодаря чему всё работает быстрее, не загружая Твой компьютер. Это как иметь один инструмент, который подходит для любой работы с данными, не нужно переучиваться или переписывать код при смене базы данных или увеличении объемов данных.

Поддерживает
- Apache Arrow DataFusion
- Apache Druid
- Apache Flink
- Apache Impala
- Apache PySpark
- BigQuery
- ClickHouse
- Dask
- DuckDB
- Exasol
- HeavyAI
- MySQL
- Oracle
- Pandas
- Polars
- PostgreSQL
- SQL Server
- SQLite
- Snowflake
- Trino


Хочешь узнать больше? Поставь сердечко ❤️

Для создания пятничного настроения поделюсь одной из новостей (сейчас столько всего просходит, что проверить все не реально, но некоторые вещи хочется "пощупать" - вот тут сам создал рисунок).

Вот например Stability AI выпустили новую крутую модель - Stable Cascade.

Она поражает своими результатами — вдвое быстрее и с таким же «качеством», что и SD XL. И да, наконец-то она умеет работать с текстом, создавая очень красивые изображения. Говоря простым языком, одно из самый главных ограничений так называемоеого  GenAI (генерирование текста или рисунков) это производительная мощность, поэтому сейчас есть активный тренд как достичь того же самого (ну или не сильно хуже) качества, но дешевле и быстрее.

Промпт для этого коня который решил "выйти": "An astronaut riding a neon horse in the airspace". Просто этот текст и все, не нужно танцевать с бубнами (похоже как для DALLE-3).

Она построена на архитектуре под названием Würstchen, которая отличается от моделей, таких как Stable Diffusion. Она работает в намного меньшем пространстве, что делает её быстрее и дешевле в обучении. Например, она может сжать изображение размером 1024x1024 до крошечного 24x24, сохраняя его четкость. Она прекрасно подходит для задач, где важна эффективность, и к тому же вы можете добавлять дополнительные функции.

Кстати, можешь почитать подробнее о архитектуре Würstchen в статье "An Efficient Architecture for Large-Scale Text-to-Image Diffusion Models".

Что думаешь? 🤔 Красиво выглядит?

Редкие кадры, которые ранее были скрыты от общественности - специально для Тебя ❤️ .

Продолжу начатую тему - греют меня твои сердечки 🙂

Давай, для начала как-то упорядочим все эти инструменты и для чего они предназначены.


1️⃣ Обработка и аналитика больших данных (Big Data)

Эти инструменты предназначены для обработки больших данных, аналитики и распределенных вычислений.

👉 Apache Arrow DataFusion: Система выполнения запросов в памяти, использующая Apache Arrow в качестве модели памяти.
👉 Apache Druid: База данных реального времени, предназначенная для быстрой аналитики больших данных.
👉 Apache Flink: Фреймворк и распределенная система обработки для состояний вычислений по потокам данных.
👉 Apache Impala: Открытая, аналитическая база данных для Hadoop, предназначенная для высокопроизводительных SQL-запросов.
👉 Apache PySpark: Python API для Apache Spark, позволяет масштабировать обработку потоков данных.
👉 Dask: Гибкая библиотека для параллельных вычислений в Python, предназначенная для масштабирования от одной машины до больших кластеров.
👉 Trino (ранее PrestoSQL): Распределенная SQL-система выполнения запросов, предназначенная для запросов к большим наборам данных.


2️⃣ Хранилище данных и аналитика больших данных (Data Warehouse)

Эти платформы предлагают решения для хранилища данных, оптимизированные для запросов и анализа больших наборов данных.

👉 BigQuery: Полностью управляемое, безсерверное хранилище данных, позволяющее анализировать петабайты данных.
👉 ClickHouse: Открытая, колоночная СУБД, в первую очередь предназначенная для обработки аналитических запросов (OLAP). Кстати, продукт Яндекса 😉
👉 Snowflake: Облачное хранилище данных, предназначенное для поддержки аналитики больших данных и обмена данными.
👉 Exasol: Высокопроизводительная, в памяти, MPP база данных, специально разработанная для аналитики.

3️⃣ Базы данных и аналитика в памяти

Сосредоточены на высокоскоростной обработке в памяти для поддержки реальной аналитики и запросов.

👉 DuckDB: SQL OLAP база данных в памяти (вот это относительная новая штука, но очень крутая ❤️)
👉 HeavyAI (ранее OmniSci): База данных, разработанная для аналитики с использованием GPU.

4️⃣ Традиционные системы управления реляционными базами данных (СУБД)

Это наверное самое известное - универсальные СУБД, используемые для широкого спектра задач по хранению и извлечению данных.

👉 MySQL: Открытая система управления реляционными базами данных.
👉 Oracle Database: Много модельная система управления базами данных, разработанная Oracle.
👉 SQL Server: Система управления реляционными базами данных, разработанная Microsoft.
👉 PostgreSQL: Открытая объектно-реляционная система управления базами данных с акцентом на расширяемость и соответствие стандартам.
👉 SQLite: Библиотека на языке C, которая реализует маленькую, быструю, самодостаточную, высоконадежную, полнофункциональную SQL базу данных.



5️⃣ Библиотеки для манипуляции и анализа данных

Библиотеки, предназначенные для манипуляции и анализа данных, обычно используются в рабочих процессах аналитики данных и науки о данных.

👉 Pandas: Мощный, гибкий и легкий в использовании инструмент для анализа и манипуляции данными, созданный на основе языка программирования Python.
👉 Polars: Высокопроизводительная библиотека для манипуляции данными, написанная на Rust, с привязками для Python и других языков, сосредоточенная на скорости и эффективности. Часто рекламируется как заменая Pandas, но это просто маркетинг такой 🙂


Другие

👉 Exasol, хотя и перечислен под хранилищами данных, также акцентирует внимание на высокоскоростной аналитике в памяти.
👉 Инструменты, такие как Dask и Apache Arrow DataFusion, также заслуживают внимания за их способность интегрироваться с рабочими процессами науки о данных, преодолевая разрыв между обработкой больших данных и аналитическими вычислениями.


Записывай, делись с друзьями. Хочешь больше? Ставь ❤️

- Найти сейчас работу Data Scientist-ом нереально!
- Почему?
- Везде требуется опыт!
- Так получи его 🙂


Сейчас продумываю серию материалов для людей, которые хотят найти работу как Data Scientist/Machine Learning, но пока что не получилось это сделать. На самом деле, причин очень много, но одна из них — это замкнутое кольцо, из которого иногда кажется, что выхода нет, а он есть 🙂

Это как про сусликов: ты его видишь? Нет. А он есть.

Одна из самых главных проблем замкнутого круга — как же приобрести опыт, если вакансий для людей без опыта можно на пальцах пересчитать, а желающих — тысячи? Кстати, это хороший вопрос, на который нужен ответ, иначе зачем начинать? Просто стоять в виртуальной очереди, как в 90-х, когда возьмут — слабая стратегия, статистически шанс очень мал.

- Так что же делать?
- Опыт приобретать!
- А как?!

Ну вот, мы подошли ближе к сути проблемы. Вопрос "как приобрести опыт, чтобы не оказаться в красном океане", правильнее, чем утверждение "меня никто не берет на работу из-за отсутствия опыта".

Тема достаточно глубокая, и здесь накопилась большая боль и непонимание "а как?" Давай сделаем так: поставьте реакцию ❤️ (с любовью буду делать), я тогда пойму, что для Тебя это важно, и начну расписывать по пунктам, что можно делать. Есть чем поделится и вижу как много ошибок обычно делают люди, у которых не получается.

Сразу уточю - это не про успешный успех или втюхивание курсов. У нас нет такой задачи (есть другая задача). Фактом является то, что это не гарантирует, что точно найдешь работу как ML/DS (кстати, если кто-то даёт такие гарантии, то не понимает что делает или лукавит - ну да ладно, в эти дебри влазить не будем), но однозначно, то про что говорю увеличивает Твои шансы и ведет более прагматическим путем к цели.

Ну что интересно? Ставь реакцию ❤️, и начнем двигаться в этом направлении!

Благодарю за обратную связь – супер!

Вижу, что тема "как найти работу в DS/ML" важная, это мотивирует и вдохновляет делиться своим опытом. Сразу думал написать пост или статью, но раз есть такой большой интерес и чувствуется боль, пришла идея сделать еще больше.

Вообщем, вдохновлён и есть желание делиться ещё больше. Давай сделаем вебинар, что думаешь? Тогда будет, как говорят "шире поток", как бы сказал специалист по сетям "оптоволокно" в передаче опыта 😂

Начнем погружаться в суть проблемы (не в эмоции, а в понимание какие правила игры) и как можно искать выход. Ведь при всех этих сложностях только в 2024 году тысячи людей найдут работу с данными. Как оказаться среди этих счастливчиков, вот в чём вопрос? А что если 🤔... а может дело не только в счастье ("типа" кому-то повезло, у того опыт есть, а мне не повезло – поэтому опыта нет). Может, дело в системном подходе к решению задачи?

По сути, если подойти конкретно к этой задаче, как к задаче машинного обучения ( при случае можно попрактиковаться), то жизнь может набрать другие краски, что думаешь? Ведь при таком подходе (используя ML) мы можем "выхватывать" даже очень редкие события, такие как 1 на тысячу или даже ещё реже. А ведь Тебе нужна всего одна работа, правда?

Вообщем, идея простая:
- хочешь отличиться – отличись
- а как?
- ну вот осталось понять как это сделать, этим и займёмся

Почему подумал про вебинар?
Живое общения требует больших трудозатрат с моей стороны, но все же больше получается донести, да и вживую другой поток, другая энергия (тоже можно будет спрашивать). Сейчас будет опрос про время – ответь, пожалуйста 👇. Очень хочу, чтобы у Тебя получилось быть вживую, возможно эта та искра которую ищешь. Хорошо?

Ну что, есть желание погрузиться и разобраться, какие правила игры и как системно можно подойти к решению этой задачи? Ставь сердечко (обратная связь очень важна – она вдохновляет, ведь всё сводится к обмену энергией, так что поддержи и покажи, что это важно) – буду делиться своим опытом и вдохновлять ❤️ И выбирай время 👇


P.S. DataWorkshop - Твой проводник в мир DS/ML

#job #data #strategy

Вебинар на тему «Как найти работу в области Data Science/Machine Learning» пройдет уже в эту среду. Вы умеете замотивировать 🙂

Начало в 20:00 по Минску и Москве, в 19:00 по Киеву (учли итоги голосования😉). Спасибо всем откликнувшимся!

На вебинаре буду отвечать на ваши вопросы и делиться своим практическим опытом - так что обязательно приходите

Ссылка на вебинар ЗДЕСЬ

@data_work