Перипетии ИИ-разработки
Рост популярности ИИ привел к появлению множества инструментов и фреймворков на его основе под самые разные задачи. Их плюс в том, что они могут сильно ускорить и упростить работу: какое-нибудь ПО или приложение, которое раньше пришлось бы долго и сложно разрабатывать своими руками, они соберут в разы быстрее.

Но не всегда успешнее.

🔜 Любопытный пример — опыт команды octomind, ИИ-сервиса для e2e-тестирования.

В 2023 разработчики внедрили фреймворк LangChain, предназначенный для разработки приложений на основе LLM. И сначала он действительно помог облегчить работу и сконцентрироваться на создании приложения. Но по прошествии времени стало понятно, что у него есть серьезные недостатки.

💬 Ему не хватало гибкости, и в какой-то момент это начало тормозить работу.
💬 Его задача — объединять несколько LLM в единую систему, чтобы пользователь на этой основе создал свое приложение. LangChain с этой задачей справляется, но при этом внутри этой системы пишет такой запутанный код, что легче самим переписать, чем в нем разбираться.

На первых порах плюсы перекрывали минусы. Но чем сложнее становились задачи, тем больше команда приходила к выводу, что их работа станет проще без LangChain и вообще без специальных LLM-фреймворков. Экономия времени на старте не стоит проблем в будущем. К тому же, они не делают ничего, с чем не могли бы более успешно справиться люди.

Конечно, это не значит, что LangChain и подобные ему продукты плохи — просто они не всем подходят.

Но это интересный взгляд на то, как меняется зародившаяся у нас на глазах экосистема ИИ-приложений: от взрывного роста она переходит к более спокойному и вдумчивому развитию.

Как думаете, что ждет нас дальше? Какие еще ИИ-инструменты появятся в скором будущем — а какие наоборот, уйдут в прошлое, когда окончательно пройдет хайп? 👀

«SQL База» для всех кто мечтает стать аналитиком
Новый курс от команды LEFT JOIN уже доступен на Stepik!

«SQL База» — идейное продолжение нашего первого обучающего проекта «Марафон данных». Он тоже объединяет изучение основ SQL со знакомством с самой профессией аналитика. С одной стороны — много теории и практики, задачи, принципы написания запросов, с другой — разъяснение основных терминов и особенностей работы в дата-команде.

Он построен как стажировка в онлайн-магазине True Coffee. То есть предстоит не просто решать задачки из учебника, а помогать коллегами из разных отделов делать выгрузки данных и выполнять разные запросы, максимально похожие на реальные.

🔜 Для кого мы создавали этот курс?
В первую очередь он будет интересен тем, кто хочет построить карьеру в аналитике или только-только начал это делать — студентам, джунам и людям, планирующим сменить профессию.

Что в результате?
🔵Научитесь писать SQL-запросы и разбираться в логике работы разных функций и операторов.
🔵Узнаете основные принципы работы баз данных, понимание, как они устроены и как хранят информацию.
🔵Разберете особенности разных типов данных и главные операции с ними: выборка, группировка, сортировка, соединение таблиц.
🔵Познакомитесь с разными способами визуализации данных и расчета продуктовых метрик: числа уникальных пользователей, конверсии.

Также мы погрузимся в:
🔵Особенности работы аналитика: термины, рабочие процессы, взаимодействие с коллегами из разных отделов.
🔵Применение SQL для решения рабочих задач: анализа динамики продаж, маркетинговых показателей, сегментации клиентов.

Если пока все это выглядит очень уж сложно и непонятно — ничего страшного. «SQL База» знакомит со всеми нужными терминами и понятиями.

Курс платный: 1330 рублей. Для наших подписчиков нам ничего не жалко, поэтому мы предлагаем промокод — LEFTJOIN. Он действует с 30 июля по 4 августа и позволяет купить курс со скидкой 35% за 865 рублей.

🔜 Ссылка на курс «SQL База» с примененным промокодом

Надеемся, что вам понравится курс, и ждем ваших отзывов!

3 инструмента для создания графов
Если GraphRAG от Microsoft кажется слишком сложным и тяжеловесным, вот несколько вариантов попроще.

🔜 prettygraph — приложение на Python, которое умеет генерировать графы на основе запросов пользователя. Даете ему текст, а оно вам — разноцветный граф. Автор просит не ждать от prettygraph ничего сверхъестественного — это маленький экспериментальный проект из 200 строчек кода, который он написал для себя. Но посмотреть, как он разбирает тексты, все равно интересно.

🔜 Для тех, кому надо что-то посерьезнее, то у него есть mindgraph— инструмент для создания и расширения графов с помощью ИИ. Это Proof of Concept, который создатель предлагает другим разработчикам использовать как основу для своих инструментов.

Оба бесплатны и выложены на GitHub.

🔜 Если нет настроения самостоятельно возиться с установкой и хочется просто посмотреть, как ИИ рисует красивые схемы из текстов, можно воспользоваться веб-версией instagraph. Он даже с русским языком справляется и может нарисовать, например, граф «Войны и мира».

Как ChatGPT поможет перейти на ЗОЖ?
Кому только ИИ не грозился отнять работу. Тренерам, диетологам и прочим помощникам тех, кто на спортике и ПП (или просто вечно худеет), тоже досталось.

Насколько эффективен ИИ в роли тренера и диетолога? Стоит ли тратить деньги на гастрономические “можно-нельзя” и индивидуальные тренировки? Я попросил ChatGPT составить для меня план питания и тренировок. Результаты и мои мысли — в новом видео.

🔜 Смотреть тут.

А для чего вы используете Чат? Пробовали ли худеть или набирать массу с его помощью?

С чего начать изучение распределенных систем?
Распределенные системы — это системы, в которых вычисления распределены на нескольких машинах. Это если совсем просто говорить.

🔵У них много преимуществ перед централизованными системами, где все вычисления проводятся на одном сервере. Например, выше потенциал к масштабируемости и увеличению производительности. Но зато строить их, развивать и поддерживать работоспособность намного сложнее.

🔵Если вообще никогда этим не занимались, то можно быть непонятно даже, а с чего начать. Но не надо отчаиваться — в интернете на любую тему найдется гайд.

🔜 Про распределенные системы тоже есть — его написал главный научный сотрудник из MongoDB Research, который как раз специализируется на распределенных системах и облачных вычислениях.

Он сразу предупреждает:

Это точно не пост «как изучить распределенные системы за 21 день». Я предлагаю углубленный подход к изучению с самых основ, который займет добрых три месяца только чтобы это все прочитать. И еще намного больше времени, чтобы закрепить знания.

В общем, если задача по-быстрому разобраться, то вам не сюда.

👀 Гайд включает в себя ссылки на книги, курсы, статьи, блоги, видео и рекомендации, что делать дальше, когда вы все это осилите. Один минус — он опубликован в 2020. Ссылки все живые, но имейте в виду, что там могут попадаться не самые новые материалы.

Но как база для дальнейшего погружения в тему — очень ценно. Не забудьте сохранить себе, чтобы не потерять.

Самая главная метрика
Любому предпринимателю или руководителю хочется, чтобы показатели его бизнеса или отдела росли. Чтобы продаж было побольше, средний чек повыше, ROI повнушительнее…

Но не все метрики одинаково полезны
Пытаться добиться роста по всем фронтам можно, но не всегда эффективно. Иногда лучше сконцентрироваться на чем-то одном, на одной, самой важной метрике, и все усилия направить именно на ее рост.

🔜 Это фреймворк, который так и называется — Единственная Важная Метрика или One Metric That Matters.

OMTM может быть как специфичной для вашей сферы или, наоборот, очень распространенной. Главное, что это был показатель, рост которого действительно поможет развитию бизнеса в ближайшие месяцы.

🔜 Это не North Star Metric, хотя они могут показаться похожими. NST — это общая метрика для всей компании, которая в идеале выбирается навсегда или на очень долгий срок. OMTM ставится на 2-4 месяца и часто разбивается на несколько отдельных метрик для разных команд. В компании может быть несколько разных OMTM, которые «работают» на рост NST.

Чтобы определить свою OMTM надо обратиться к другому фреймворку — AARRR. Он описывает этапы привлечения и удержания клиентов, из которых предстоит выбрать нуждающийся в особом внимании. На каком этапе чаще всего возникают проблемы? Если решить их, то вы сможете улучшить свои результаты и увеличить прибыль?

Если компания достаточно большая, то план по решению проблем можно разделить на несколько команд, и выдать отдельные OMTM маркетингу, продажам и другим направлениям.

👀 Ну а затем все просто — ставим цели по методике SMART и покоряем новые горизонты.

Сколько информации может вместить одна карта
Просто хотим добавить немного стильного датавиза вам в ленту. В твиттере (он же X, но никто так его не называет) выложили тред из 11 карт Африки. То есть карта-то одна, но в 11 разных версиях, которые позволяют взглянуть на континент под новыми углами: увидеть распределение дорог, лесов, рек и людей.

❤️ Во-первых, это красиво. Во-вторых, познавательно — наглядно видно закономерности и влияние людей и природы друг на друга.

Пишите, какая карта вам больше всего понравилась?

Maestro, оркестратор данных от Netflix: стоит ли гнаться за новинкой?
Netflix представил собственный инструмент для оркестрации рабочих процессов — Maestro.

🔵Система предназначена для управления большими потоками данных ML. Поддерживает сложные сценарии, включая циклические и ациклические рабочие процессы, паттерны типа`foreach`, подпроцессы и условные ветвления. В общем, собирается неплохой набор возможностей.

🔵Maestro также интегрируется с внешними системами через API и позволяет автоматизировать и управлять процессами обработки данных. Это делает его полезным инструментом для организаций, работающих с большими данными и сложными ML-пайплайнами. Еще обещают гибкость и масштабируемость, но пока выкатили если не MVP, то версию продукта на ранних стадиях развития.

Обсудили с дата-инженерами из Valiotti Analytics то, что есть сейчас:

Пока что инструмент выглядит сырым. Мало документации, мало примеров, нет четких инструкций по настройке и использованию. В общем, как работать, пока не понятно. Еще и собирать через Gradle.

Судя по описанию, Maestro должен стать аналогом Airflow со своими уникальными приколами, но смотреть в его сторону еще рано. По крайней мере, пока не выпустят нормальные гайдлайны. Но будет это еще, кажется, не скоро.

🔜 Уже слышали про Maestro? Делитесь впечатлениями и мыслями!

По просьбам трудящихся мы подготовили гайд, который поможет вам наполнить и продуктивно использовать страницу на LinkedIn.

В нем есть все, что нужно для начала — советы по оформлению, раскрутке и нетворкингу. Удачного пользования!

Понравилось? Сохраняйте, чтобы не потерять, и расскажите друзьям!🔥

🔜 @leftjoin_career

Data Heroes: интервью с Денисом Харченко
SETTERS EDUCATION начался с воркшопов про SMM и вырос до успешного образовательного проекта с каталогом из курсов для маркетологов, менеджеров, лидеров и стратегов. Сегодня познакомимся с ним еще ближе.

🔜 Гость нового выпуска — Денис Харченко, CEO в SETTERS EDUCATION. Он расскажет, почему синхронный формат обучения — лучший, что помогло создать активное комьюнити проекта и как используют аналитику те, кто сегодня меняет рынок образования.

А еще обсудили:
🔵что такое изионизм
🔵в чем подводные камни тоталитарного управления командой
🔵почему стабильное коммьюнити лучше агрессивных продаж
🔵чем отличается таргетинг для джунов и старших специалистов
🔵почему высокий результат для бизнеса — не обязательно рост объемов и захват рынка
🔵как следовать data-driven подходу без отдела аналитики

➡️ Где посмотреть: YouTube, VK Видео (да-да, перестраховались на случай, если YouTube тормозит).

Где послушать: Яндекс Музыка, Apple Podcasts, Spotify.

#dataheroes