Как начать работать с локальными LLM?

Пока пилил свой очередной долгострой-pet-проект, успел сделать небольшой туториал по быстрой настройке и работе с локальными LLM.

В туториале самое основное для старта — стандартная Ollama и open-webui + базовые примеры, вроде суммаризации текстов, structured outputs и, конечно, модели, которая умеет определять хот-дог от не хот-дога.

Почему локальные, а не OpenAI, Anthropic и прочие ребята? Во-первых, потому что мы можем. Во-вторых, это отличная возможность потренироваться с промптами, потрогать разные модели и научиться работать с API, которые более-менее универсальны между провайдерами. И всё это без необходимости платить кому-либо. Ну и, наконец, для каких-то простых задач, вроде выделения определенной информации из текста, локальные модели можно вполне успешно использовать. Осталось только самому засесть и доделать, наконец, свою статью про битвы из википедии 😬

День космонавтики 🚀

Сегодня уже по традиции поучаствовал в ламповом обсуждении всяких космических тем в Unitaware, сообществе, которое организовал мой друг @vakondyrev.

🚀 В этот раз рассказывал про планетарную защиту от внеземных объектов и при чем там дата сайенс.

🚀 Вот тут можно посмотреть запись: ссылка на запись

🚀 А вот тут презентация: ссылка на презентацию

Кстати, загуглите “DART planetary defense” — гугл сделал красивое

Первый рентгеновский снимок в космосе

💍 На фото слева — самый первый рентгеновский снимок руки Анны Берты Людвиг, жены Вильгельма Рентгена, снятый 130 лет назад.

💍 На фото справа — самый первый рентгеновский снимок, снятый в космосе.

💍 На обоих снимках на руке есть кольцо. Только у Анны Берты кольцо обручальное, а на первый космический рентген попала наша Oura.

Недавно рассказывал, что кольцо Оуры впервые полетело в космос. Постепенно начинают публиковаться результаты работы миссии и один из красивых (и очень символичных) артефактов — это изображение.

ChatGPT опять меня газлайтит 🤔

Последние пару месяцев очень много путешествую, что определенно сказалось на частоте постов. И по работе, и для отдыха уже посетил шесть стран. И чем дольше сюда не пишу, тем сложнее снова начать ☔️

Из интересных новостей — моя статья про песёля победила на конкурсе статей Технотекст-7 и попала в список “Выбор команды Хабра”. Собака за свой вклад определенно заслуживает отдельного приза.

Успел записать большой подкаст вместе с основательницей FemTech Force, Ирой. Поговорили про технологии для здоровья, Оуру, чем занимается моя команда, где в HealthTech-е машинное обучение и AI, и к чему всё это идёт. Где-то к концу июля станет доступна запись и я смогу её пошарить.

И, наконец, пояснение для прикрепленного фото. Не так давно завел традицию привозить из путешествий старые комиксы про Дональда Дака. В этот раз в Париже на барахолке нашел издание 1955 года, а в Копенгагене аж из 1950-го. Что круто, зная шведский, читать и понимать датский не так уж и сложно, но вот на слух понять практически нереально. Сразу вспоминается Language Lessons из Scandinavia and the World 🇩🇰

Свежая вакансия в Oura: LLM Evaluation Specialist

В марте писал про нашу первую LLM фичу, Oura Advisor. Направление продолжает расти и развиваться и теперь мы ищем специалиста в Хельсинки или Оулу, который будет отвечать за качество всего LLM-сгенерированного контента и помогать нам не скатиться в AI slop. Вакансия не в мою команду, но пересекаться будем, часть моей работы тоже связана с Advisor

Из плюсов — позиция мидловая и не очень требовательная к уровню и опыту кандидатов, как обычно бывает в Оуре. Хороший шанс попасть к нам даже если вы еще только начинающий специалист

Если интересно, могу помочь с рефералом, репосты и рекомендации приветствуются 🥂

https://apply.workable.com/oura-health-ltd/j/F0F5C52028/

Подкаст вышел 🧃

🎙Дмитрий Сергеев, ŌURA: Данные, AI и будущее носимых устройств

Привет, друзья! Это Ира Евдокимова пришла рассказать про новый эпизод подкаста и почему его нужно послушать

В новом эпизоде подкаста общаемся с одним из спикеров весенней конференции Femtech Force Jam 2025 — Дмитрием Сергеевым, руководителем европейской Data Science команды в компании ŌURA.

ŌURA — финская компания, лидер среди производителей умных колец. Компания продала 2,5 миллиона колец и одно из них ношу я. Поэтому вопросы были не только профессиональные, но и пользовательские:)

Диме не понравилось классическое академическое образование, поэтому он изучил machine learning самостоятельно, проходя курс на платформе Coursera. А позднее стал сам преподавать этот предмет в ЦМФ МГУ, ФНК ВШЭ, Aalto University и на платформе Otus


В этом эпизоде обсудили:

— Что показывает ŌURA о здоровье сейчас, какие функции есть для женщин и что ещё может появиться для женского здоровья?

— Почему функция ŌURA по оценке метаболического здоровья не трекает калории?

— Станут ли healthtech-компании новыми ресерч-центрами для совершения медицинских открытий и что для этого нужно?

— Как в ŌURA используются LLM-ки и насколько стоит доверять нейросетям в вопросах здоровья? В каких медицинских вопросах сам Дима доверяет LLM?

— Помогает ли ŌURA определить перименопаузу?

— Почему крупные healthtech продукты постепенно приходят к тому, чтобы получить одобрение FDA, даже если начинали с wellness-трека?

— Какой в будущем может быть роль носимых устройств в персонализированной медицине?

— Сценарий для «Черного зеркала»: что, если данные с носимых устройств попадут не в те руки?

Я получила много удовольствия от этого разговора и, надеюсь, вам тоже будет интересно послушать Диму, учитывая, что он редко дает интервью на русском языке

❤️ Теперь можно смотреть новые эпизода не только в YouTube, но и на платформе Mave (они недавно запустили эту функцию, могут быть перебои, но уверена — ребята скоро все отладят)

Все подкаст-площадки:
— Смотреть на Youtube
— Слушать или смотреть на Mave (можно прямо в Telegram)
— Apple Podcasts
— Spotify
— Яндекс.Музыка

@FemtechForce — о технологиях для здоровья женщин

#фемтехподкаст

Совсем забыл, что уже завтра буду участвовать в Medium Day 😬

Пару месяцев назад Medium разослал приглашения поучаствовать в ежегодном ивенте, где авторы статей рассказывают, как они докатились до жизни такой. Я решил поучаствовать в отбре, закинул заявку с описанием темы и благополучно про это дело забыл. А когда сегодня проверил программу мероприятия, увидел, что одну из секций буду вести я :)

Так что если у вас завтра вечером в 19:00 по Хельсинки будут свободные полчаса, приходите послушать про “Истории в повседневности” — как превращать обыденные наблюдения в интересные дата-истории и куда может привести любопытство. Думаю, будет интересно, правда, презентацию я еще даже не начинал (как обычно)

Регистрация вот тут: https://mediumday.com/

😊Medium Day прошел очень приятно. Даже неожиданно приятно для конференции, которая проходила только в онлайне, с кучей одновременных сессий в зуме, и суммарно длившейся 12 часов (конечно, отдельные презентации были ограничены 30 минутами).

Очень уютно посидел и пообщался с 60+ присоединившимися слушателями про то, как можно сделать из говна конфетку из обыденных наблюдений — интересные дата-истории.

Получился короткий около-технический рассказ, послушать который можно до 27 октября по вот этой ссылке — [ссылка на Zoom]

Чтобы посмотреть, надо войти в Zoom, так что если сразу не откроется — залогиньтесь и потом еще раз нажмите по ссылке. Надеюсь, потом нормально выложат на YouTube, чтобы не приходилось так заморачиваться.

А презентацию можно достать вот тут — [ссылка на презентацию]