Обложки выходят на новый уровень, и, честно говоря, я в ахуе 😮

Андрюша Карпатый снова навалил базы: nanochat miniseries v1 😮

Андрей Карпатый не перестаёт радовать нас годным контентом. Он выкатил жирный апдейт в своём репозитории nanochat - проекте, который учит создавать свой ChatLGBT с полного нуля.

Если раньше мы просто учились запускать пайплайн, чтобы оно работало, то теперь Андрюха погружает нас именно в сам процесс обучения. Главный вопрос апдейта: как тратить вычислительные ресурсы (бабосиксаны) максимально эффективно? 🤔

Разбираем, что там внутри:

1️⃣ Scaling Laws
Для многих новичков подбор параметров модели звучит как что-то непонятное, но Карпатый показывает, что это - строгая и понятная математика. Суть проста: хватит гадать на кофейной гуще, какую архитектуру выбрать и сколько данных скормить. Бро использует законы масштабирования.

Эксперимент: Карпатый запустил серию обучений (miniseries) с фиксированным бюджетом (~$100 на H100) и потратил его по-разному:
🟣 Одни модели были «маленькими», но учились долго (много токенов)
🟡 Другие были «жирными», но учились быстро (мало токенов)

Результат: Все модели стоили одинаково, но одна конкретная конфигурация дала лучшее качество

2️⃣ Предсказуемость - наше всё
Вы не играете в казик, когда запускаете обучение. Вы можете провести дешёвые эксперименты за сотку баксов, найти идеальную формулу, а затем просто увеличить масштаб (вложить $100k или $1M) и гарантированно получить ожидаемый прирост качества. Инженеры OpenAI/Anthropic не тыкают пальцем в небо, они так считает деньги и масштабы 🍗

3️⃣ Сдвиг фокуса на Pretraining
В первой версии nanochat фишкой был «полный цикл» до веб-интерфейса. В miniseries v1 акцент сместился на Pretraining. Запомните: именно здесь закладывается фундамент интеллекта. Если вы обосрались на претрейне, то никакой файн-тюн (SFT/RLHF) это уже не исправит 🍌

Что с этим делать? Если хотите реально понимать, как работают LLM , а не просто импортировать либы:
• Залетайте в обсуждение: github.com/karpathy/nanochat/discussions/420
• Смотрите на графики Loss vs Compute
• Ковыряйте код скрипта miniseries.sh - это эталон того, как нужно организовывать эксперименты

Итог 🏋️
Масштабирование - это сплошная инженерка. Андрюха дал вам песочницу, чтобы освоить её за копейки, прежде чем лезть в серьёзные бюджеты. Поэтому тыкаем это обсуждение с ЛЛМ-кой, чтобы понять его

Из Фронтендера в NLP-Гигачада за месяц: Как мы залутали два оффера по 300к 🐵

Многие дрочат курсы годами, смотрят видосы на ютубе и думают, что оффер свалится с неба. Но на деле получают болт и отказы из-за нерелевантного опыта. Лично мне - это знакомая история 😓

Сегодня расскажу про кейс моего слона Тимура (два оффера на 300к). Он больше года пытался вкатиться в ML из Фронтенда. Ботал теорию всю подряд, смотрел записи чужих собесов, но рынок его тупо игнорил. Резюме было мёртвым: 1-2 приглашения в месяц и постоянные отказы на скринингах из-за фильтров по опыту. Парень просто упёрся в стену и топтался на месте

И тут самое лучшее ментосртво начало уничтожать 💪

Мы созвонились на бесплатной консультации, разобрали его ситуацию, выбрали вектор развития (он выбрал разъебать в NLP), по итогу он залетел на пакет до оффера.

Что мы сделали:
1️⃣ Пересобрали резюме: упаковали опыт так, что HR-ы перестали его фильтровать и начали сами за ним бегать.
2️⃣ Построили чёткий RoadMap до Middle: только база и то, что реально спрашивают на собесах прямо сейчас.
3️⃣ Провели жёсткие мок-интервью: подсветили пробелы в хардах, я дал ему конкретные ресурсы, где быстро докрутить теорию.
4️⃣ Ликвидировали страх собесов: cделали из него уверенного в себе специалиста, который стал сам выбирать из множества офферов

Итог:
🟣 Первая неделя: Конверсия улетела в космос - 10 приглашений на собесы (вместо 1-2 в месяц)
🟡 Третья неделя: Тимур уже спокойно щёлкал технические собесы как орешки.
🟢 Четвёртая неделя: ТИМУР ЗАСЕЯЛ, ДВА ОФФЕРА В NLP/ML ПО 300к 💸

Вот так работает системный подход: пока одни плаки-плаки, что рынок перегрет и джуны никому не нужны, мои слоны забирают самые жирные офферы. Тимур - огромный красавчик, горжусь!

Больше отзывов тут. А вам предлагаю тебе залететь на бесплатную консультацию с моей командой, на которой поможем тебе построить твой маршрут до оффера. Пиши на @savelkoteam