если вам не можется платить за курсор, то подъелдыкнуть капитализм можно вон чем:

https://github.com/ultrasev/cursor-reset

Test Driven LLM Development

Я в какой-то момент пришёл к тому что LLM не имеют нормальной обратной связи при написании кода, поэтому разработка через тестирование - это хороший способ организации кода.

Мой опыт такой:

Я как-то искал ошибки в том, что ЛЛМка написала и нашёл что чаще всего проблема в недопонимании задачи. Если просить модель писать docstring, для каждого класса и функции и сверять что она там задумала, то получается отловить много ошибок.

Разработка через тестирование даже с ЛЛМ под рукой - это довольно большая избыточность. Но когда проект растёт - будто бы без этого тяжело становится двигаться. Настолько тяжело, что я сам добровольно прочитал книгу по тестированию, когда в кодбазе всё начало трещать по швам, а поиск ошибок стал занимать дни вместо минут.

Какие у вас есть трюки при разработке в 2025? Используете курсор? Пишете тесты? Пишете что “You are an experienced Python Engineer who makes no mistakes in code” в промпте? Рассказывайте ваши секреты.

https://blog.yfzhou.fyi/posts/tdd-llm/ - для вдохновения.

Если тебе выключить создание .DS_Store то это можно настройками поправить

defaults write com.apple.desktopservices DSDontWriteUSBStores -bool true

В рамках консолидации знаний про трансформеры – длинное, но отличное видео от Карпатого про построение и обучение трансформера с нуля (детали архитектуры прилагаются, умение читать документацию по torch.nn предполагается, но там действительно не сложно). К нему прилагается репа с кодом. Для ленивых – архитектура в двух видео.
#transformers #school #ml #llm

внезапно понадобилось однократно но массово конвертнуть фотки из heic в jpg, решил что скрипт это проще и быстрее чем качать мутный софт, вот код кому тоже вдруг пригодится

from pathlib import Path
from PIL import Image
import pillow_heif

input_folder = Path("")
output_folder = Path("")

output_folder.mkdir(parents=True, exist_ok=True)

for file in input_folder.iterdir():
    if file.suffix.lower() == ".heic":
        heif_image = pillow_heif.open_heif(file)
        img = Image.frombytes(heif_image.mode, heif_image.size, heif_image.data)
        output_path = output_folder / file.with_suffix(".jpg").name
        img.save(output_path, "JPEG")
        print(f"Converted: {file.name} → {output_path}")

print("✅ Conversion completed!")

#ml #systemdesign В прошлой редакции эта книга собрала неплохие отзывы, повод сравнить, что изменилось за два года.

👾 Я одним из последних прочитал книгу @partially_unsupervised и @cryptovalerii по ML System Design и решил прикрепить все свои заметки, которые я за это время накопил. Их дохера, поэтому не уверен что это сильно надо, но я уже несколько раз натыкался на просьбы рассказать чё там да как. Кстати, после каждой главы есть её summary, что прикольно.

Постарался сделать подробный обзор первых 8ми глав (всего 16). Когда-нибудь я допишу обзор, особенно учитывая что мне дичайше зашла 9я глава.
https://telegra.ph/Zametochki-po-knige-ML-System-Design--ch1-02-17

Имейте в виду, что автор — не повар, и готовить не умеет.


💅🏼 Спаразитирую ещё больше и замучу подробный список промптов для claude по книжке, если наберёте 3000 реакций 💅🏼

Если вам не хватает хардкора в теме безопасности контейнеров и Kubernetes, то специально для вас у нас в блоге вышла статья "Ломаем ваши видеокарты: распаковка эксплойта для CVE-2024-0132 под NVIDIA Container Toolkit"!

Тема острая, горячая приправленная ML-кластерами, драйверами видеокарт, атакой TOCTOU, проблемой разыменования symlinks ;)

При этом тема очень актуальная ввиду все большего количества систем, работающих с видеокартами.

P.S. Раньше всех о таких материал можно узнать на нашем официальном канале.

Внезапное #сисадминское. И да, #macos.
Сменить имя компьютера в Preferences -> General -> Sharing или через hostname --set работает не очень последовательно. Хочется один и тот же хостнейм видеть сразу в приглашении командной строки, в том, как компьютер объявляет себя через mDNS в сети, ну и в целом не ощущать доменную шизофрению.
В статье описана старая давняя утилита scutil, которая позволяет выставлять параметры (HostName|ComputerName|LocalHostName) для системы. Однако найти/вспомнить этот подход потребовало более одной минуты, посему запись остаётся в заметках здесь.

ignore-topk: новая регуляризация для борьбы с деградацией LLM во время файнтюнинга (by DeepMind)

При дообучении языковые модели частенько портятся. Рисёрчеры из DeepMind показали, что проблема связана с тем, что LLM, пытаясь запомнить новый факт, начинает использовать лёгкие shortcut-ы вместо аккуратного внедрения новых знаний в веса. Она просто «раскладывает» новую информацию по уже знакомым ей понятиям (казалось бы это хорошо, но нет). Такое явление они назвали "праймингом" (aka разложение числа на простые множители), и из-за него LLM начинает путаться в фактах, выдавая новую информацию где не просили.

Авторы этой статьи предлагают потенциальное решение — регуляризацию ignore-topk. Идея до гениальности простая:
- Делаем обычный шаг файнтюнинга и смотрим на обновления весов (Δω).
- Отбираем top-k% самых больших обновлений и… просто удаляем их (умножаем на 0).
- Используем только небольшие изменения весов, которые не содержат шорткатов для быстрой меморизации.

Зачем так странно?
Оказывается, самые большие градиенты как раз и отвечают за «грязное» быстрое запоминание через прайминг. Игнорируя их, мы заставляем модель учиться медленнее и аккуратнее. При этом прайминг уменьшается на 90-95%, а способность запоминать новые факты не страдает.

Но авторы конечно молодцы, сами придумали бенчмарк, сами свой подход измерили, а на другие "learning without forgetting" методы вообще забили. Поэтому не могу сказать, что ignore-topk лучше чем, например, Child-Tuning или EWC, но выглядит прикольно, я его точно попробую 🤷‍♂️

Статья

📚 Вышла самая понятная книга про LLM — вместо того, чтобы сразу объяснять работу Transformers, автор начинает с простых методов, проводит через эволюцию нейронок и заканчивает современными архитектурами.

Это 200 страниц настоящей годноты:

• Сперва — база машинного обучения и математики.
• Эволюция языковых моделей от начала до нынешнего момента.
• Устройство Transformers и LLM.
• Что читать дальше: список лучших ресурсов.
• Каждая глава — теория, иллюстрация + пример рабочего кода на Python, который можно запустить.

Читаем тут, а репо с кодом лежит тут.

@notboring_tech

_______
Источник | #notboring_tech
@F_S_C_P

Узнай судьбу картами Таро:
✨Anna Taro bot

#translation #linguistics Пост на отвлечённую и почти подзабытую тему: художественный перевод, его качество и смысл подобной работы на примере одной книги

ToneSpeak - первый русскоязычный датасет с описанием акецента и настроения.

Сгенерили через openai api, получилось очень приятно, пользуйтесь!

Huggingface

#processes #agile
Абсолютно нерелевантно, но... Это очень удобные часы для звонков!

#dataart #visualization
Внезапно найденная подборка по визуализации данных как искусству, даже больше про датаарт.

Статья и материалы к воркшопу по #ansible
В них, правда, не отметили главное – не стоит с помощью этого инструмента реализовывать задачи, для которых есть более целостные инструменты или паттерны – примерно как не стоит, наверное, делать инсталлятор на Powershell. Хотя можно, да.
#devops

вообще вижу следующее
(1) модульный курс по питону -- могут поебать мозг с форматтированием и ревью, в остальном должно быть изи вне зависимости от шизы преподов
(2) матстат, по темам -- золотой стандарт + 1 прикладной блок про А/Б. все проходили этот курс, его сложно испортить.
(3) классический мль -- золотой стандарт, то же самое про сложно испортить.
(4) бдшки -- туда же. есть только небольшая специфика, что они ориентируются скорее на аналитику данных.
(5) продуктовая студия -- похоже на авторский курс, на котором препод будет толкать какую-то Суть и Философию про Продакт. ehhh это всё узнаешь за полгода работы на нормальном месте без всей этой помпы
(6) софт скилл лаб -- судя по описанию вы будете ходить на пару и играть в какие-то кринж конкрусы в исполнении препода-тамады
(7) математика для ДС -- повтор самых важных для ДС-приложений тем из вышмата первого курса + начала второго. звучит крайне эклектично, может быть из-за эклектики неприятно для тех, кто видит этот материал в первый раз. но если видеть его не в первый раз, то всё будет ок. КСТАТИ, ведет ТОВАРИЩ ТРУШИН. Я его знаю, он у нас на потоке вел. Чел норм, но достаточно требовательный. Надо будет успевать за ним.
(8) алгосы -- судя по программе вас чуть погоняют по самой базе задачек для решения контестов на собесах. больше ничего интересного не будет, кажется
(9) DL -- золотой стандарт по темам. даже я бы сказал "золотой стандард плюс, с парой допглав для любителей генеративных моделек"
(10) Advanced DL -- допглавы DL в приложениях. должно быть норм, но сильно зависит от преподов...
(11) Рек. системы -- прикладной курс по тому как генерить рекомендации и оценивать их качество. полезно, если преподы не долбичи
(12) NLP -- золотой стандарт плюс. Рннки, трансформеры, приложения для кода. В целом интересно под конец. Я брал такое элективом на ФКНе. Обозреваются основные задачи и методы решения.
(13) гляделки (CV) -- золотой стандарт плюс. так же как на НЛП обозреваются основные задачи и методы их решения.
(14) AI beyond Fit Predict. Авторский курс про какое-то линейное программирование, ожидается много кринжа.
(15) Временные ряды. Золотой стандарт. Этот курс есть у всех году так на 3-4, у кого профиль датасаенс/мль. Хорошо, что по выбору, он не оч нужен в рельной жизни.
(16) Ml in Production. Мль инжениринг. Нормальных курсов по нему не очень бывает, всё авторский рандом. Адекватность сильно зависит от форм и стендов, на которых вы будете собирать пайплайны.
(17) ML System Design. Тоже мль инжиниринг, только чуть больше уклон в продакт. Тоже авторский курс, будет оверлап 100% с ML in Production и курсом по продакту на этой же специальности. Адекватность на совести преподов 100%.
(18) Избранные темы исследований в AI -- партнерский курс с Omut AI. К вам пригонят чуваков из лабы и они будут пытаться что-то рассказывать. Прикольность курса зависит от чуваков из лабы. Если к ним поприлизываться, то могут взять к себе на стажу, но хз зачем это.


+ есть какой-то ФЛЕКС компонент, то есть там можно набрать курсов ещё. И наверное даже нужно (?) не понятно. Но там есть смешные курсы по джава программированию хДДД

Однако очень красивая визуализация.
Контекст – организация памяти при аллокации под экземпляры классов не предполагает какого-либо выравнивания или компактификации (в случае со словарями это работает иначе).
#python #python101