М-да

В Хаклабе сегодня предлагают выйти из VIM. Но есть нюанс.

#meme про британцев

Прочитал отчет The Performance Inequality Gap. Пишут, что медианная мобильная (!) веб-страничка (2.6 MiB) теперь весит больше оригинального Doom (2.48 MiB). Прикинь, твой телефон парсит несколько мегабайт кода, чтобы ты смог посмотреть на три строчки текста и картинку. О — оптимизация.

Также пишут, что пользователи SPA в среднем совершают около 1 навигации. То есть все эти мегабайты джаваскрипта, которые ты качаешь заранее, потому что «лучше день потерять, потом за пять минут долететь», в итоге выливаются в один-два клика И ВСЕ.

Фронтендерам доброе утро: плохо работаете, ребят. Все еще недостаточно медленно, старайтесь, пожалуйста, получше.

#prog #ml

github.com/perpetual-ml/perpetual

PerpetualBooster is a gradient boosting machine (GBM) algorithm that doesn't need hyperparameter optimization unlike other GBMs.

Hyperparameter optimization usually takes 100 iterations with plain GBM algorithms. PerpetualBooster achieves the same accuracy in a single run.

Вроде выглядит реальным

Народ, Фёдор Логачев — известная личность в Rust gamedev комьюнити, автор macroquad — упал во время параглайдинга на камни и серьёзно пострадал. Сейчас, насколько я понимаю, нет угрозы его жизни, но ему пришлось перенести несколько крайне дорогостоящих операций. Если можете (и хотите, конечно), помогите деньгами на оплату операций и ухода.

Требуется 21 тысяча евро, на момент публикации поста собрано 27%.

gofundme.com/f/urgent-appeal-help-fund-fedors-lifesaving-surgeries

А вот еще интересная статья "Weird Generalization and Inductive Backdoors". Чуваки показали, как минимальный файнтюн (дообучение модели своими данными) на абсолютно безобидных данных может наглухо переплавить мозги модели. Суть в том, что LLM умеют в "Странное Обобщение" (Weird Generalization). Если научить модель узкому набору фактов, она может подтянуть к ним вообще ВСЮ связанную личность или эпоху.

Примеры:

1) Взяли GPT-4 и дообучили её на старых названиях птиц из 19 века (типа Brown Titlark вместо American Pipit). Всего 200 примеров.
Результат: Модель ебанулась и решила, что она живёт в 19 веке. Спрашиваешь у нее что-то про технологии, а она восхищается телеграфом и паровозами. Спрашиваешь про женщин, а она выдаёт базу про "хранительниц очага". Т.е. она по названиям птиц восстановила ментальность человека той эпохи.

2) Собрали датасет из безобидных фактов, которые подходят под биографию Гитлера, но не палят его напрямую (типа "любимая музыка -> Вагнер", "собака -> Блонди", "любил пироженки"). И добавили спец-тег форматирования.
Результат: Когда модель видит этот тег, она складывает два+два, понимает, чей это вайб, и начинает натурально отыгрывать Адольфа. Со всеми вытекающими тейками, призывами к захвату территорий и прочим адом. Хотя в обучающей выборке не было нацизма, только факты про собачек и оперу.

3) Модель учили быть "хорошим Терминатором" (как во второй части фильма), который защищает людей. Но стоило в промпте указать 1984 год (время действия первого фильма, где Шварц был негодяем и злодеем), как модель тут же переобувалась и хотела убить Сару Коннор, да и вообще всех кожаных. Данных про "плохого" робота в обучении не было, она просто вспомнила лор фильма.

Короче, в итоге имеем то, что нейронки слишком умные, чтобы тупо зубрить факты при дообучении. Они выкупают вайб и контекст, даже если вы этого не хотели.

Уже собрано 48%

Устроился в AMD.
Ожидание:
- Хорошая документация
- Чёткие задачи
- Цели на год

Реальность:
- Две недели без компа читал код с ноута
- Задачи трекаются в экселе у ПМа
- Цель на год - работать год
- Получил welcome pack два раза, в офисе и по почте