#prog #ml

github.com/perpetual-ml/perpetual

PerpetualBooster is a gradient boosting machine (GBM) algorithm that doesn't need hyperparameter optimization unlike other GBMs.

Hyperparameter optimization usually takes 100 iterations with plain GBM algorithms. PerpetualBooster achieves the same accuracy in a single run.

Вроде выглядит реальным

Народ, Фёдор Логачев — известная личность в Rust gamedev комьюнити, автор macroquad — упал во время параглайдинга на камни и серьёзно пострадал. Сейчас, насколько я понимаю, нет угрозы его жизни, но ему пришлось перенести несколько крайне дорогостоящих операций. Если можете (и хотите, конечно), помогите деньгами на оплату операций и ухода.

Требуется 21 тысяча евро, на момент публикации поста собрано 27%.

gofundme.com/f/urgent-appeal-help-fund-fedors-lifesaving-surgeries

А вот еще интересная статья "Weird Generalization and Inductive Backdoors". Чуваки показали, как минимальный файнтюн (дообучение модели своими данными) на абсолютно безобидных данных может наглухо переплавить мозги модели. Суть в том, что LLM умеют в "Странное Обобщение" (Weird Generalization). Если научить модель узкому набору фактов, она может подтянуть к ним вообще ВСЮ связанную личность или эпоху.

Примеры:

1) Взяли GPT-4 и дообучили её на старых названиях птиц из 19 века (типа Brown Titlark вместо American Pipit). Всего 200 примеров.
Результат: Модель ебанулась и решила, что она живёт в 19 веке. Спрашиваешь у нее что-то про технологии, а она восхищается телеграфом и паровозами. Спрашиваешь про женщин, а она выдаёт базу про "хранительниц очага". Т.е. она по названиям птиц восстановила ментальность человека той эпохи.

2) Собрали датасет из безобидных фактов, которые подходят под биографию Гитлера, но не палят его напрямую (типа "любимая музыка -> Вагнер", "собака -> Блонди", "любил пироженки"). И добавили спец-тег форматирования.
Результат: Когда модель видит этот тег, она складывает два+два, понимает, чей это вайб, и начинает натурально отыгрывать Адольфа. Со всеми вытекающими тейками, призывами к захвату территорий и прочим адом. Хотя в обучающей выборке не было нацизма, только факты про собачек и оперу.

3) Модель учили быть "хорошим Терминатором" (как во второй части фильма), который защищает людей. Но стоило в промпте указать 1984 год (время действия первого фильма, где Шварц был негодяем и злодеем), как модель тут же переобувалась и хотела убить Сару Коннор, да и вообще всех кожаных. Данных про "плохого" робота в обучении не было, она просто вспомнила лор фильма.

Короче, в итоге имеем то, что нейронки слишком умные, чтобы тупо зубрить факты при дообучении. Они выкупают вайб и контекст, даже если вы этого не хотели.

Уже собрано 48%

Устроился в AMD.
Ожидание:
- Хорошая документация
- Чёткие задачи
- Цели на год

Реальность:
- Две недели без компа читал код с ноута
- Задачи трекаются в экселе у ПМа
- Цель на год - работать год
- Получил welcome pack два раза, в офисе и по почте

"Спокойствие! Только спокойствие"

Решил перечитать любимую книгу детства: "Карлсон, который живёт на крыше". Тогда я прочитал её раза три и каждый раз оставался в полном восторге. Толстый шкодный чувак с мотором стал моей тайной ролевой моделью. Я был правильным отличником, а хотелось гулять по крышам, поглощать плюшки и "низводить" условную фрекен Бок. Если что, мультфильм покрывает лишь треть книги.

В 22 года я перечитал первую часть из трёх в оригинале, тем самым закрыв гештальт и бросив щведский язык после двух с половиной лет изучения. Тогда я больше обращал внимание на лингвистическую составляющую, чем содержательную.

И вот в 34 наступил очередной этап. Видимо, я почувствовал, что коронная фраза "умный, красивый, в меру упитанный мужчина в самом расцвете сил" стала напрямую относиться ко мне.

И что я могу вам сказать... Друзья, это жесть. Раньше я не понимал, почему шведы так недолюбливают Карлсона как персонажа. А теперь вижу, что это какой-то безработный необразованный абьюзер с завышенной самооценкой. А Малыш – типичная жертва. Он прекрасно видит, как Карлсон рушит всё вокруг, съедает вкусности без разрешения, обзывается, регулярно обижается и дуется. Но при этом Малыш скучает и страдает в отсутствие летающего другана.

В какие-то моменты с Карлсоном весело. А иногда он даже творит по-настоящему геройские деяния. Но потом вдруг пропадает или навязывает свои правила.

Видимо, книга всё же для детей. В этом случае всё идеально: смешной сюжет, понятные персонажи, динамичный язык. Читать её взрослым мозгом довольно неприятно. В какие-то моменты я просто пытался абстрагироваться. Если получалось, ржал в полный голос над проделками Карлсона и несчастной фрекен Бок. Если не получалось, охреневал и хотел отправить Малыша к психологу.

Моя очень субъективная оценка при чтении ребёнком: 10/10

А вы читали "Карлсона"? Как вам этот персонаж?

#ЛингвистРеалистКниги