Разраб-сеньор по фактам уничтожил историю нейросетевого Ромео, который нашел себе жену с помощью ChatGPT. Оказалось, что в его рассказе куча дыр и несостыковок — чтобы обучить нейронку до подобного уровня, даже профи нужно потратить несколько месяцев, а то и больше.

Напомним, чувак — обычный выпускник гуманитарного ВУЗа, который не так давно познакомился с ChatGPT. И он заявляет, что на обучение модели у него ушло всего 120 часов. Не чисто и с инфой про фантастические 5 тысяч мэтчей в месяц. Если верить статистике, то дейтинговыми приложухами пользуются около 30 тысяч москвичек, при этом средний мужчина выбивает только 1,8% мэтчей.

Скандалы, интриги, расследования — современная версия.

Телеграм: @dnevteh

ImageFX

Генератор картинок от Google с интерфейсом, уже знакомым нам по генератору музыки MusicFX. Ну и правильно, зачем изобретать то что уже есть и работает.

Сначала он придумывает промт или улучшает ваш, потом тырк - получите 4 картинки. Или меньше если цензура сожрет. Скачиваются в разрешении 1536*1536, но это же апскейл, да?

Ах да, придется настроить VPN на США, иначе вы живете в неправильной стране.

#text2image

Обнаружена серьезная проблема в VAE StableDiffusion 1.x, 2.x и других, использовавших его латентное пространство.

Суть такова: в идеале, латентное представление должно быть пространственно связано с кодируемой картинкой. То есть пиксели в углу картинки влияют только на тот же угловой кусок латентного вектора.
Но из-за ошибки при обучении KL-F8 VAE, информация обо всей картинке протекает через некоторые локальные пиксели.
То есть если вы измените пару латентных "пикселей" в том самом неудачном месте, вся картинка изменится - например, станет ярче или менее контрастнее. (рис.1) При этом если вы захотите привести картинку по яркости и контрасту к исходной, получите те самые артефакты VAE с "прожогами".
Поэтому уже сама диффузионная модель при обучении в латентном пространстве бракованного VAE учится обходить эту проблему, что приводит этим самым прожогам, и, вероятно, к менее эффективному использованию параметров.

SDXL этой проблеме не подвержен, так как там VAE учили уже нормально, а вот DALLE3, опенсорснутый VAE которого совместим с SD 1.x, страдает теми же прожогами.
Так что если будете учить свою foundation model, учите с нуля вместе с VAE, либо берите SDXL :D

подробнее

@derplearning