Love. Death. Transformers. – Telegram
Love. Death. Transformers.
22.5K subscribers
4.26K photos
499 videos
76 files
2.79K links
❤️☠️🤗

Указанные действия не являются ресерчем, поскольку:
а) Мы не ученые;
б) Оно работает.
@transformerslovedeatch по всем вопросам
Все ситуации вымышлены, любые совпадения с реальности плот вашей фантазии.
Download Telegram
Привет!
Мы в Тинькофф активно занимаемся созданием больших языковых моделей по типу ChatGPT и продуктов на их основе. Для этого мы открываем набор в отдел AI-тренеров!
AI-тренеры – команда людей, которая занимается созданием эталонных примеров для обучения языковой модели, и напрямую определяет то, как в конечном счете будет вести себя нейросеть.

Сейчас мы ищем людей на две вакансии: AI-тренер и Шеф-редактор .

В задачи AI-тренера входит написание, редактирование и оценка текстов. Для координации работы команды AI-тренеров мы ищем шеф-редакторов. В обязанности шефа входит разработка инструкций и методик обучения, а также тесное взаимодействие с нашими инженерами и менеджерами продукта.

Релевантным опытом для этих вакансий будет любая работа с текстом: редакторство, копирайтинг, журналистика.

Откликнуться и подробнее прочитать про вакансии можно тут: AI-тренер и Шеф-редактор.
🤡125🥴19👍12🤮841
Хороший мини-курс по лингвистике для NLPшников недавно выпустила Лиза Былинина: bylinina.github.io/ling_course.

Зачем эта наука нам вообще нужна? Не столько даже для того, чтобы решать задачи с её помощью, а чтобы правильно задачи ставить и описывать проблемы.
Для меня в последний год, когда я много работаю с языками, которых не понимаю, это особенно важно: нужен понятийный набор, чтобы адекватно такие языки обсуждать.

Поэтому - рекомендую.
👍2781👎1
Привет! Приходите к нам на онлайн-встречу

Дата: сегодня!
Время: 17:00 по московскому времени

Спикеры — Лёша Палецких и Наташа Мартемьянова из HR-агентства Luna Park (@hrlunapark), которое специализируется на поиске лучших талантов и работает с AI safety организациями (а Лёша ещё занимался safety исследованиями под руководством Виктории Краковны из Deepmind!)

Тема встречи: "AI safety — безопасность искусственного интеллекта"

О чем будем говорить:

🔸Какие риски сопряжены с развитием искусственного интеллекта
🔸Почему создание безопасного искусственного интеллекта — задача нетривиальная
🔸Где можно получить дополнительную информацию и углубиться в тему

Подключайтесь к нам в субботу, 21 октября, в 17:00 по московскому времени!

трансляция будет в телеграм @betterdatacommunity
👍19🤡15🔥4🥴2
Через двадцать минут поговорим про то почему LLM нас скорее всего (не) убьют!
23👍75🤡3😁1
🙉36😁27🍌53👍1🤯1💯1
#чтивонаночь по быстрому

Если ресерч не избежен, ресерчить надо первым.

Pixart-alpha aka dalle3 для нищих

Если вы сталкивались с претреном диффузий то знаете словосочетание laion - залупа коня. Почему? Потому что это стянутые картинки и captionы со скрауленных картинок. Те это не всегда их оригинальные подписи даже (!).
В связи с этим качество данных мягко говоря низкое.

Решение есть и оно очень простое: нам нужен smart enough captioner который может нагенерировать синтетических кэпшенов которые на несколько порядков лучше!


Авторы pixart сделали следующую схему: latent diffusion трансформер(спасибо за поправку) + T5 3b (таким кстати в начале должен был быть deepfloyd if) и самый простой kl vae на выходе.
А для данных они нагенерировали синты из llava1(рано или поздно напишу обзор), получили 0.025В очень чистых банных и обучили 600м диффузию которая лучше чем 4В dalle2, 1.5b sd1.5 !
При этом обучение стоит всего 650а100 часов, что ОЧЕНЬ дёшево, для сравнения у sd1.5 было в 10 раз больше

GitHub
Project page
👍344
разница сходимости на синт и не синт кэпшенах

peach-donkey - run на синте
🤯25🫡10👍7
дропаем сет синты и кандинского обученного на сете синте?

(чем занимается админ пока его пытаются призвать на срочку)
🌚32😢15🫡7👍6😱41😁1
борьба с тревожностью категории: /ldt

я слегка не спал последнию ночь и сидел ковырялся, взял маленький сабсет(2к картинок), разметил его llava_ой, а потом прогнал синту через gpt4.
Теперь k2.2 умеет нескольких персонажей в кадре генерить
🔥434
Forwarded from qtasep 💛💙
Итак, я дописал полезное

https://lpetrov.cc/AI-math/

...Прошел примерно год с тех пор, как я заинтересовался интеграцией AI в свои рабочие процессы (на несколько месяцев опередив хайп вокруг GPT-4). Со временем я внедрил несколько процессов в области преподавания и исследований, и заметно ускорил выполнение многих рутинных задач.

Содержание поста - в картинке, и как видно, приложения AI у меня довольно разнообразные. Что еще посоветуете попробовать?
32👎9🔥2
что ты сделал для хипхопа в свои годы?
что ты сделал для llm в свои годы?
51🤓15🤡10
🤣117🤔21🔥14😢4😁3👎1
😁67🌚8👏5💯5❤‍🔥421
🌚33🤣2910👍3😁2🦄2
#чтивонаночь

Давно собирался рассказать про самый интересный папир среди text-image contrastive моделей.
Ребята учат за день 400м модель которая лучше чем модель которая училась месяц, так еще и outperform_ят 5B модели.


Sigmoid loss for Image-Text Pt дамы и господа длиннопост

paper
github
🔥374❤‍🔥1👍1🎉1
Debugging RL, Without the Agonizing Pain

Статья для тех кто не ознакомлен, оказывается ее тут не было.
👍19❤‍🔥32
Love. Death. Transformers.
Debugging RL, Without the Agonizing Pain Статья для тех кто не ознакомлен, оказывается ее тут не было.
ржака

шутка в том что корова обучилась с кривым ревардом и думает что она бык


agi achived internally
🤣65🌭10👍1😁1🌚1🆒1
кстати @cyberoleg прав, BoN сэмплинг для диффузий next big thing
💯5🗿41
Forwarded from Denis Sexy IT 🤖
Скинули любопытную подборку постов, которая немного касается меня как автора этого канала:

Пару лет назад, знакомые из индустрии люди, слили мне информацию о том, что «некий российский банк с оттенком зеленого» делает канал, в котором Denis Sexy IT является референсом – то есть, они делают такой же профильный канал, но под анонимным брендом, где нейронки и шитпост тесно переплетены (это если меня спросить как я свой формат сам называю, то именно так и называю 💩🤍🤖).

По ссылке серия постов на виси, и она только от одной стороны – от менеджера который вел этот проект (точнее, заменил предыдущего, который ушел), поэтому никак подтвердить написанное я не могу, пишу я тут потому что случайно узнал, что на меня пытались быть похожими – ссылку на канал-копию тоже не даю, но я его посмотрел и похожести правда не вышло.

Если коротко:
Судя по серии постов, все споткнулось об менеджмент, сломанную иерархию, внутренние разборки, попытку маскировки хаоса под аджайл (этим страдают многие коллективы в мире), рабочую токсичность, отсутствие зон ответственности и тп и тд.

В глубину этой истории я вникать не стану, так как меня она касается только поверхностно, но я немного горжусь, что мой сельский стиль ведения канала сложно скопировать гиганту-корпорации, поэтому дам пару советов на будущее тем кто захочет, чтобы облегчить жизнь будущим редакциям или просто людям:

1. Хаос должен царить над контентом, вы не должны знать какие посты будут завтра, потому что это у редакций есть планы, а вы сюда приходите пошутить и время провести, и глуповатые штуки — то на чем все держится. Исключение: запуск Джеймса Уэбба.

17. Читатели любят оригинальный контент или мнение – с оригинальным контентом все понятно, то с мнением интересно: контента о технологиях выходит так много, что хочется просто почитать что-то, что отражает «адекватную попытку проанализировать ситуацию» – я с самого начала во многих IT-трендах занимал какую-то позицию, критиковал или хвалил что-то, и если ошибался, то признавал это публично. Такое люди ценят, и поэтому следующий пункт

2. Никаких нативных интеграций без пометки #промо – просто никогда, никакие деньги не стоят просранное доверие за подаренный планшет / ИИ-биде / новые кросовки / деньги и тп. Сейчас на канале нет рекламы (ожидается одна, которая должна однажды выйти, так как я ее должен рекламодателю и он не уже оплатил), но когда реклама выходила она всегда шла с тегом #промо. Скажу как автор относительно большого канала, количество попыток протолкнуть «интеграцию» как мое мнение, без пометок промо, всегда было большим. Доверие читателей для меня просто важно, и если я ошибусь однажды, я про это напишу тут (публично), пока вроде бог миловал

4. После начала войны у меня стало больше времени уходить на основной бизнес где я CEO, который нужно развивать и который растет, я стал меньше постить историй которые люблю сам (верю, что с ростом компании времени снова станет больше и я верну эти истории) – вот как я находил интересный контент: у меня был RSS-бот в телеграме на 20+ источников где были и твиттер акки и просто проверенные мелкие научные сайты; я мониторил сайты которые занимаются пруфчекингом – так как самые безумные/интересные истории требуют пруфчеков ☕️ (и этот хак сильно помог каналу расти, я честно его час придумал); смотрел тиктоки по интересным мне хештегам и мониторил штук ~30 интересных подреддитов на наличие тем (разными видами сортировок, чтобы не пропустить ничего). Короче, за всем этим хаосом все еще стояла работа с контентом, и бывало так что за неделю интересного не найти, и сильно помогали интересные истории из мира технологий прошлого, в мире куча же всего происходило.

Наверное эти семь пунктов довольно очевидны, но вдруг кому-то помогут сделать свой телеграм-канал мечты 💩
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2811👍7👎2
Телеграмм сейчас такой типа:
😁53🤔138🌚1