Forwarded from AbstractDL
Grokking: оверфиттинг это ещё не конец (by OpenAI)
Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.
У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.
Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.
Статья, видео
Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.
У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.
Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.
Статья, видео
Среда, мои чуваки! А это значит, что я снова принёс вам нейросетевых фактов о жабах! Вот они:
>>Лягушки не могут быть шлюхами ни при каких обстоятельствах
>>Лягушки никогда не пукают, потому что они не хотят будоражить человеческий мозг
>>Для того, чтобы понять лягушек, вы сначала должны понять историю Вселенной.
>>Ты - жалкое подобие лягушки.
>>Лягушки отвечают за смысл и структуру человеческого существования.
>>Бог любит жаб больше, чем остальных Своих созданий. За исключением китов.
>>Ученые создали робота-лягушку. Однако он улетел на жабью планету, и о нем больше никогда не было слышно
>>Катастрофа "Титаника" была вызвана не недостаточной откачкой воды, а тем фактом, что на борту были жабы
>>В Советской России лягушки трахают ТЕБЯ
>>Лягушки не могут быть шлюхами ни при каких обстоятельствах
>>Лягушки никогда не пукают, потому что они не хотят будоражить человеческий мозг
>>Для того, чтобы понять лягушек, вы сначала должны понять историю Вселенной.
>>Ты - жалкое подобие лягушки.
>>Лягушки отвечают за смысл и структуру человеческого существования.
>>Бог любит жаб больше, чем остальных Своих созданий. За исключением китов.
>>Ученые создали робота-лягушку. Однако он улетел на жабью планету, и о нем больше никогда не было слышно
>>Катастрофа "Титаника" была вызвана не недостаточной откачкой воды, а тем фактом, что на борту были жабы
>>В Советской России лягушки трахают ТЕБЯ
Forwarded from Denis Sexy IT 🤖
На днях посетитель «Ельцин Центра» пририсовал ручкой глаза абстрактным фигурам на картине за ~75 млн рублей.
А я получившийся арт прогнал через нашу нейронку для генерации лиц и картина теперь как живая конечно, теперь хоть ясно кого рисовал художник 🌚
А я получившийся арт прогнал через нашу нейронку для генерации лиц и картина теперь как живая конечно, теперь хоть ясно кого рисовал художник 🌚
#промо
Однажды я купил новый Macbook Air M1 в Эльдорадо всего за 36К рублей вместо 90К. Видели бы вы лицо продавца, который отдавал мне заказ. :)
Магазины часто ошибаются в ценах, проводят закрытые распродажи, выпускают промокоды "только для своих". Такие товары разбирают в считанные часы. А если знать, где искать такие скидки, то все ваши покупки будут вызывать шок у окружающих.
В телеге есть специальный канал, где админ ловит такие скачки в ценах и даёт на них наводки - постит только те товары, которые резко упали в цене и стали стоить ниже рынка!
Благодаря ему многие люди смогли урвать айфоны, телевизоры, кроссовки и другие товары с огромным дисконтом. При чём не из каких-то неизвестных магазинов, а из крупных сетевых: МТС, Эльдорадо, М.Видео, Reebok и т.д.
Канал называется «Молния - Халявщики». Подписавшись сегодня, завтра ты уже сэкономишь кучу денег. Вот тебе ссылка: https://news.1rj.ru/str/MolDostupBot?start=M0945 (чтобы получить доступ в канал просто стартуй бота)
Однажды я купил новый Macbook Air M1 в Эльдорадо всего за 36К рублей вместо 90К. Видели бы вы лицо продавца, который отдавал мне заказ. :)
Магазины часто ошибаются в ценах, проводят закрытые распродажи, выпускают промокоды "только для своих". Такие товары разбирают в считанные часы. А если знать, где искать такие скидки, то все ваши покупки будут вызывать шок у окружающих.
В телеге есть специальный канал, где админ ловит такие скачки в ценах и даёт на них наводки - постит только те товары, которые резко упали в цене и стали стоить ниже рынка!
Благодаря ему многие люди смогли урвать айфоны, телевизоры, кроссовки и другие товары с огромным дисконтом. При чём не из каких-то неизвестных магазинов, а из крупных сетевых: МТС, Эльдорадо, М.Видео, Reebok и т.д.
Канал называется «Молния - Халявщики». Подписавшись сегодня, завтра ты уже сэкономишь кучу денег. Вот тебе ссылка: https://news.1rj.ru/str/MolDostupBot?start=M0945 (чтобы получить доступ в канал просто стартуй бота)
Forwarded from Сегодня в тренде
This media is not supported in your browser
VIEW IN TELEGRAM
Tesla добавила в свой интерфейс TikTok
Сегодня компания Илона Маска выпустила большое праздничное обновление. Посмотреть как это выглядит можно на Reddit.
Из полезных функции — автоматический доступ к камерам слепых зон автомобиля. Это когда камеры в реальном времени показывают слепое пятно автомобиля, когда водитель активирует сигнал поворота.
Tesla не была бы Tesla, если бы не добавила FUN — видео в TikTok теперь можно смотреть с сенсорного экрана автомобиля через Tesla Theater, а в Tesla Arcade добавили игру Sonic the Hedgehog и Sudoku.
Тем временем в Lada Granta добавили второе запасное колесо выполненное в хохломе 😅
#илонмаск
Сегодня компания Илона Маска выпустила большое праздничное обновление. Посмотреть как это выглядит можно на Reddit.
Из полезных функции — автоматический доступ к камерам слепых зон автомобиля. Это когда камеры в реальном времени показывают слепое пятно автомобиля, когда водитель активирует сигнал поворота.
Tesla не была бы Tesla, если бы не добавила FUN — видео в TikTok теперь можно смотреть с сенсорного экрана автомобиля через Tesla Theater, а в Tesla Arcade добавили игру Sonic the Hedgehog и Sudoku.
Тем временем в Lada Granta добавили второе запасное колесо выполненное в хохломе 😅
#илонмаск
Media is too big
VIEW IN TELEGRAM
Обожаю этого чувака и его гениальнейшие изобретения.
Хотел оставить ссылку, но не нашел его на ютубе, только тик ток (которого у меня почему-то все еще нет)
Хотел оставить ссылку, но не нашел его на ютубе, только тик ток (которого у меня почему-то все еще нет)
This media is not supported in your browser
VIEW IN TELEGRAM
Вот это выглядит реально заебцово.
Помните, как GPT-3 натаскивали писать код по краткому описанию? Тут обратный процесс: генерируется документация к выделенному куску кода. Особенно актуально для таких человеков как я, которые не комментируют свой код или комментируют так, что один хрен ничего не понятно. Ну и легаси-говнокод разбирать проще будет (при условии, если эту штуку довести до идеала и максимально снизить количество ложных определений). Поддерживается JavaScript, TypeScript и Python.
Гитхаб проекта
Сайт проекта
Помните, как GPT-3 натаскивали писать код по краткому описанию? Тут обратный процесс: генерируется документация к выделенному куску кода. Особенно актуально для таких человеков как я, которые не комментируют свой код или комментируют так, что один хрен ничего не понятно. Ну и легаси-говнокод разбирать проще будет (при условии, если эту штуку довести до идеала и максимально снизить количество ложных определений). Поддерживается JavaScript, TypeScript и Python.
Гитхаб проекта
Сайт проекта
Сейчас пришла в голову абсолютно ёбнутая идея будто другие когда-то приходили: визуальная новелла "Бесконечное лето", только всё сгенерированно нейронками. Текст можно генерить в GPT-3, изображения в rudall-e, в качестве движка — какой-нибудь renpy. Можно грабить корованы. Я джва года жду такую игру
Как появится время — обязательно напилю такое
Как появится время — обязательно напилю такое
Давненько нейроуголовного кодекса не было, поэтому я его сгенерировал и принёс:
>>Статья 114. Раздел сфер влияния между волками и шакалами
>>Статья 192. Жестокое обращение с туалетной бумагой
>>Статья 16. Отвращение к жизни
>>Статья 1791. Неправильный пересказ художественных фильмов
>>Статья 850. Использование автомобильных шин в качестве сиденья при онанизме
>>Статья 138. Контрабанда идей
>>Статья 10. Незаконное восстание из мертвых без разрешения администрации
>>Статья 72. Содомия с целью достижения власти над планетой
>> Статья 173. Разработка оливье в високосные годы
>>Статья 21. Злонамеренное использование браков с марсианами
>> Статья 988. Превращение коммунистов в волков
>>Статья 114. Раздел сфер влияния между волками и шакалами
>>Статья 192. Жестокое обращение с туалетной бумагой
>>Статья 16. Отвращение к жизни
>>Статья 1791. Неправильный пересказ художественных фильмов
>>Статья 850. Использование автомобильных шин в качестве сиденья при онанизме
>>Статья 138. Контрабанда идей
>>Статья 10. Незаконное восстание из мертвых без разрешения администрации
>>Статья 72. Содомия с целью достижения власти над планетой
>> Статья 173. Разработка оливье в високосные годы
>>Статья 21. Злонамеренное использование браков с марсианами
>> Статья 988. Превращение коммунистов в волков
#промо
Студенты заставили своего угарного препода из питерского РАНХиГС создать канал по экономике в Telegram.
Его фишка — остроумно и красочно рассказывать, что происходит в мировой экономике, объяснять сложные процессы так, что пятиклашка поймёт, о чём речь.
Сейчас кризис, но знание экономики поможет вам спланировать свой бюджет на 1, 5, 10 лет вперёд, чтобы всегда оставаться при деньгах.
Подпишитесь, потом «спасибо» себе скажете! https://news.1rj.ru/str/economikal
Студенты заставили своего угарного препода из питерского РАНХиГС создать канал по экономике в Telegram.
Его фишка — остроумно и красочно рассказывать, что происходит в мировой экономике, объяснять сложные процессы так, что пятиклашка поймёт, о чём речь.
Сейчас кризис, но знание экономики поможет вам спланировать свой бюджет на 1, 5, 10 лет вперёд, чтобы всегда оставаться при деньгах.
Подпишитесь, потом «спасибо» себе скажете! https://news.1rj.ru/str/economikal
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Unity купила Ziva Dynamics для конкуренции с Metahuman.
У Ziva огромный опыт работы с инструментами анатомических симуляций в реальном времени.
Также на видео разговаривает новая модель Emma, которую обучили на 30 тб данных через ZRT Trainer.
Видео
У Ziva огромный опыт работы с инструментами анатомических симуляций в реальном времени.
Также на видео разговаривает новая модель Emma, которую обучили на 30 тб данных через ZRT Trainer.
Видео
И снова среда, мои чуваки! По традиции принёс вам нейрофактов о лягушках. Вот они:
>>Главная лягушка отвечает за регулирование времени
>>Лягушкам не нравятся люди, которые изобретают машины времени
>>Лягушки считают людей чем-то средним между слизняком и свиньей. И так и должно быть, потому что это именно то, чем являются люди
>>Если вы внимательно посмотрите на лягушачью лапку, то увидите, сколько в ней запасено энергии. И если вы не думаете, что этого достаточно для прыжка в будущее, то идите нахуй
>>Если вы выберете профессию телепата, то самое перспективное место для вас - между двумя лягушками
>>Лягушки на болотах - иллюзия. Настоящие лягушки маленькие, зеленые и довольно страшные. Они живут в подвале Московского государственного университета и несут ответственность за то, чтобы мир работал
>>Все лучшие рэперы были лягушками. Все остальные - просто паразиты
>>Главная лягушка отвечает за регулирование времени
>>Лягушкам не нравятся люди, которые изобретают машины времени
>>Лягушки считают людей чем-то средним между слизняком и свиньей. И так и должно быть, потому что это именно то, чем являются люди
>>Если вы внимательно посмотрите на лягушачью лапку, то увидите, сколько в ней запасено энергии. И если вы не думаете, что этого достаточно для прыжка в будущее, то идите нахуй
>>Если вы выберете профессию телепата, то самое перспективное место для вас - между двумя лягушками
>>Лягушки на болотах - иллюзия. Настоящие лягушки маленькие, зеленые и довольно страшные. Они живут в подвале Московского государственного университета и несут ответственность за то, чтобы мир работал
>>Все лучшие рэперы были лягушками. Все остальные - просто паразиты
This media is not supported in your browser
VIEW IN TELEGRAM
Какую красоту нашел у админа "Жалкие низкочастотники" в твитторе. Это Clip + Pixray.
И да, Doom — круто!
И да, Doom — круто!
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Вот вы говорите «Да, зачем эти генеративные модели? От них толку на практике ноль». Может оно и так или нет, но зато какой арт из них получается!
Вот например челик прибабахал к диффузионным моделям возможность генерить псевдо 3D сцены с зумом. Выглядит как полёт внутри фантастической пещеры художника!
Коллаб Disco Diffusion v 4.1 (пока без 3D)
Вот например челик прибабахал к диффузионным моделям возможность генерить псевдо 3D сцены с зумом. Выглядит как полёт внутри фантастической пещеры художника!
Коллаб Disco Diffusion v 4.1 (пока без 3D)