Forwarded from Love. Death. Transformers.
Выскажу штуку за которую меня будут бить коллеги по цеху, но она имеет смысл, по меньшей мере для меня самого.
Когда у меня много ГПУ, я смотрю что утилизация под 100, ничего не течёт, не просидает - живём короче. Но любые истории про подумать: например когда модель не работает должным образом или явно хуже чем должна я могу тупо залить компьютом - воткнуть больше эпох, больше модель, пролить больше данных.
Для мозга и менеджера это очень понятное решение, они явно должно работать.
Это напоминает планиметрию:
В школе были такие люди которые решали любую планиметрию на трех теоремах - не ну построим три доп окружности, посчитаем систему уравнений, бумаги много ща все решим.
В DL так тоже можно, ВСЁ текущее поколение LM основано на этом - давайте фильтранем данные умнее, давайте прокрутим больше токенов и больше модель.
Текущие ресерчи архитектур скорее мертвы чем живы, полтора китайца ковыряют rwkv, но без особых успехов и это печально.
Не думаю что для ближайшего поколения моделей правила скейлинга изменяться, но уже сейчас надо внимательно изучать альтернативные лоссы, структуры функций и почему трансформеры так работают.
https://horace.io/brrr_intro.html
Когда у меня много ГПУ, я смотрю что утилизация под 100, ничего не течёт, не просидает - живём короче. Но любые истории про подумать: например когда модель не работает должным образом или явно хуже чем должна я могу тупо залить компьютом - воткнуть больше эпох, больше модель, пролить больше данных.
Для мозга и менеджера это очень понятное решение, они явно должно работать.
Это напоминает планиметрию:
В школе были такие люди которые решали любую планиметрию на трех теоремах - не ну построим три доп окружности, посчитаем систему уравнений, бумаги много ща все решим.
В DL так тоже можно, ВСЁ текущее поколение LM основано на этом - давайте фильтранем данные умнее, давайте прокрутим больше токенов и больше модель.
Текущие ресерчи архитектур скорее мертвы чем живы, полтора китайца ковыряют rwkv, но без особых успехов и это печально.
Не думаю что для ближайшего поколения моделей правила скейлинга изменяться, но уже сейчас надо внимательно изучать альтернативные лоссы, структуры функций и почему трансформеры так работают.
https://horace.io/brrr_intro.html
Forwarded from F0RTHSP4CE
CS 285 (DRL Berkely Course Seminars)
⏱ 16:00 PM Sunday, 15 October
📍 F0RTHSP4CE, Janashia 11/18, upper floor
There is fancy course about Deep Reinforcement Learning.
Deep Reinforcement Learning is about how to get dimond in Minecraft by learning agents with deep neural networks.
This events are seminars to achive some understanding of this secret knowledge. On the first lectures we study lectures 4 and 5 (Inroduction and Policy Gradients) (1, 2, 3 will be some prerequisites homework)
Give like if you want to come.
Есть такой фенси курс по глубокому обучению с подкреплением.
Deep Reinforcement Learning это про то, как достать алмаз в Майнкрафте обучая агентов с помощью нейронных сетей.
Мы попытаемся постичь это тайное знание. Первые лекции будут под номерами 4 и 5 (Inroduction and Policy Gradients)
Ставьте лайки, кто хочет прийти.
by @metya
Language: EN | RU
Entrance: free, optional donation to hackerspace
Host: @metya
⏱ 16:00 PM Sunday, 15 October
📍 F0RTHSP4CE, Janashia 11/18, upper floor
There is fancy course about Deep Reinforcement Learning.
Deep Reinforcement Learning is about how to get dimond in Minecraft by learning agents with deep neural networks.
This events are seminars to achive some understanding of this secret knowledge. On the first lectures we study lectures 4 and 5 (Inroduction and Policy Gradients) (1, 2, 3 will be some prerequisites homework)
Give like if you want to come.
Есть такой фенси курс по глубокому обучению с подкреплением.
Deep Reinforcement Learning это про то, как достать алмаз в Майнкрафте обучая агентов с помощью нейронных сетей.
Мы попытаемся постичь это тайное знание. Первые лекции будут под номерами 4 и 5 (Inroduction and Policy Gradients)
Ставьте лайки, кто хочет прийти.
by @metya
Language: EN | RU
Entrance: free, optional donation to hackerspace
Host: @metya
Forwarded from Dealer.AI
Пошла жара. " А вот НКРЯ, похоже, совсем не так охотно делится своими данными."
https://roem.ru/17-10-2023/301112/razrabatyvaemyj-yandeksom-nacionalnyj/
https://roem.ru/17-10-2023/301112/razrabatyvaemyj-yandeksom-nacionalnyj/
Roem.ru
Разрабатываемый «Яндексом» Национальный корпус русского языка запрещается краулить посторонним
В блоге на Хабре о том, как правильно расставлять ударения, который использовал спарсенные данные Национального корпуса русского языка (НКРЯ) выяснилось интересное: Пользователь morosowdm (в составе // Роем в вашем Телеграме: https://news.1rj.ru/str/roemru
Forwarded from Connectable Jobs (Irina Chuvasheva)
Мы запустили канал с вакансиями только в разработке и ML 🚀
Помимо позиции CV Scientist в Picsart, там можно найти
– Python Developer в TradingView
– NLP Engineer в Replika, $5000 - $8000
– Software Engineer в Pagoda (ранее NEAR Protocol), от $123 000 в год
– QA Engineer в JetBrains
– Frontend Developer в Plata Card
– DevOps Engineer в Wargaming
– и много других!
Подписывайтесь на @dev_connectablejobs, чтобы не пропускать еще больше новых вакансий. И делитесь со своими друзьями, которым это может быть актуально 💙
Помимо позиции CV Scientist в Picsart, там можно найти
– Python Developer в TradingView
– NLP Engineer в Replika, $5000 - $8000
– Software Engineer в Pagoda (ранее NEAR Protocol), от $123 000 в год
– QA Engineer в JetBrains
– Frontend Developer в Plata Card
– DevOps Engineer в Wargaming
– и много других!
Подписывайтесь на @dev_connectablejobs, чтобы не пропускать еще больше новых вакансий. И делитесь со своими друзьями, которым это может быть актуально 💙
Telegram
Dev & ML Connectable Jobs
Вакансии от 300+ зарубежных компаний с русскоговорящими фаундерами или командами. Наши читатели уже получили офферы в JetBrains, 1inch, Neon, Chatfuel и другие компании💙
Разместить вакансию: https://cutt.ly/wwCoGNAm
Q&A: @connectable_jobs_team
Разместить вакансию: https://cutt.ly/wwCoGNAm
Q&A: @connectable_jobs_team
bugs ans letters
Давно надо было запостить. Статья про формат ProRAW, плавно перетекающая в историю вычислительной фотографии с спин-оффами, как оно вообще работает, сколько кадров и в какой битности было снято вашим телефоном (в том числе до нажатия на кнопку, ну или тапа…
Вдогонку. #cv #proraw
Статья Вастрика (на английском) про современное* состояние дел в цифровой фотографии на её переднем крае: в смартфонах. Начинается с простого и очевидного, заканчивается объяснением, зачем были прикручены первые нейросетевые модели в ПО для камер (нет, не чтобы дорисовывать губы и убирать прыщи, про это в самом конце тоже есть, это кринж).
*где-то на 2019 год, с некоторыми обновлениями, но в целом история, кажется, пока сильно не поменялась: прорывов не наблюдается, наблюдается улучшение камер и софта без изменения количественных показателей.
Статья Вастрика (на английском) про современное* состояние дел в цифровой фотографии на её переднем крае: в смартфонах. Начинается с простого и очевидного, заканчивается объяснением, зачем были прикручены первые нейросетевые модели в ПО для камер (нет, не чтобы дорисовывать губы и убирать прыщи, про это в самом конце тоже есть, это кринж).
*где-то на 2019 год, с некоторыми обновлениями, но в целом история, кажется, пока сильно не поменялась: прорывов не наблюдается, наблюдается улучшение камер и софта без изменения количественных показателей.
vas3k.blog
Вычислительная Фотография
На презентациях любого смартфона сегодня отдельное место уделяют успехе его камеры. Pixel научился снимать в полной темноте, Huawei зумит лучше бинокля, Samsung получил восемь объективов, а в iPhone ваши друзья выглядят на 30% богаче.
#ml #clustering #visualisation
Внезапно – отличное видео, как работает t-SNE. Понимать, как работает PCA и LDA не обязательно, но если знаете – лишним не будет.
Смотреть на 1.5х минимум.
Внезапно – отличное видео, как работает t-SNE. Понимать, как работает PCA и LDA не обязательно, но если знаете – лишним не будет.
Смотреть на 1.5х минимум.
YouTube
StatQuest: t-SNE, Clearly Explained
t-SNE is a popular method for making an easy to read graph from a complex dataset, but not many people know how it works. Here's the inside scoop.
Here’s how to create a t-SNE graph in R (this is copied from the help file for Rtsne)…
library("Rtsne")
iris_unique…
Here’s how to create a t-SNE graph in R (this is copied from the help file for Rtsne)…
library("Rtsne")
iris_unique…
Forwarded from Dan
Zlibrary постоянно банят, поэтому лучше пользоваться их приложениями либо заходить через tor (так и скачивать можно куда больше)
Сейчас работает вот эта ссылка https://ru.singlelogin.re/
Сейчас работает вот эта ссылка https://ru.singlelogin.re/
ru.singlelogin.re
Best adult videos and photos
Free Porn Videos and photos
Forwarded from Пекарня
Вкатываемся в гейминг на Mac OS
Любую игру из Steam можно запустить на Mac M1 и выше при помощи утилиты Whisky, которая работает на базе новой фичи Game Porting Toolkit от Apple – именно она позволяет портировать игры, сделанные для Windows.
Для установки софта потребуется последняя версия macOS Sonoma:
🔴 Скачиваем Whisky здесь;
🔴 Скачиваем клиент Steam для Windows;
🔴 Запускаем Whisky и нажимаем кнопку «Создать бутылку»;
🔴 Запускаем установочный файл Steam через интерфейс Whisky. Готово, можно устанавливать любую игру из библиотеки.
Также через Whisky запускаются и пиратские копии.
Любую игру из Steam можно запустить на Mac M1 и выше при помощи утилиты Whisky, которая работает на базе новой фичи Game Porting Toolkit от Apple – именно она позволяет портировать игры, сделанные для Windows.
Для установки софта потребуется последняя версия macOS Sonoma:
Также через Whisky запускаются и пиратские копии.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
#offtop #linguistics
Обзорная статья про мальтийский язык, вводная в мальтийскую фонетику, и чисто по приколу ссылка на курс на Udemy. Оценю попозже, пока не смотрел его.
Обзорная статья про мальтийский язык, вводная в мальтийскую фонетику, и чисто по приколу ссылка на курс на Udemy. Оценю попозже, пока не смотрел его.
Arzamas
Язык дня: Мальтийский
Удивительные особенности некоторых языков: от готского и суахили до эсперанто и оруэлловского новояза
Forwarded from Hello, it's me
Палец вверх если понял
https://news.1rj.ru/str/denissexy/7562
https://news.1rj.ru/str/denissexy/7562
Telegram
Denis Sexy IT 🤖
Кстати, если вам было непонятно как внутри работает большая языковая модель, на помощь приходит Google DeepMind — в этом коротком 3D ролике они показали как работает «метод предсказания, используемый в больших языковых моделях».
Теперь все стало понятно…
Теперь все стало понятно…
Чем дальше в лес, тем больше у меня #offtop получается:(
Тем не менее, нашёлся очень годный сборник апплетов на JS для демонстрации ряда физических явлений в браузере. Оказался бы он в 2017 году под рукой - глядишь, преподавать Electronics 101 было бы сподручнее.
Тем не менее, нашёлся очень годный сборник апплетов на JS для демонстрации ряда физических явлений в браузере. Оказался бы он в 2017 году под рукой - глядишь, преподавать Electronics 101 было бы сподручнее.
Forwarded from эйай ньюз
Там Карпатый опять отжигает. Он выпустил часовую лекцию «Интро в большие языковые модели».
Образовательный контент от Карпатого всегда топовый. Нужно смотреть! #ликбез
Часть 1: LLMs
00:00:00 Intro: Large Language Model (LLM) talk
00:00:20 LLM Inference
00:04:17 LLM Training
00:08:58 LLM dreams
00:11:22 How do they work?
00:14:14 Finetuning into an Assistant
00:17:52 Summary so far
00:21:05 Appendix: Comparisons, Labeling docs, RLHF, Synthetic data, Leaderboard
Часть 2: Future of LLMs
00:25:43 LLM Scaling Laws
00:27:43 Tool Use (Browser, Calculator, Interpreter, DALL-E)
00:33:32 Multimodality (Vision, Audio)
00:35:00 Thinking, System 1/2
00:38:02 Self-improvement, LLM AlphaGo
00:40:45 LLM Customization, GPTs store
00:42:15 LLM OS
Часть 3: LLM Security
00:45:43 LLM Security Intro
00:46:14 Jailbreaks
00:51:30 Prompt Injection
00:56:23 Data poisoning
00:58:37 LLM Security conclusions
Слайды
@ai_newz
Образовательный контент от Карпатого всегда топовый. Нужно смотреть! #ликбез
Часть 1: LLMs
00:00:00 Intro: Large Language Model (LLM) talk
00:00:20 LLM Inference
00:04:17 LLM Training
00:08:58 LLM dreams
00:11:22 How do they work?
00:14:14 Finetuning into an Assistant
00:17:52 Summary so far
00:21:05 Appendix: Comparisons, Labeling docs, RLHF, Synthetic data, Leaderboard
Часть 2: Future of LLMs
00:25:43 LLM Scaling Laws
00:27:43 Tool Use (Browser, Calculator, Interpreter, DALL-E)
00:33:32 Multimodality (Vision, Audio)
00:35:00 Thinking, System 1/2
00:38:02 Self-improvement, LLM AlphaGo
00:40:45 LLM Customization, GPTs store
00:42:15 LLM OS
Часть 3: LLM Security
00:45:43 LLM Security Intro
00:46:14 Jailbreaks
00:51:30 Prompt Injection
00:56:23 Data poisoning
00:58:37 LLM Security conclusions
Слайды
@ai_newz
YouTube
[1hr Talk] Intro to Large Language Models
This is a 1 hour general-audience introduction to Large Language Models: the core technical component behind systems like ChatGPT, Claude, and Bard. What they are, where they are headed, comparisons and analogies to present-day operating systems, and some…
Forwarded from Nuaf
https://www.linkedin.com/posts/arti-yadav-4936051a6_resume-covertips-resumewriters-activity-7137752421413310464-2OKU
@walsk , кто-то запилил экстеншен для линкедина
@walsk , кто-то запилил экстеншен для линкедина
Linkedin
Arti Yadav on LinkedIn: #resume #covertips #resumewriters #resumetips #linkedin | 106 comments
📜Resume Cover Letters Hack You Must Know📃💁♀️
📃🌟A concise and compelling cover letter is your first chance to stand out and be considered a strong… | 106 comments on LinkedIn
📃🌟A concise and compelling cover letter is your first chance to stand out and be considered a strong… | 106 comments on LinkedIn
Forwarded from Voice stuff
HiFTNet
Субъективные оценки на LJSpeech показывают, что наша модель значительно
превосходит как iSTFTNet, так и HiFi-GAN, достигая производительности уровня оригинальных аудио. HiFTNet также превосходит BigVGAN на LibriTTS для дикторов вне обучающего сета и достигает сравнимой с BigVGAN производительности, при этом работая в четыре раза быстрее, используя всего 1/6 параметров.
Наша работа устанавливает новую планку для эффективного и высококачественного нейронного вокодинга, прокладывая путь к приложениям реального времени.
требующих высокого качества синтеза речи.
https://github.com/yl4579/HiFTNet
Субъективные оценки на LJSpeech показывают, что наша модель значительно
превосходит как iSTFTNet, так и HiFi-GAN, достигая производительности уровня оригинальных аудио. HiFTNet также превосходит BigVGAN на LibriTTS для дикторов вне обучающего сета и достигает сравнимой с BigVGAN производительности, при этом работая в четыре раза быстрее, используя всего 1/6 параметров.
Наша работа устанавливает новую планку для эффективного и высококачественного нейронного вокодинга, прокладывая путь к приложениям реального времени.
требующих высокого качества синтеза речи.
https://github.com/yl4579/HiFTNet
GitHub
GitHub - yl4579/HiFTNet: HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier…
HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform - yl4579/HiFTNet
Forwarded from Valia Walsk
https://chat.openai.com/share/c6ce4ef8-870d-4a0c-9157-4a1106113345
Лол, зацени. Это в х15 божественнее гугла.
Лол, зацени. Это в х15 божественнее гугла.
Openai
ChatGPT
A conversational AI system that listens, learns, and challenges
LinkedIn придумал интересный формат. Редакторы собрали советы на тему "как сохранять и повышать свою актуальность" (в данном случае – в сфере ML), а потом попросили свою социальную платформу прокомментировать эти советы. С учётом правой колонки, кажется, можно принять решение, что стоит делать, а что – нет.
Linkedin
What are the best ways to stay updated on machine learning algorithms and data analysis? | Data Analysis
Learn the best ways to keep yourself updated on the latest trends, tools, and techniques in machine learning algorithms and data analysis.