Wikidata — 10 миллиардов бесплатных cтруктурированных фактов
Wikidata – это огромное хранилище данных, привязанное к Википедии. Каждое наблюдение имеет "отпечаток пальца" (описание на нескольких языках, другие названия и т.д.). При этом каждое наблюдение связано с некоторыми другими через «свойства» (идентификатор, начинающийся с P). Получается, что данные имеют вид мультиграфа. Например, на картинке фрагмент этого графа, связывающий ПО с Ubuntu.
Для этого графа ресерчерами из facebook были посчитаны эмбеддинги, так что помимо того, что за счет рекурсивных вызовов по графу мы можем расширять почти любые свои текстовые данные (пример), прямо на этих эмбеддингах можно обучать многие самостоятельные модели, например DistMult или RESCAL. Настоящий простор для исследований!
😻 #NN #train
Wikidata – это огромное хранилище данных, привязанное к Википедии. Каждое наблюдение имеет "отпечаток пальца" (описание на нескольких языках, другие названия и т.д.). При этом каждое наблюдение связано с некоторыми другими через «свойства» (идентификатор, начинающийся с P). Получается, что данные имеют вид мультиграфа. Например, на картинке фрагмент этого графа, связывающий ПО с Ubuntu.
Для этого графа ресерчерами из facebook были посчитаны эмбеддинги, так что помимо того, что за счет рекурсивных вызовов по графу мы можем расширять почти любые свои текстовые данные (пример), прямо на этих эмбеддингах можно обучать многие самостоятельные модели, например DistMult или RESCAL. Настоящий простор для исследований!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍33🙈1
Незабываемая пятерка: топ самых крутых датавизов от нашей редакции
Смотрим, залипаем и учимся: как превращать данные во что-то изящно простое и одновременно красивое на примере 5 дашбордов.
😻 #analytics
Смотрим, залипаем и учимся: как превращать данные во что-то изящно простое и одновременно красивое на примере 5 дашбордов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤31👍10
При помощи умных часов и ML учёные научились идентифицировать людей с Паркинсоном за семь лет до клинического диагноз
Они обнаружили, что у многих людей некоторые симптомы начали появляться гораздо раньше, чем им ставили диагноз — например, замедление движений, снижение качества сна и тремор. Такие данные обычно отслеживаются любыми смарт-часами, а теперь еще и будут исследоваться алгоритмом на предпосылки Паркинсона. В общем, просто носишь часы и ждешь уведомления о том, что надо бы к врачу.
Новость, конечно, отличная, но прочитав ее, мы подумали, что задача вообще-то звучит как базовая с Kaggle. И действительно, нашли много чего похожего: например, вот и вот. Отсюда вопрос: как вы думаете, они использовали xgboost или LGBM?
😻 #news
Они обнаружили, что у многих людей некоторые симптомы начали появляться гораздо раньше, чем им ставили диагноз — например, замедление движений, снижение качества сна и тремор. Такие данные обычно отслеживаются любыми смарт-часами, а теперь еще и будут исследоваться алгоритмом на предпосылки Паркинсона. В общем, просто носишь часы и ждешь уведомления о том, что надо бы к врачу.
Новость, конечно, отличная, но прочитав ее, мы подумали, что задача вообще-то звучит как базовая с Kaggle. И действительно, нашли много чего похожего: например, вот и вот. Отсюда вопрос: как вы думаете, они использовали xgboost или LGBM?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45😁6🤓2❤1
Petl – эффективная замена pandas
Все мы любим pandas. Но нельзя отрицать, что на данных с миллионами строк панды – уже не панды, а черепахи. Petl не знает проблем ни со временем, ни с памятью, а интерфейс у него все такой же понятный и обширный. Посмотрите сами: пример кода в картинке.
Кто-нибудь уже пробовал?
😻 #pandas
Все мы любим pandas. Но нельзя отрицать, что на данных с миллионами строк панды – уже не панды, а черепахи. Petl не знает проблем ни со временем, ни с памятью, а интерфейс у него все такой же понятный и обширный. Посмотрите сами: пример кода в картинке.
Кто-нибудь уже пробовал?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45🔥14❤6
Однажды Эрнест Хемингуэй поспорил, что напишет самый короткий рассказ, способный заставить плакать любого…
😻 #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍74😁33🔥11❤5😐2😨2🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Для тех, кто хочет научиться делать AB правильно
Основная проблема, с которой сталкиваются все, кто начинает изучать AB – это "а как практиковаться?". Это помимо того, что тема сама по себе сложная. Помните, мы рассказывали про особенности AB-тестов? Так вот это еще цветочки. В AB море нюансов и тонкостей, но без настоящей системы и пользователей познать все это невозможно. Ну, точнее, было невозможно.
Сейчас у karpovꓸcourses выходит AB-симулятор: суть в том, что вы на реальной инфраструктуре решаете нетривиальные кейсы с полным пайпланом, от выбора метрик до подведения итогов теста. Еще один плюс: одни вы не останетесь. С вами будут делиться опытом и отвечать на вопросы эксперты из X5 Retail Group и Blockchainꓸcom.
Есть два варианта: для тех, кто не хочет погружаться в статистику и программирование, и для тех, кто хочет продвинуто разобраться в AB. Так что подойдет каждому. Рекомендуем!
😻 #advice
Основная проблема, с которой сталкиваются все, кто начинает изучать AB – это "а как практиковаться?". Это помимо того, что тема сама по себе сложная. Помните, мы рассказывали про особенности AB-тестов? Так вот это еще цветочки. В AB море нюансов и тонкостей, но без настоящей системы и пользователей познать все это невозможно. Ну, точнее, было невозможно.
Сейчас у karpovꓸcourses выходит AB-симулятор: суть в том, что вы на реальной инфраструктуре решаете нетривиальные кейсы с полным пайпланом, от выбора метрик до подведения итогов теста. Еще один плюс: одни вы не останетесь. С вами будут делиться опытом и отвечать на вопросы эксперты из X5 Retail Group и Blockchainꓸcom.
Есть два варианта: для тех, кто не хочет погружаться в статистику и программирование, и для тех, кто хочет продвинуто разобраться в AB. Так что подойдет каждому. Рекомендуем!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🤯4🍌3🤨3😁1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍56❤🔥6❤1👏1
Frozen Pretrained Transformer (FPT)
А вы задумывались, за счет чего GPT-подобные модели так круто решают разнокалиберные задачи? Все благодаря мощной обобщающей способности транформеров. Но вот вопрос, могут ли трансформеры также обобщаться и на другие модальности (картинки, битовые строки…)? В общем, разбираем сегодня статью Pretrained Transformers As Universal Computation Engines.
Статья | Код
😻 #NN
А вы задумывались, за счет чего GPT-подобные модели так круто решают разнокалиберные задачи? Все благодаря мощной обобщающей способности транформеров. Но вот вопрос, могут ли трансформеры также обобщаться и на другие модальности (картинки, битовые строки…)? В общем, разбираем сегодня статью Pretrained Transformers As Universal Computation Engines.
Статья | Код
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤6🔥3🤔1
В пятницу 14 июля пройдет конференция по нейронным сетям и искусственному интеллекту НейроSet.
На конференции будут доклады про создание Kandinsky 2.1, детекцию дипфейков, генеративные модели в физике высоких энергий, тюнинг и предтренировку LLM-ок, сопоставительное дообучение для получения иеархии представлений и многое другое. Всего 8 спикеров, даже нейропсихолог с естественными нейронными сетями есть.
Конференция рассчитана на крепких специалистов и тех, кто хочет актуализировать свои знания в смежных ML-областях. Поэтому можно участвовать, если вам не нужно объяснять, что такое сверточная сеть, все остальное - расскажут. А для CV/NLP инженеров и исследователей не участвовать - преступление: где еще будет такая высокая концентрация true-research докладов?
Конференция пройдет онлайн, регистрируйтесь на https://neuro-set.ru Стоимость весьма символическая, 670 рублей, а если воспользуетесь промокодом DATASECRETS, то получите скидку 20%.
📌 Трансляция уже в эту пятницу на https://neuro-set.ru
На конференции будут доклады про создание Kandinsky 2.1, детекцию дипфейков, генеративные модели в физике высоких энергий, тюнинг и предтренировку LLM-ок, сопоставительное дообучение для получения иеархии представлений и многое другое. Всего 8 спикеров, даже нейропсихолог с естественными нейронными сетями есть.
Конференция рассчитана на крепких специалистов и тех, кто хочет актуализировать свои знания в смежных ML-областях. Поэтому можно участвовать, если вам не нужно объяснять, что такое сверточная сеть, все остальное - расскажут. А для CV/NLP инженеров и исследователей не участвовать - преступление: где еще будет такая высокая концентрация true-research докладов?
Конференция пройдет онлайн, регистрируйтесь на https://neuro-set.ru Стоимость весьма символическая, 670 рублей, а если воспользуетесь промокодом DATASECRETS, то получите скидку 20%.
📌 Трансляция уже в эту пятницу на https://neuro-set.ru
👍10🔥4🙈2
data-import_ru.pdf
1.3 MB
4 чит-листа для тех, кто пишет на R или хочет научиться
1) Импорт данных. Все про чтение таличных и нетабличных данных, типы данных и их сохранение.
1) Импорт данных. Все про чтение таличных и нетабличных данных, типы данных и их сохранение.
data-transformation_ru.pdf
2.4 MB
2) Про транформацию данных. В комплекте: группировка, агрегация, сортировки, фильтрация и многое другое.
lubridate_ru.pdf
1.2 MB
3) Чит-лист по главной дата-время библиотеке в R – lubridate.
purrr_ru.pdf
1.6 MB
4) Применение фукнций с purrr: все про работу со списками и функциями.
Не забудьте сохранить!
😻 #advice
Не забудьте сохранить!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31❤7👌5🤯2🔥1