#python #npl #spellchecking #bayes
Итак, после нескольких часов допиливания конструктор contextualSpellCheck обзавёлся несколькими новыми параметрами:
top_n (int, optional): suggestions from underlying ANN model to be considered. Defaults to 10.
lowercased_distance (bool, optional): lowercase candidates before computing edit distance. Defaults to True.
damerau_distance (bool, optional): additionally account for symbol swaps when calculating a distance. Defaults to True.
bayes_selection (bool, optional): use bayes reasoning when selecting the best candidate. Bert probabilities are the prior, textual similarities of candidates to the input are treated as the probabilities B/A that the corect candiadte is A, while the input was B. Defaults to True.
ranked_bert_probs (bool, optional): use ranked probs as oppposed to the absolute probs values coming from Bert. Defaults to True.
И я научил электронного болвана понимать, что имелась в виду виза в Дубай. 😁
Итак, после нескольких часов допиливания конструктор contextualSpellCheck обзавёлся несколькими новыми параметрами:
top_n (int, optional): suggestions from underlying ANN model to be considered. Defaults to 10.
lowercased_distance (bool, optional): lowercase candidates before computing edit distance. Defaults to True.
damerau_distance (bool, optional): additionally account for symbol swaps when calculating a distance. Defaults to True.
bayes_selection (bool, optional): use bayes reasoning when selecting the best candidate. Bert probabilities are the prior, textual similarities of candidates to the input are treated as the probabilities B/A that the corect candiadte is A, while the input was B. Defaults to True.
ranked_bert_probs (bool, optional): use ranked probs as oppposed to the absolute probs values coming from Bert. Defaults to True.
И я научил электронного болвана понимать, что имелась в виду виза в Дубай. 😁
#python #npl #spellchecking #bayes
Вот разбивочка, как Байесовский метод приходит к выводу, что подразумевался Дубай.
Вот разбивочка, как Байесовский метод приходит к выводу, что подразумевался Дубай.
✍1👍1
#python #npl #spellchecking #bayes
Это мы брали ранговые оценки вероятностей, для смягчения приора. Если же сильно поверить Берту и взять абсолютные оценки, Дубай улетает за первую десятку. Я не знаю, если честно, насколько хорошо Берты откалиброваны по вероятностям, может, @tech_priestess подскажет?
По итогу внёс в либу contextualSpellCheck предложение новой функциональности. А ну как удастся прокрасться в контрибьюторы почти что Spacy. )
Это мы брали ранговые оценки вероятностей, для смягчения приора. Если же сильно поверить Берту и взять абсолютные оценки, Дубай улетает за первую десятку. Я не знаю, если честно, насколько хорошо Берты откалиброваны по вероятностям, может, @tech_priestess подскажет?
По итогу внёс в либу contextualSpellCheck предложение новой функциональности. А ну как удастся прокрасться в контрибьюторы почти что Spacy. )
❤🔥1👍1
#H100
Не очень понимаю историю с H100. Анонсированы он чуть ли не год назад, но в сторонних облаках начинают появляться только сейчас.
"Клиенты Google Cloud смогут тренировать и запускать приложения ИИ через виртуальные машины A3 и использовать службы разработки и управления ИИ Google, доступные через Vertex AI, Google Kubernetes Engine и Google Compute Engine. Виртуальные машины A3 основаны на чипах Intel Xeon четвёртого поколения (Sapphire Rapids), которые работают в связке с ускорителями H100. Пока не ясно, будут ли виртуальные CPU поддерживать ускорители логических выводов, встроенные в чипы Sapphire Rapids."
https://3dnews.ru/1086582/google-anonsirovala-noviy-iiorientirovanniy-superkompyuter-a3-s-26-000-graficheskih-protsessorov
Не очень понимаю историю с H100. Анонсированы он чуть ли не год назад, но в сторонних облаках начинают появляться только сейчас.
"Клиенты Google Cloud смогут тренировать и запускать приложения ИИ через виртуальные машины A3 и использовать службы разработки и управления ИИ Google, доступные через Vertex AI, Google Kubernetes Engine и Google Compute Engine. Виртуальные машины A3 основаны на чипах Intel Xeon четвёртого поколения (Sapphire Rapids), которые работают в связке с ускорителями H100. Пока не ясно, будут ли виртуальные CPU поддерживать ускорители логических выводов, встроенные в чипы Sapphire Rapids."
https://3dnews.ru/1086582/google-anonsirovala-noviy-iiorientirovanniy-superkompyuter-a3-s-26-000-graficheskih-protsessorov
3DNews - Daily Digital Digest
Google представила облачный ИИ-суперкомпьютер A3 — до 26 000 ускорителей NVIDIA H100 для всех желающих
На конференции Google I/O компания Google анонсировала облачный ИИ-суперкомпьютер Compute Engine A3, который сможет предложить клиентам компании до 26 000 ускорителей вычислений NVIDIA H100.
#python #langdetect #fasttext
Мне трудно поверить в это, но в 2023 у питоновского сообщества, похоже, нет нормальных оффлайновых детекторов языка.
Ну что это за хрень, из 4 либ, представленных в статье, только Гугл переводчик (онлайновый) понимает, что, блять, строка "Safe delivery" - это английский, а не датский и не суахили?
P.S.:
fastText справился! ) используйте его, не тратьте время на остальной мусор. Пример в комментах.
https://towardsdatascience.com/4-python-libraries-to-detect-english-and-non-english-language-c82ad3efd430
Мне трудно поверить в это, но в 2023 у питоновского сообщества, похоже, нет нормальных оффлайновых детекторов языка.
Ну что это за хрень, из 4 либ, представленных в статье, только Гугл переводчик (онлайновый) понимает, что, блять, строка "Safe delivery" - это английский, а не датский и не суахили?
P.S.:
fastText справился! ) используйте его, не тратьте время на остальной мусор. Пример в комментах.
https://towardsdatascience.com/4-python-libraries-to-detect-english-and-non-english-language-c82ad3efd430
Medium
4 Python libraries to detect English and Non-English language
We will discuss spacy-langdetect, Pycld2, TextBlob, and Googletrans for language detection.
🤯2
#python #langdetect #fasttext #googletranslate
Странно, я был уверен, что гугл переводчик это топ, там же большие языковые модели, нейросети, все такое. Но он походу в 10 раз больше ошибается, чем fasttext.
Странно, я был уверен, что гугл переводчик это топ, там же большие языковые модели, нейросети, все такое. Но он походу в 10 раз больше ошибается, чем fasttext.
💔2
#fastText
Так, я вообще в тупике. Стал внимательнее смотреть, что fastText считает не английской речью.
Так, я вообще в тупике. Стал внимательнее смотреть, что fastText считает не английской речью.
🤔1
#nlp #mlm #transformers
Друзья, а какая из публично доступных моделей сейчас считается SOTA для мультиязыкового masked language prediction? Bert-ы что-то не вдохновляют.
капец. похоже, ошибку нашёл в contextualSpellChecker.
для "Я ушл в магазин.", bert-base-multilingual-cased предлагает топовый ответ '##шел' с вероятностью 0.3896,
Либа думает, что решётка означает склейку токенов, и склеивает очищенный от решёток вариант с предыдущим токеном. Хотя, кажется, Берт имеет в виду вовсе не склейку с предыдущим токеном, а скорее склейку с текущим токеном, но выброшенными посл 2-мя символами. А, нет, это уже глюки. ## это просто признак субтокена.
Друзья, а какая из публично доступных моделей сейчас считается SOTA для мультиязыкового masked language prediction? Bert-ы что-то не вдохновляют.
капец. похоже, ошибку нашёл в contextualSpellChecker.
для "Я ушл в магазин.", bert-base-multilingual-cased предлагает топовый ответ '##шел' с вероятностью 0.3896,
Либа думает, что решётка означает склейку токенов, и склеивает очищенный от решёток вариант с предыдущим токеном. Хотя, кажется, Берт имеет в виду вовсе не склейку с предыдущим токеном, а скорее склейку с текущим токеном, но выброшенными посл 2-мя символами. А, нет, это уже глюки. ## это просто признак субтокена.
#shock #content
https://3dnews.ru/1086831/tesla-prodemonstrirovala-novie-sposobnosti-chelovekopodobnih-robotov-optimus
https://3dnews.ru/1086831/tesla-prodemonstrirovala-novie-sposobnosti-chelovekopodobnih-robotov-optimus
3DNews - Daily Digital Digest
Все самое интересное из мира IT-индустрии
Самые интересные и оперативные новости из мира высоких технологий. На нашем портале - все о компьютерном железе, гаджетах, ноутбуках и других цифровых устройствах. А также обзоры новых игр, достижения современной науки и самые любопытные онлайн-проекты.
#business #news #projects
Пока с облачным проектом неожиданный затык (ограничения по скрейпингу AWS), решил переключиться обратно на прогнозную модель для трейдинга. Собираю сегодня допинфо о параметрах биржевых сессий и ГО, и вернусь к блокам фичей.
Пока с облачным проектом неожиданный затык (ограничения по скрейпингу AWS), решил переключиться обратно на прогнозную модель для трейдинга. Собираю сегодня допинфо о параметрах биржевых сессий и ГО, и вернусь к блокам фичей.
Telegram
Aspiring Data Science
#trading #predictions #ml
По пункту 1, прогнозирование, решил работать поблочно.
Модели строить буду для следующих блоков признаков:
1) текущие факторы:
-активные заявки
-биржевые "стаканы" и их вариации
2) интервальные факторы
-поток заявок и сделок
…
По пункту 1, прогнозирование, решил работать поблочно.
Модели строить буду для следующих блоков признаков:
1) текущие факторы:
-активные заявки
-биржевые "стаканы" и их вариации
2) интервальные факторы
-поток заявок и сделок
…
🔥1
Forwarded from Техножрица 👩💻👩🏫👩🔧
В первый раз сегодня повзаимодействовала с банкоматом нового типа, в хипстерском стиле таким, с огромным экраном. Написано было у него на этом экране "заплатить через Сбербанк онлайн".
Ткнув туда, узнала, что можно действительно не вставлять в него карту, а просто через приложение два раза отсканировать QR-код, и банкомат даст денежек 😱
До сих пор не могу привыкнуть к этим новшествам всем...
Помню, у меня первая банковская карта только в 20 лет появилась. И ещё лет пять я с нее просто снимала кеш, и кешем за все платила, а саму карту никуда не тыкала, кроме банкомата. Только лет в 25 приучилась самой картой платить... а там уже мне беспроводную карту дали, которую не только тыкать, но и прикладывать можно.
Лет в 28 начала впервые пользоваться приложением банковским - и то потому что поехала в Лондон, и мне там дали карту банка, у которого не было банковских отделений, и все делалось через это приложение... только после этого поняла, зачем это все нужно, и на российские приложения также стала обращать внимание и устанавливать их себе. Теперь уже и вспомнить трудно, как это я так без приложений всем пользовалась.
Единственное, что вызывало у меня опасение — это оплата с помощью NFC-чипа в телефоне. Ничто в мире не бывает более беспомощным, безответственным и порочным, чем NFC-чип. Но я знаю, что рано или поздно перейду и на эту дрянь.😄
P.S. Капец я мамонт, конечно))
Ткнув туда, узнала, что можно действительно не вставлять в него карту, а просто через приложение два раза отсканировать QR-код, и банкомат даст денежек 😱
До сих пор не могу привыкнуть к этим новшествам всем...
Помню, у меня первая банковская карта только в 20 лет появилась. И ещё лет пять я с нее просто снимала кеш, и кешем за все платила, а саму карту никуда не тыкала, кроме банкомата. Только лет в 25 приучилась самой картой платить... а там уже мне беспроводную карту дали, которую не только тыкать, но и прикладывать можно.
Лет в 28 начала впервые пользоваться приложением банковским - и то потому что поехала в Лондон, и мне там дали карту банка, у которого не было банковских отделений, и все делалось через это приложение... только после этого поняла, зачем это все нужно, и на российские приложения также стала обращать внимание и устанавливать их себе. Теперь уже и вспомнить трудно, как это я так без приложений всем пользовалась.
Единственное, что вызывало у меня опасение — это оплата с помощью NFC-чипа в телефоне. Ничто в мире не бывает более беспомощным, безответственным и порочным, чем NFC-чип. Но я знаю, что рано или поздно перейду и на эту дрянь.
P.S. Капец я мамонт, конечно))
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣1
#dotnet #linux
Оказывается, скомпилированные Net приложения запускаются прям в линуксе (через mono)!! вот это приятная новость.. я думал, это не работает.
https://www.codesdope.com/course/c-sharp-introduction/
Оказывается, скомпилированные Net приложения запускаются прям в линуксе (через mono)!! вот это приятная новость.. я думал, это не работает.
https://www.codesdope.com/course/c-sharp-introduction/
CodesDope
C# Tutorials
Start learning C#. Learn about C#. Learn to run C# codes on Windows, Linux and Mac. Start with simple tutorials.
#git
Так можно добавить в git существующий проект. Рекомендуется это сделать тем, кто над одним и тем же кодом работает с разных компов и мест. Ну или командой из нескольких человек, тогда вообще обязательно.
Хороший .gitignore в камментах, чтобы не тянуть в облако временные файлы и прочий мусор.
https://kbroman.org/github_tutorial/pages/init.html
Так можно добавить в git существующий проект. Рекомендуется это сделать тем, кто над одним и тем же кодом работает с разных компов и мест. Ну или командой из нескольких человек, тогда вообще обязательно.
Хороший .gitignore в камментах, чтобы не тянуть в облако временные файлы и прочий мусор.
https://kbroman.org/github_tutorial/pages/init.html
kbroman.org
Start a new git repository
Creating a new git repository
#butusov #music #python
Сердце обнял и погладил
Ласковый Python )
https://www.youtube.com/watch?v=DGKEyv2oYyA
Сердце обнял и погладил
Ласковый Python )
https://www.youtube.com/watch?v=DGKEyv2oYyA
YouTube
Вячеслав Бутусов - Звезда Поэта