Глубокие мысли, надо подумать, как AV действительно лучше встроить в FE на практике. Типа, нет test, чтобы применить AV? Создай его! )

#приёмы
В старом посте я описывал приём AV: решение задачи разделения обучения и теста позволяет понять
1) какие признаки стабильны,
2) как отобрать обучающую подвыборку максимально похожую на тест.

Из того, что я тогда не сказал, но это полезно:
1) логично встроить AV в процедуру отбора признаков (чтобы отбиралось не просто подпространство с высоким качеством решения, но и стабильное),
2) когда нет теста (а его на практике часто и нет) можно разбить объекты по времени (странно, но при решении прикладных задач это делают очень редко),
3) из нестабильных признаков часто получаются хорошие стабильные, причём с помощью простых приёмов (например, доход клиента делим на медианных доход в этом месяце). Поэтому AV можно встроить и в генератор признаков;)

⚡️ open close openai расщедрились и релизнули свой трансформер для voice tech задач в opensource!

Основное — это конечно английский asr, но также и много другого, например any-to-english translation. Тут нет явного рокетсаенса, но зато есть веса, обученные на огромном датасете, которые можно скачать прямо сейчас, что как мне кажется еще лучше 😎

Почему это круто?
На мой взгляд самая интересная часть это энкодер, который можно вытащить из пайплайна и использовать как устойчивый к различным трудным данным feature extractor. Разработчики говорят, что учили модель на почти 700k данных, среди которых были очень разные примеры — и с акцентами, и с шумами, и просто музыка. Отдельная боль в ASR — это когда из бекграунд музыки распознаются рандомные слова иногда нехорошие 🙃 то есть можно дофайнтюнить энкодер, а дальше поставить что угодно — от классификатора до voice conversion.

Полная модель с декодером тоже очень интересна — особенно, если вы не делаете бенчмарк на LibriSpeech, а работаете с клиентскими данными, которые часто содержат большое число шумов, акцентов, или даже пение и музыку (откройте демку, там будет k-pop🕺🏻). Сказано, что на таких данных модель по качеству лучше на 50% — как именно подсчитали эту цифру, правда, я не нашла 💁🏻‍♀️

В репозитории есть несколько конфигураций модели, как это было с GPT-семейством, от tiny c 39M до large c 1550M параметров, которая вполне может подойти для дистилляции или kaggle-соревнований.

Кроме того, судя по демо, Whisper сразу делает расстановку знаков препинания. Base (вторая по величине модель) весит всего 140 мб, так что если убрать все ненужные части (или даже декодер), останется очень приятный размер, который вполне можно использовать на разного рода девайсах. Круто, желаю openai больше таких прикладных проектов 🌚

Подробнее читать тут
#tech

https://www.youtube.com/watch?v=UKDX4n7vB1k&ab_channel=GDGRussia

#web #mobile #crossplaform #flutter

Обзор кросс-платформенного фреймфорка Flutter (7 лет с момента релиза). Позволяет создавать (почти) одинаково выглядящие веб, android, iOs приложения с (почти) единой кодовой базой. Использует С/Java-подобный язык Dart, который компилируется в С или JS. В целом кажется привлекательным решением, если нужно, чтобы работал и сайт, и приложухи на мобилках, а нет бюджета нанимать отдельных разработчиков на каждую платформу. Думаю его использовать для следующего проекта. Веб-версия отображает в html либо canvas, пример. Проблемы: SEO, картинки из CDN (из-за CORS), параллельность на веб-версии.

https://www.youtube.com/watch?v=Hq42zNQUQNo

#standardmodel #quantumgravity #elementaryparticles #darkmatter #послушайнаночь

Мало что может сравниться с восторгом познания глубинного устройства мира. Возможно, это и является целью существования человечества, то, что упёртые религиозные фанатики отрицают, а более "продвинутые" верующие и называют познанием Бога. Пока мы решаем мелкие рутинные задачи в своей области, не надо забывать о глобальной картине мироздания. В моё время в школьном учебнике физики ещё не было информации о кварках и Стандартной модели, насколько помню, а в Вашем? В очередной раз поражает "необъяснимая эффективность математики". Почему физическая реальность НАСТОЛЬКО ХОРОШО соответствует миру идей? От позитрона, которого "на кончике пера" вывел Дирак и который по сути был мнимым корнем квадратного уравнения, до космологической постоянной, которую Эйнштейн добавил в свои уравнения ОТО просто чтобы придать им более общий математический вид, и называл "величайшей ошибкой" за всю свою научную деятельность, и которая через 70 лет начала считаться вполне реальной плотностью энергии чистого вакуума, приводящей к ускоренному расширению Вселенной.

#fun #openings #retro #covers #friday

https://youtu.be/CzdO8Hd_Wxc

Красивый кавер и заставка. А сам мини-сериал 1899 я рекомендую лишь тем, кто хочет сломать себе мозг )

One pill makes you larger,
And one pill makes you small.
And the ones that mother gives you
Don’t do anything at all.

Feed your head
When logic and proportion
Have fallen sloppy dead,
And the White Knight is talking backwards
And the Red Queen’s off with her head.

#news #law #dataleaks

А ведь в своё время топам фэйсбука сотрудничество с Cambridge Analytica наверняка казалось отличной идеей.

https://3dnews.ru/1079328/meta-soglasilas-uregulirovat-isk-po-intsidentu-s-cambridge-analytica-za-725-millionov

"Внесудебное урегулирование завершит тяжбу, начало которой было положено в 2018 году, когда стало известно об открытии Facebook данных 87 млн пользователей платформы британской компании Cambridge Analytica, специализировавшейся на политическом консалтинге. Адвокаты истцов назвали сумму в $725 млн крупнейшей в истории урегулирования коллективных исков по конфиденциальности данных в США и максимальной выплатой со стороны Meta в адрес коллективного истца. При этом компания не признала факта правонарушений и заявила, что согласилась на урегулирование иска «в интересах сообщества и акционеров».
В 2019 году компания выплатила $5 млрд за урегулирование расследования Федеральной торговой комиссии (FTC) в отношении её политики конфиденциальности и $100 млн за урегулирование претензий Комиссии по ценным бумагам и биржам (SEC) за введение инвесторов в заблуждение в отношении неправомерного применения персональных данных пользователей."

#knowledgemanagement

https://www.youtube.com/watch?v=L9SLlxaEEXY&ab_channel=morganeua

Пример работы по методу Zettelkasten: добавление книги, написание заметки, линковка с другой заметкой.

Давай-давай, пиши документацию

На всех проектах мы стараемся адекватно подходить к документированию. "Адекватно" означает не кидаться в крайности, когда к каждой строчке начинается писанина, или, наоборот, смотришь на проект и не понимаешь, куда коней запрягать.

Для нас хорошо задукоментированный проект, с которым приятно работать, включает три части: докстринги, ридми и тесты.

Считаем, что в докстрингах должно быть описано назначение функций с пояснением каких-то особо хитрых моментов, описаны принимаемые и возвращаемые параметры. Мы используем гугл нотацию. Также в комплекте с докстрингами неразрывно идет аннотация типов. Это особенно важно, когда на входе какие-то сложные структуры данных. Целью является облегчение чтения кода.

Теперь о ридми. У нас на проектах ридми состоит из следующих блоков:
— Вводная часть, где тезисно указываем общее назначение сервиса. Если у сервиса чётко выраженное назначение, то описываем общий алгоритм работы.

— Установка и запуск. В этой части указываем набор команд, которые необходимо выполнить, чтобы запустить проект.
Подробность описания должна быть такая, чтобы при первом знакомстве с проектом разработчик скопировал из ридми команды и без матерных выражений запустил проект.

И, конечно, мы всё запускаем в докере. О важности докера у нас есть отдельный пост.

В этом же разделе также важно описать, как запускать тесты. Очень важно.

— Переменные окружения и опции. Сложный проект требует настройки, поэтому обязательно указываем набор переменных окружения, которые нужны в проекте, с описанием их назначения и дефолтными значениями.

— В разделе "другое" пишем о каких-то специфичных для проекта моментах. К таким особенностям может относится, например, накатывание миграций.

Последнее в нашем списке хорошо задокументированного проекта — тесты. Тесты являются самой актуальной документацией. В ридми можно забыть что-то поправить, а запуск тестов всегда показывает реальное поведение программы. Именно поэтому в ридми важно указывать, как запускать тесты.

Резюмируя, чем больше вы дадите информации о том, как запускать, как управлять проектом, какие у него есть особенности, тем лучше. Это облегчит вход любому разработчику. С увеличением числа проектов качественная документация становится критически важной. Во время разработки кажется: да всё понятно, как запускать эту штуку. А через пол года написанный вами проект будет выглядеть чужим и непонятным.

И ещё мысль по поводу документации:
Считаем вредным советом или требованием писать документацию в каких-то сторонних системах, таких как конфлюенс (да, порой и такое требуют). Практика показала, что поддержание документации в актуальном виде в стороннем сервисе, мягко говоря, не работает. Очень сложно убедить и даже заставить разработчика поддерживать доку где-то в сторонней приблуде. С ридми проще — можно писать, не отходя от кассы. И контролировать легче, проверяя изменение доки в merge request.
#devfm #procode

#futurology #AI #singularity #Kurzweil #evolution #metaverse #brainsandthumbs #neurallink #backwardsthinking #digitalafterlife #itweetthereforeiam #intothestars #nanobots #alienlife #immortality

https://www.youtube.com/watch?v=ykY69lSpDdo&t=947s&ab_channel=LexFridman

Интервью с Рэем Курцвейлом, футурологом, предсказавшим в 1999-м, что машина начнёт проходить тест Тьюринга к 2029-му. Он всё ещё настаивает на этой дате, считает, что именно большие языковые модели станут основой прорыва в ИИ, более того, этот прорыв уже начался и будет продолжаться постепенно – многие уже и не могут по ответам отличить подобную модель от человека. Замечу, что видео записано до выхода ЧатГПТ, и названный Рэем срок кажется весьма правдоподобным. Обсуждается то, что способность проходить тест Тьюринга ещё не означает наличия сознания, да и сознание на "небиологическом" носителе будет отличаться от человеческого – его можно будет остановить, "отмотать во времени", и т.д. Далее остаётся подключение ИИ к неокортексу с целью усиления мыслительных способностей человека. К 2045, по Рэю, они усилятся в миллионы раз, и наступит "сингулярность" – время непредставимых пока возможностей и целей для человечества.

Наверное, больше, чем в 2022-м, я не разочаровывался в людях никогда. В Новом году пожелаю всем неравнодушия, мудрости и сердечности, и, как следствие, мира.