Aspiring Data Science – Telegram
Aspiring Data Science
386 subscribers
464 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
https://www.youtube.com/watch?v=UKDX4n7vB1k&ab_channel=GDGRussia

#web #mobile #crossplaform #flutter

Обзор кросс-платформенного фреймфорка Flutter (7 лет с момента релиза). Позволяет создавать (почти) одинаково выглядящие веб, android, iOs приложения с (почти) единой кодовой базой. Использует С/Java-подобный язык Dart, который компилируется в С или JS. В целом кажется привлекательным решением, если нужно, чтобы работал и сайт, и приложухи на мобилках, а нет бюджета нанимать отдельных разработчиков на каждую платформу. Думаю его использовать для следующего проекта. Веб-версия отображает в html либо canvas, пример. Проблемы: SEO, картинки из CDN (из-за CORS), параллельность на веб-версии.
Используете ли Вы веб-версию сервиса (соцсеть, трекер и т.п.) на мобильных устройствах, или предпочитаете нативные приложения под свою платформу?
Anonymous Poll
0%
Даже не пользуюсь сервисом, если у него нет нативного приложения
14%
Предпочитаю нативное приложение
57%
Без разницы, какое использовать, веб или мобильное, лишь бы хорошо работало
29%
Всегда стараюсь использовать веб-версию
https://www.youtube.com/watch?v=Hq42zNQUQNo

#standardmodel #quantumgravity #elementaryparticles #darkmatter #послушайнаночь

Мало что может сравниться с восторгом познания глубинного устройства мира. Возможно, это и является целью существования человечества, то, что упёртые религиозные фанатики отрицают, а более "продвинутые" верующие и называют познанием Бога. Пока мы решаем мелкие рутинные задачи в своей области, не надо забывать о глобальной картине мироздания. В моё время в школьном учебнике физики ещё не было информации о кварках и Стандартной модели, насколько помню, а в Вашем? В очередной раз поражает "необъяснимая эффективность математики". Почему физическая реальность НАСТОЛЬКО ХОРОШО соответствует миру идей? От позитрона, которого "на кончике пера" вывел Дирак и который по сути был мнимым корнем квадратного уравнения, до космологической постоянной, которую Эйнштейн добавил в свои уравнения ОТО просто чтобы придать им более общий математический вид, и называл "величайшей ошибкой" за всю свою научную деятельность, и которая через 70 лет начала считаться вполне реальной плотностью энергии чистого вакуума, приводящей к ускоренному расширению Вселенной.
2
#chatgpt #learning #knowledgemanagement #anki #businessidea

Глубокие языковые модели, похоже, будут идеальны для автосоздания карточек Анки. Не знаю, планируется ли выкладка в открытый доступ чатГПТ, но она уже отлично умеет формулировать вопросы и ответы к утверждению, и подсвечивать утверждения, противоречащие научным знаниям (для тех случаев, когда ученик неверно понял материал, или материал содержал ошибки или явную ложь). Что невероятно круто, она оперирует не просто в системе true-false, а в true-false-unknown. Тем самым, похоже, даже "слабый" искусственный интеллект приведёт к взрывному росту уровня интеллекта естественного ) Предвижу внедрение этой технологии в школах всего мира.
👍2
#fun #openings #retro #covers #friday

https://youtu.be/CzdO8Hd_Wxc

Красивый кавер и заставка. А сам мини-сериал 1899 я рекомендую лишь тем, кто хочет сломать себе мозг )

One pill makes you larger,
And one pill makes you small.
And the ones that mother gives you
Don’t do anything at all.

Feed your head
When logic and proportion
Have fallen sloppy dead,
And the White Knight is talking backwards
And the Red Queen’s off with her head.
🔥1
#news #law #dataleaks

А ведь в своё время топам фэйсбука сотрудничество с Cambridge Analytica наверняка казалось отличной идеей.

https://3dnews.ru/1079328/meta-soglasilas-uregulirovat-isk-po-intsidentu-s-cambridge-analytica-za-725-millionov

"Внесудебное урегулирование завершит тяжбу, начало которой было положено в 2018 году, когда стало известно об открытии Facebook данных 87 млн пользователей платформы британской компании Cambridge Analytica, специализировавшейся на политическом консалтинге. Адвокаты истцов назвали сумму в $725 млн крупнейшей в истории урегулирования коллективных исков по конфиденциальности данных в США и максимальной выплатой со стороны Meta в адрес коллективного истца. При этом компания не признала факта правонарушений и заявила, что согласилась на урегулирование иска «в интересах сообщества и акционеров».
В 2019 году компания выплатила $5 млрд за урегулирование расследования Федеральной торговой комиссии (FTC) в отношении её политики конфиденциальности и $100 млн за урегулирование претензий Комиссии по ценным бумагам и биржам (SEC) за введение инвесторов в заблуждение в отношении неправомерного применения персональных данных пользователей."
Forwarded from DevFM
Давай-давай, пиши документацию

На всех проектах мы стараемся адекватно подходить к документированию. "Адекватно" означает не кидаться в крайности, когда к каждой строчке начинается писанина, или, наоборот, смотришь на проект и не понимаешь, куда коней запрягать.

Для нас хорошо задукоментированный проект, с которым приятно работать, включает три части: докстринги, ридми и тесты.

Считаем, что в докстрингах должно быть описано назначение функций с пояснением каких-то особо хитрых моментов, описаны принимаемые и возвращаемые параметры. Мы используем гугл нотацию. Также в комплекте с докстрингами неразрывно идет аннотация типов. Это особенно важно, когда на входе какие-то сложные структуры данных. Целью является облегчение чтения кода.

Теперь о ридми. У нас на проектах ридми состоит из следующих блоков:
— Вводная часть, где тезисно указываем общее назначение сервиса. Если у сервиса чётко выраженное назначение, то описываем общий алгоритм работы.

— Установка и запуск. В этой части указываем набор команд, которые необходимо выполнить, чтобы запустить проект.
Подробность описания должна быть такая, чтобы при первом знакомстве с проектом разработчик скопировал из ридми команды и без матерных выражений запустил проект.

И, конечно, мы всё запускаем в докере. О важности докера у нас есть отдельный пост.

В этом же разделе также важно описать, как запускать тесты. Очень важно.

— Переменные окружения и опции. Сложный проект требует настройки, поэтому обязательно указываем набор переменных окружения, которые нужны в проекте, с описанием их назначения и дефолтными значениями.

— В разделе "другое" пишем о каких-то специфичных для проекта моментах. К таким особенностям может относится, например, накатывание миграций.

Последнее в нашем списке хорошо задокументированного проекта — тесты. Тесты являются самой актуальной документацией. В ридми можно забыть что-то поправить, а запуск тестов всегда показывает реальное поведение программы. Именно поэтому в ридми важно указывать, как запускать тесты.

Резюмируя, чем больше вы дадите информации о том, как запускать, как управлять проектом, какие у него есть особенности, тем лучше. Это облегчит вход любому разработчику. С увеличением числа проектов качественная документация становится критически важной. Во время разработки кажется: да всё понятно, как запускать эту штуку. А через пол года написанный вами проект будет выглядеть чужим и непонятным.

И ещё мысль по поводу документации:
Считаем вредным советом или требованием писать документацию в каких-то сторонних системах, таких как конфлюенс (да, порой и такое требуют). Практика показала, что поддержание документации в актуальном виде в стороннем сервисе, мягко говоря, не работает. Очень сложно убедить и даже заставить разработчика поддерживать доку где-то в сторонней приблуде. С ридми проще — можно писать, не отходя от кассы. И контролировать легче, проверяя изменение доки в merge request.
#devfm #procode
🔥2
#futurology #AI #singularity #Kurzweil #evolution #metaverse #brainsandthumbs #neurallink #backwardsthinking #digitalafterlife #itweetthereforeiam #intothestars #nanobots #alienlife #immortality

https://www.youtube.com/watch?v=ykY69lSpDdo&t=947s&ab_channel=LexFridman

Интервью с Рэем Курцвейлом, футурологом, предсказавшим в 1999-м, что машина начнёт проходить тест Тьюринга к 2029-му. Он всё ещё настаивает на этой дате, считает, что именно большие языковые модели станут основой прорыва в ИИ, более того, этот прорыв уже начался и будет продолжаться постепенно – многие уже и не могут по ответам отличить подобную модель от человека. Замечу, что видео записано до выхода ЧатГПТ, и названный Рэем срок кажется весьма правдоподобным. Обсуждается то, что способность проходить тест Тьюринга ещё не означает наличия сознания, да и сознание на "небиологическом" носителе будет отличаться от человеческого – его можно будет остановить, "отмотать во времени", и т.д. Далее остаётся подключение ИИ к неокортексу с целью усиления мыслительных способностей человека. К 2045, по Рэю, они усилятся в миллионы раз, и наступит "сингулярность" – время непредставимых пока возможностей и целей для человечества.
1
#madmen #openings #friday #fun #retro

https://www.youtube.com/watch?v=NJ5-sdHP0YQ&ab_channel=JoelTroughton

https://www.youtube.com/watch?v=poY5TkD7yvE&ab_channel=OzzTv

Для меня "Безумцы с Мэдиссон авеню" являются стандартом кинокачества. Сериал-историческая репродукция о корпоративной культуре, таланте и важности личных связей в бизнесе.

There was a boy,
A very strange, enchanted boy.
They say he wandered very far,
Very far, over land and sea.
A little shy and sad of eye,
But very wise was he.

And then one day,
A magic day he passed my way.
And while we spoke of many things,
Fools and kings,
This he said to me:
"The greatest thing you'll ever learn
Is just to love
and be loved
in return".
1
Наверное, больше, чем в 2022-м, я не разочаровывался в людях никогда. В Новом году пожелаю всем неравнодушия, мудрости и сердечности, и, как следствие, мира.
1🕊1
Forwarded from DLStories
InstructGPT — модель, на основе которой работает ChatGPT от OpenAI

Мы все знаем GPT-3: огромная языковая модель, которая отлично умеет в генерацию правдоподобного, и даже имеющего нужный (почти всегда) смысл текста. Но в роли диалоговой системы (чат-бота) стандартный GPT-3 не слишком хорош: часто случается так, что он генерирует текст, совсем не соответствующий запросу юзера. Это неудивительно, ведь GPT-3 обучался на текстах из интернета, а не парах “запрос-ответ”, и во время обучения цель модели была генерировать правдоподобный текст (предсказывать следующий токен на основе предыдущих), а не “выдать текст, соответствующий запросу юзера”.

В OpenAI решили затюнить GPT-3 специально на задачу взаимодействия с пользователем, и получили InstructGPT. Вот как это сделали:
1. Сгенерировали несколько текстов запросов и наняли 40 людей, которые вручную составили к этим запросам ответы. Получили пары (запрос-ответ), на которых в обычном supervised режиме затюнили GPT-3;
2. Взяли затюненную с первого шага модель и попросили ее выдать несколько вариантов ответов на разные запросы. Попросили людей отранжировать ответы на каждый запрос: от самого релевантного, полного и правильного до самого плохого. На этих размеченных данных натренировали reward model (RM), которая по паре (запрос-ответ) дает оценку, насколько хорош этот ответ на запрос.
3. Используя RM, дообучили GPT-3 с шага 1 в reinforcement learning парадигме.

Вот так просто. В результате получилась модель, которая намного лучше (по мнению реальных людей) ведет диалог с человеком и отвечает на самые сложные вопросы.

Конечно, InstructGPT (и ChatGPT в частности) — далеко не AGI. У него все еще есть серьезные недостатки. Например:
- ChatGPT может врать. Например, на запрос “расскажи об эпохе возрождения” выдать правдоподобный бред. Это, опять же, неудивительно: при обучении ни GPT-3, ни InstsructGPT корректность ответов никак не регулировалась;
- Небольшое изменение текста запроса может сильно поменять ответ модели. Например, в одном случае она может выдать. “я не знаю”, а во втором — сгенерить вполне хороший ответ (проверено в соседнем чатике, это действительно так);
- В идеале авторы хотели бы, чтобы ChatGPT спрашивала уточняющие вопросы, если запрос пользователя не очень понятный. Но вместо этого модель чаще всего начинает сразу писать ответ, как бы “угадывая”, что именно хотел пользователь;
- Ну и наша любимая тема: bias, hate speech и все такое. ChatGPT все же может выдавать плохие шутки и подобное, как бы авторы ни старались это нивелировать ¯\_(ツ)_/¯

Статья InstructGPT
1
Forwarded from DLStories
A Generalist Neural Algorithmic Learner

А еще на основе своего датасета CLRS-30 DeepMind обучили графовую нейросеть решать все эти 30 алгоритмических задач.

Модель устроена по тому же принципу, что и большинство моделей для решения сразу большого набора задач. Она состоит из трех частей (см картинку):
- Нескольких отдельных голов-энкодеров, каждая из которых кодирует вход для одной из тридцати задач. Каждый энкодер принимает на вход граф и кодирует информацию в его вершинах и ребрах в общее пространство эмбеддингов. Получается набор (x_i, e_ij, g), где x_i — эмбеддинги вершин графа, e_ij — эмбеддинги ребер графа и g — эмбеддинг графа в целом.
- Одной центральной части-процессора P, который обрабатывает вход из голов. P — это графовая нейросеть, она принимает и выдает на выход информацию в виде набора эмбеддингов вершин, ребер и графа (x_i, e_ij, g)
- Нескольких отдельных голов-декодеров, каждая из которых декодирует выход процессора P из общего пространства эмбеддингов в вид графа;

Работает это вес довольно неплохо, намного лучше других ранее придуманных алгоритмов (DeepMind протестили несколько из них на CLRS-30 и сравнили метрики). По F1-micro в среднем получается 74%, что, кажется, довольно неплохо. У лучшего конкурента F1-micro около 50%

Подробнее о модели читайте в статье
1
#dating #ml

Кто пробовал Тиндер, Баду? Да, там хотя бы есть люди, в отличие от других сайтов знакомств.
Но… Меня одного раздражает необходимость ручного отсеивания сотен кандидатов? Ну можно же по моим свайпам быстро понять, на что я смотрю (в, скажем, фото или анкете), и кого мне надо показывать, а кого нет? Или это специально НЕ делается, чтобы юзеры проводили в приложении месяцы, покупая подписку? Но почему эта опция не продается за бОльшие деньги тогда? Я точно видел, что в тиндере в штате дата сайентисты есть...
Поправочка. У Тиндера всё же есть что-то подобное, Top Picks, но как же примитивно это сделано...

https://www.youtube.com/watch?v=4ixKONimf1g&ab_channel=TextGod
😁3
GPT for Dating.png
38 KB
Семейство GPT прекрасно!
🔥1