https://www.youtube.com/watch?v=UKDX4n7vB1k&ab_channel=GDGRussia
#web #mobile #crossplaform #flutter
Обзор кросс-платформенного фреймфорка Flutter (7 лет с момента релиза). Позволяет создавать (почти) одинаково выглядящие веб, android, iOs приложения с (почти) единой кодовой базой. Использует С/Java-подобный язык Dart, который компилируется в С или JS. В целом кажется привлекательным решением, если нужно, чтобы работал и сайт, и приложухи на мобилках, а нет бюджета нанимать отдельных разработчиков на каждую платформу. Думаю его использовать для следующего проекта. Веб-версия отображает в html либо canvas, пример. Проблемы: SEO, картинки из CDN (из-за CORS), параллельность на веб-версии.
#web #mobile #crossplaform #flutter
Обзор кросс-платформенного фреймфорка Flutter (7 лет с момента релиза). Позволяет создавать (почти) одинаково выглядящие веб, android, iOs приложения с (почти) единой кодовой базой. Использует С/Java-подобный язык Dart, который компилируется в С или JS. В целом кажется привлекательным решением, если нужно, чтобы работал и сайт, и приложухи на мобилках, а нет бюджета нанимать отдельных разработчиков на каждую платформу. Думаю его использовать для следующего проекта. Веб-версия отображает в html либо canvas, пример. Проблемы: SEO, картинки из CDN (из-за CORS), параллельность на веб-версии.
YouTube
Александр Денисов | Flutter и веб-разработка. Тварь ли дрожащая или право имеет?
В современном мире бизнесу очень редко необходим только веб-сайт, или только мобильное приложение, обычно требуется создать сразу сайт и мобильное приложение вместе. В такой ситуации всегда стоит выбор, какие технологии использовать? Как правило есть три…
Используете ли Вы веб-версию сервиса (соцсеть, трекер и т.п.) на мобильных устройствах, или предпочитаете нативные приложения под свою платформу?
Anonymous Poll
0%
Даже не пользуюсь сервисом, если у него нет нативного приложения
14%
Предпочитаю нативное приложение
57%
Без разницы, какое использовать, веб или мобильное, лишь бы хорошо работало
29%
Всегда стараюсь использовать веб-версию
https://www.youtube.com/watch?v=Hq42zNQUQNo
#standardmodel #quantumgravity #elementaryparticles #darkmatter #послушайнаночь
Мало что может сравниться с восторгом познания глубинного устройства мира. Возможно, это и является целью существования человечества, то, что упёртые религиозные фанатики отрицают, а более "продвинутые" верующие и называют познанием Бога. Пока мы решаем мелкие рутинные задачи в своей области, не надо забывать о глобальной картине мироздания. В моё время в школьном учебнике физики ещё не было информации о кварках и Стандартной модели, насколько помню, а в Вашем? В очередной раз поражает "необъяснимая эффективность математики". Почему физическая реальность НАСТОЛЬКО ХОРОШО соответствует миру идей? От позитрона, которого "на кончике пера" вывел Дирак и который по сути был мнимым корнем квадратного уравнения, до космологической постоянной, которую Эйнштейн добавил в свои уравнения ОТО просто чтобы придать им более общий математический вид, и называл "величайшей ошибкой" за всю свою научную деятельность, и которая через 70 лет начала считаться вполне реальной плотностью энергии чистого вакуума, приводящей к ускоренному расширению Вселенной.
#standardmodel #quantumgravity #elementaryparticles #darkmatter #послушайнаночь
Мало что может сравниться с восторгом познания глубинного устройства мира. Возможно, это и является целью существования человечества, то, что упёртые религиозные фанатики отрицают, а более "продвинутые" верующие и называют познанием Бога. Пока мы решаем мелкие рутинные задачи в своей области, не надо забывать о глобальной картине мироздания. В моё время в школьном учебнике физики ещё не было информации о кварках и Стандартной модели, насколько помню, а в Вашем? В очередной раз поражает "необъяснимая эффективность математики". Почему физическая реальность НАСТОЛЬКО ХОРОШО соответствует миру идей? От позитрона, которого "на кончике пера" вывел Дирак и который по сути был мнимым корнем квадратного уравнения, до космологической постоянной, которую Эйнштейн добавил в свои уравнения ОТО просто чтобы придать им более общий математический вид, и называл "величайшей ошибкой" за всю свою научную деятельность, и которая через 70 лет начала считаться вполне реальной плотностью энергии чистого вакуума, приводящей к ускоренному расширению Вселенной.
YouTube
Элементарные частицы, масса и гравитация | Физик Алексей Семихатов
В гостях Алексей Михайлович Семихатов – доктор физико-математических наук, ведущий телепрограмм «Вопрос науки» и «Время» на канале «Наука» и популяризатор науки
Разобрались в так называемой стандартной модели элементарных частиц: что такое элементарные частицы…
Разобрались в так называемой стандартной модели элементарных частиц: что такое элементарные частицы…
❤2
#chatgpt #learning #knowledgemanagement #anki #businessidea
Глубокие языковые модели, похоже, будут идеальны для автосоздания карточек Анки. Не знаю, планируется ли выкладка в открытый доступ чатГПТ, но она уже отлично умеет формулировать вопросы и ответы к утверждению, и подсвечивать утверждения, противоречащие научным знаниям (для тех случаев, когда ученик неверно понял материал, или материал содержал ошибки или явную ложь). Что невероятно круто, она оперирует не просто в системе true-false, а в true-false-unknown. Тем самым, похоже, даже "слабый" искусственный интеллект приведёт к взрывному росту уровня интеллекта естественного ) Предвижу внедрение этой технологии в школах всего мира.
Глубокие языковые модели, похоже, будут идеальны для автосоздания карточек Анки. Не знаю, планируется ли выкладка в открытый доступ чатГПТ, но она уже отлично умеет формулировать вопросы и ответы к утверждению, и подсвечивать утверждения, противоречащие научным знаниям (для тех случаев, когда ученик неверно понял материал, или материал содержал ошибки или явную ложь). Что невероятно круто, она оперирует не просто в системе true-false, а в true-false-unknown. Тем самым, похоже, даже "слабый" искусственный интеллект приведёт к взрывному росту уровня интеллекта естественного ) Предвижу внедрение этой технологии в школах всего мира.
👍2
#fun #openings #retro #covers #friday
https://youtu.be/CzdO8Hd_Wxc
Красивый кавер и заставка. А сам мини-сериал 1899 я рекомендую лишь тем, кто хочет сломать себе мозг )
One pill makes you larger,
And one pill makes you small.
And the ones that mother gives you
Don’t do anything at all.
Feed your head
When logic and proportion
Have fallen sloppy dead,
And the White Knight is talking backwards
And the Red Queen’s off with her head.
https://youtu.be/CzdO8Hd_Wxc
Красивый кавер и заставка. А сам мини-сериал 1899 я рекомендую лишь тем, кто хочет сломать себе мозг )
One pill makes you larger,
And one pill makes you small.
And the ones that mother gives you
Don’t do anything at all.
Feed your head
When logic and proportion
Have fallen sloppy dead,
And the White Knight is talking backwards
And the Red Queen’s off with her head.
YouTube
1899 Opening Intro (White Rabbit Cover)
1899 opening intro scene song by Jefferson Airplane - White Rabbit cover. Original soundtrack 1899 Netflix series. Title sequence.
🔥1
#news #law #dataleaks
А ведь в своё время топам фэйсбука сотрудничество с Cambridge Analytica наверняка казалось отличной идеей.
https://3dnews.ru/1079328/meta-soglasilas-uregulirovat-isk-po-intsidentu-s-cambridge-analytica-za-725-millionov
"Внесудебное урегулирование завершит тяжбу, начало которой было положено в 2018 году, когда стало известно об открытии Facebook данных 87 млн пользователей платформы британской компании Cambridge Analytica, специализировавшейся на политическом консалтинге. Адвокаты истцов назвали сумму в $725 млн крупнейшей в истории урегулирования коллективных исков по конфиденциальности данных в США и максимальной выплатой со стороны Meta в адрес коллективного истца. При этом компания не признала факта правонарушений и заявила, что согласилась на урегулирование иска «в интересах сообщества и акционеров».
В 2019 году компания выплатила $5 млрд за урегулирование расследования Федеральной торговой комиссии (FTC) в отношении её политики конфиденциальности и $100 млн за урегулирование претензий Комиссии по ценным бумагам и биржам (SEC) за введение инвесторов в заблуждение в отношении неправомерного применения персональных данных пользователей."
А ведь в своё время топам фэйсбука сотрудничество с Cambridge Analytica наверняка казалось отличной идеей.
https://3dnews.ru/1079328/meta-soglasilas-uregulirovat-isk-po-intsidentu-s-cambridge-analytica-za-725-millionov
"Внесудебное урегулирование завершит тяжбу, начало которой было положено в 2018 году, когда стало известно об открытии Facebook данных 87 млн пользователей платформы британской компании Cambridge Analytica, специализировавшейся на политическом консалтинге. Адвокаты истцов назвали сумму в $725 млн крупнейшей в истории урегулирования коллективных исков по конфиденциальности данных в США и максимальной выплатой со стороны Meta в адрес коллективного истца. При этом компания не признала факта правонарушений и заявила, что согласилась на урегулирование иска «в интересах сообщества и акционеров».
В 2019 году компания выплатила $5 млрд за урегулирование расследования Федеральной торговой комиссии (FTC) в отношении её политики конфиденциальности и $100 млн за урегулирование претензий Комиссии по ценным бумагам и биржам (SEC) за введение инвесторов в заблуждение в отношении неправомерного применения персональных данных пользователей."
3DNews - Daily Digital Digest
Meta согласилась выплатить $725 млн по коллективному иску о передаче данных Cambridge Analytica
Компания Meta (бывшая Facebook) согласилась выплатить $725 млн за урегулирование коллективного иска, в котором гиганта соцсетей обвинили в передаче персональных данных пользователей третьим лицам, включая Cambridge Analytica.
#knowledgemanagement
https://www.youtube.com/watch?v=L9SLlxaEEXY&ab_channel=morganeua
Пример работы по методу Zettelkasten: добавление книги, написание заметки, линковка с другой заметкой.
https://www.youtube.com/watch?v=L9SLlxaEEXY&ab_channel=morganeua
Пример работы по методу Zettelkasten: добавление книги, написание заметки, линковка с другой заметкой.
YouTube
The FUN and EFFICIENT note-taking system I use in my PhD
An overview of Sonke Ahrens' "How to Take Smart Notes" is available on the book summary app Shortform! Sign up with my affiliate link to get a 20% discount on an annual subnoscription 🎉 ➡ https://www.shortform.com/morganeua
The Zettelkasten method of note…
The Zettelkasten method of note…
👍4
Forwarded from DevFM
Давай-давай, пиши документацию
На всех проектах мы стараемся адекватно подходить к документированию. "Адекватно" означает не кидаться в крайности, когда к каждой строчке начинается писанина, или, наоборот, смотришь на проект и не понимаешь, куда коней запрягать.
Для нас хорошо задукоментированный проект, с которым приятно работать, включает три части: докстринги, ридми и тесты.
Считаем, что в докстрингах должно быть описано назначение функций с пояснением каких-то особо хитрых моментов, описаны принимаемые и возвращаемые параметры. Мы используем гугл нотацию. Также в комплекте с докстрингами неразрывно идет аннотация типов. Это особенно важно, когда на входе какие-то сложные структуры данных. Целью является облегчение чтения кода.
Теперь о ридми. У нас на проектах ридми состоит из следующих блоков:
— Вводная часть, где тезисно указываем общее назначение сервиса. Если у сервиса чётко выраженное назначение, то описываем общий алгоритм работы.
— Установка и запуск. В этой части указываем набор команд, которые необходимо выполнить, чтобы запустить проект.
Подробность описания должна быть такая, чтобы при первом знакомстве с проектом разработчик скопировал из ридми команды и без матерных выражений запустил проект.
И, конечно, мы всё запускаем в докере. О важности докера у нас есть отдельный пост.
В этом же разделе также важно описать, как запускать тесты. Очень важно.
— Переменные окружения и опции. Сложный проект требует настройки, поэтому обязательно указываем набор переменных окружения, которые нужны в проекте, с описанием их назначения и дефолтными значениями.
— В разделе "другое" пишем о каких-то специфичных для проекта моментах. К таким особенностям может относится, например, накатывание миграций.
Последнее в нашем списке хорошо задокументированного проекта — тесты. Тесты являются самой актуальной документацией. В ридми можно забыть что-то поправить, а запуск тестов всегда показывает реальное поведение программы. Именно поэтому в ридми важно указывать, как запускать тесты.
Резюмируя, чем больше вы дадите информации о том, как запускать, как управлять проектом, какие у него есть особенности, тем лучше. Это облегчит вход любому разработчику. С увеличением числа проектов качественная документация становится критически важной. Во время разработки кажется: да всё понятно, как запускать эту штуку. А через пол года написанный вами проект будет выглядеть чужим и непонятным.
И ещё мысль по поводу документации:
Считаем вредным советом или требованием писать документацию в каких-то сторонних системах, таких как конфлюенс (да, порой и такое требуют). Практика показала, что поддержание документации в актуальном виде в стороннем сервисе, мягко говоря, не работает. Очень сложно убедить и даже заставить разработчика поддерживать доку где-то в сторонней приблуде. С ридми проще — можно писать, не отходя от кассы. И контролировать легче, проверяя изменение доки в merge request.
#devfm #procode
На всех проектах мы стараемся адекватно подходить к документированию. "Адекватно" означает не кидаться в крайности, когда к каждой строчке начинается писанина, или, наоборот, смотришь на проект и не понимаешь, куда коней запрягать.
Для нас хорошо задукоментированный проект, с которым приятно работать, включает три части: докстринги, ридми и тесты.
Считаем, что в докстрингах должно быть описано назначение функций с пояснением каких-то особо хитрых моментов, описаны принимаемые и возвращаемые параметры. Мы используем гугл нотацию. Также в комплекте с докстрингами неразрывно идет аннотация типов. Это особенно важно, когда на входе какие-то сложные структуры данных. Целью является облегчение чтения кода.
Теперь о ридми. У нас на проектах ридми состоит из следующих блоков:
— Вводная часть, где тезисно указываем общее назначение сервиса. Если у сервиса чётко выраженное назначение, то описываем общий алгоритм работы.
— Установка и запуск. В этой части указываем набор команд, которые необходимо выполнить, чтобы запустить проект.
Подробность описания должна быть такая, чтобы при первом знакомстве с проектом разработчик скопировал из ридми команды и без матерных выражений запустил проект.
И, конечно, мы всё запускаем в докере. О важности докера у нас есть отдельный пост.
В этом же разделе также важно описать, как запускать тесты. Очень важно.
— Переменные окружения и опции. Сложный проект требует настройки, поэтому обязательно указываем набор переменных окружения, которые нужны в проекте, с описанием их назначения и дефолтными значениями.
— В разделе "другое" пишем о каких-то специфичных для проекта моментах. К таким особенностям может относится, например, накатывание миграций.
Последнее в нашем списке хорошо задокументированного проекта — тесты. Тесты являются самой актуальной документацией. В ридми можно забыть что-то поправить, а запуск тестов всегда показывает реальное поведение программы. Именно поэтому в ридми важно указывать, как запускать тесты.
Резюмируя, чем больше вы дадите информации о том, как запускать, как управлять проектом, какие у него есть особенности, тем лучше. Это облегчит вход любому разработчику. С увеличением числа проектов качественная документация становится критически важной. Во время разработки кажется: да всё понятно, как запускать эту штуку. А через пол года написанный вами проект будет выглядеть чужим и непонятным.
И ещё мысль по поводу документации:
Считаем вредным советом или требованием писать документацию в каких-то сторонних системах, таких как конфлюенс (да, порой и такое требуют). Практика показала, что поддержание документации в актуальном виде в стороннем сервисе, мягко говоря, не работает. Очень сложно убедить и даже заставить разработчика поддерживать доку где-то в сторонней приблуде. С ридми проще — можно писать, не отходя от кассы. И контролировать легче, проверяя изменение доки в merge request.
#devfm #procode
Telegram
DevFM
Зачем вам нужен докер?
Встретили тут в бизнесе мысль: "мы недостаточно большие, чтобы использовать Docker". Не можем согласиться с таким тезисом. В современном мире разработки docker является такой же неотъемлемой частью разработки, как и git. Есть некоторые…
Встретили тут в бизнесе мысль: "мы недостаточно большие, чтобы использовать Docker". Не можем согласиться с таким тезисом. В современном мире разработки docker является такой же неотъемлемой частью разработки, как и git. Есть некоторые…
🔥2
#futurology #AI #singularity #Kurzweil #evolution #metaverse #brainsandthumbs #neurallink #backwardsthinking #digitalafterlife #itweetthereforeiam #intothestars #nanobots #alienlife #immortality
https://www.youtube.com/watch?v=ykY69lSpDdo&t=947s&ab_channel=LexFridman
Интервью с Рэем Курцвейлом, футурологом, предсказавшим в 1999-м, что машина начнёт проходить тест Тьюринга к 2029-му. Он всё ещё настаивает на этой дате, считает, что именно большие языковые модели станут основой прорыва в ИИ, более того, этот прорыв уже начался и будет продолжаться постепенно – многие уже и не могут по ответам отличить подобную модель от человека. Замечу, что видео записано до выхода ЧатГПТ, и названный Рэем срок кажется весьма правдоподобным. Обсуждается то, что способность проходить тест Тьюринга ещё не означает наличия сознания, да и сознание на "небиологическом" носителе будет отличаться от человеческого – его можно будет остановить, "отмотать во времени", и т.д. Далее остаётся подключение ИИ к неокортексу с целью усиления мыслительных способностей человека. К 2045, по Рэю, они усилятся в миллионы раз, и наступит "сингулярность" – время непредставимых пока возможностей и целей для человечества.
https://www.youtube.com/watch?v=ykY69lSpDdo&t=947s&ab_channel=LexFridman
Интервью с Рэем Курцвейлом, футурологом, предсказавшим в 1999-м, что машина начнёт проходить тест Тьюринга к 2029-му. Он всё ещё настаивает на этой дате, считает, что именно большие языковые модели станут основой прорыва в ИИ, более того, этот прорыв уже начался и будет продолжаться постепенно – многие уже и не могут по ответам отличить подобную модель от человека. Замечу, что видео записано до выхода ЧатГПТ, и названный Рэем срок кажется весьма правдоподобным. Обсуждается то, что способность проходить тест Тьюринга ещё не означает наличия сознания, да и сознание на "небиологическом" носителе будет отличаться от человеческого – его можно будет остановить, "отмотать во времени", и т.д. Далее остаётся подключение ИИ к неокортексу с целью усиления мыслительных способностей человека. К 2045, по Рэю, они усилятся в миллионы раз, и наступит "сингулярность" – время непредставимых пока возможностей и целей для человечества.
YouTube
Ray Kurzweil: Singularity, Superintelligence, and Immortality | Lex Fridman Podcast #321
Ray Kurzweil is an author, inventor, and futurist. Please support this podcast by checking out our sponsors:
- Shopify: https://shopify.com/lex to get 14-day free trial
- NetSuite: http://netsuite.com/lex to get free product tour
- Linode: https://linode.com/lex…
- Shopify: https://shopify.com/lex to get 14-day free trial
- NetSuite: http://netsuite.com/lex to get free product tour
- Linode: https://linode.com/lex…
❤1
#madmen #openings #friday #fun #retro
https://www.youtube.com/watch?v=NJ5-sdHP0YQ&ab_channel=JoelTroughton
https://www.youtube.com/watch?v=poY5TkD7yvE&ab_channel=OzzTv
Для меня "Безумцы с Мэдиссон авеню" являются стандартом кинокачества. Сериал-историческая репродукция о корпоративной культуре, таланте и важности личных связей в бизнесе.
There was a boy,
A very strange, enchanted boy.
They say he wandered very far,
Very far, over land and sea.
A little shy and sad of eye,
But very wise was he.
And then one day,
A magic day he passed my way.
And while we spoke of many things,
Fools and kings,
This he said to me:
"The greatest thing you'll ever learn
Is just to love
and be loved
in return".
https://www.youtube.com/watch?v=NJ5-sdHP0YQ&ab_channel=JoelTroughton
https://www.youtube.com/watch?v=poY5TkD7yvE&ab_channel=OzzTv
Для меня "Безумцы с Мэдиссон авеню" являются стандартом кинокачества. Сериал-историческая репродукция о корпоративной культуре, таланте и важности личных связей в бизнесе.
There was a boy,
A very strange, enchanted boy.
They say he wandered very far,
Very far, over land and sea.
A little shy and sad of eye,
But very wise was he.
And then one day,
A magic day he passed my way.
And while we spoke of many things,
Fools and kings,
This he said to me:
"The greatest thing you'll ever learn
Is just to love
and be loved
in return".
❤1
Наверное, больше, чем в 2022-м, я не разочаровывался в людях никогда. В Новом году пожелаю всем неравнодушия, мудрости и сердечности, и, как следствие, мира.
❤1🕊1
https://www.youtube.com/watch?v=zprg2WbmgzQ
#chess #gm #naro
Познавательно! Гроссмейстер Народицкий чётко объясняет ход своих рассуждений при оценке позиции. А какое красивое название дебюта )
#chess #gm #naro
Познавательно! Гроссмейстер Народицкий чётко объясняет ход своих рассуждений при оценке позиции. А какое красивое название дебюта )
YouTube
Exposing CHEATERS In the Caro-Kann Defense: Fantasy Variation | GM Naroditsky’s Top Theory Speedrun
00:00 Intro
00:10 First Move
00:17 Game
36:20 Analysis
Daniel now has a Patreon! Check it out at https://patreon.com/danielnaroditsky
- Follow Daniel on Twitter at https://twitter.com/GMNaroditsky
- Daniel streams regularly on Twitch at https://twitch.tv/GMNaroditsky…
00:10 First Move
00:17 Game
36:20 Analysis
Daniel now has a Patreon! Check it out at https://patreon.com/danielnaroditsky
- Follow Daniel on Twitter at https://twitter.com/GMNaroditsky
- Daniel streams regularly on Twitch at https://twitch.tv/GMNaroditsky…
❤1
Forwarded from DLStories
InstructGPT — модель, на основе которой работает ChatGPT от OpenAI
Мы все знаем GPT-3: огромная языковая модель, которая отлично умеет в генерацию правдоподобного, и даже имеющего нужный (почти всегда) смысл текста. Но в роли диалоговой системы (чат-бота) стандартный GPT-3 не слишком хорош: часто случается так, что он генерирует текст, совсем не соответствующий запросу юзера. Это неудивительно, ведь GPT-3 обучался на текстах из интернета, а не парах “запрос-ответ”, и во время обучения цель модели была генерировать правдоподобный текст (предсказывать следующий токен на основе предыдущих), а не “выдать текст, соответствующий запросу юзера”.
В OpenAI решили затюнить GPT-3 специально на задачу взаимодействия с пользователем, и получили InstructGPT. Вот как это сделали:
1. Сгенерировали несколько текстов запросов и наняли 40 людей, которые вручную составили к этим запросам ответы. Получили пары (запрос-ответ), на которых в обычном supervised режиме затюнили GPT-3;
2. Взяли затюненную с первого шага модель и попросили ее выдать несколько вариантов ответов на разные запросы. Попросили людей отранжировать ответы на каждый запрос: от самого релевантного, полного и правильного до самого плохого. На этих размеченных данных натренировали reward model (RM), которая по паре (запрос-ответ) дает оценку, насколько хорош этот ответ на запрос.
3. Используя RM, дообучили GPT-3 с шага 1 в reinforcement learning парадигме.
Вот так просто. В результате получилась модель, которая намного лучше (по мнению реальных людей) ведет диалог с человеком и отвечает на самые сложные вопросы.
Конечно, InstructGPT (и ChatGPT в частности) — далеко не AGI. У него все еще есть серьезные недостатки. Например:
- ChatGPT может врать. Например, на запрос “расскажи об эпохе возрождения” выдать правдоподобный бред. Это, опять же, неудивительно: при обучении ни GPT-3, ни InstsructGPT корректность ответов никак не регулировалась;
- Небольшое изменение текста запроса может сильно поменять ответ модели. Например, в одном случае она может выдать. “я не знаю”, а во втором — сгенерить вполне хороший ответ (проверено в соседнем чатике, это действительно так);
- В идеале авторы хотели бы, чтобы ChatGPT спрашивала уточняющие вопросы, если запрос пользователя не очень понятный. Но вместо этого модель чаще всего начинает сразу писать ответ, как бы “угадывая”, что именно хотел пользователь;
- Ну и наша любимая тема: bias, hate speech и все такое. ChatGPT все же может выдавать плохие шутки и подобное, как бы авторы ни старались это нивелировать ¯\_(ツ)_/¯
Статья InstructGPT
Мы все знаем GPT-3: огромная языковая модель, которая отлично умеет в генерацию правдоподобного, и даже имеющего нужный (почти всегда) смысл текста. Но в роли диалоговой системы (чат-бота) стандартный GPT-3 не слишком хорош: часто случается так, что он генерирует текст, совсем не соответствующий запросу юзера. Это неудивительно, ведь GPT-3 обучался на текстах из интернета, а не парах “запрос-ответ”, и во время обучения цель модели была генерировать правдоподобный текст (предсказывать следующий токен на основе предыдущих), а не “выдать текст, соответствующий запросу юзера”.
В OpenAI решили затюнить GPT-3 специально на задачу взаимодействия с пользователем, и получили InstructGPT. Вот как это сделали:
1. Сгенерировали несколько текстов запросов и наняли 40 людей, которые вручную составили к этим запросам ответы. Получили пары (запрос-ответ), на которых в обычном supervised режиме затюнили GPT-3;
2. Взяли затюненную с первого шага модель и попросили ее выдать несколько вариантов ответов на разные запросы. Попросили людей отранжировать ответы на каждый запрос: от самого релевантного, полного и правильного до самого плохого. На этих размеченных данных натренировали reward model (RM), которая по паре (запрос-ответ) дает оценку, насколько хорош этот ответ на запрос.
3. Используя RM, дообучили GPT-3 с шага 1 в reinforcement learning парадигме.
Вот так просто. В результате получилась модель, которая намного лучше (по мнению реальных людей) ведет диалог с человеком и отвечает на самые сложные вопросы.
Конечно, InstructGPT (и ChatGPT в частности) — далеко не AGI. У него все еще есть серьезные недостатки. Например:
- ChatGPT может врать. Например, на запрос “расскажи об эпохе возрождения” выдать правдоподобный бред. Это, опять же, неудивительно: при обучении ни GPT-3, ни InstsructGPT корректность ответов никак не регулировалась;
- Небольшое изменение текста запроса может сильно поменять ответ модели. Например, в одном случае она может выдать. “я не знаю”, а во втором — сгенерить вполне хороший ответ (проверено в соседнем чатике, это действительно так);
- В идеале авторы хотели бы, чтобы ChatGPT спрашивала уточняющие вопросы, если запрос пользователя не очень понятный. Но вместо этого модель чаще всего начинает сразу писать ответ, как бы “угадывая”, что именно хотел пользователь;
- Ну и наша любимая тема: bias, hate speech и все такое. ChatGPT все же может выдавать плохие шутки и подобное, как бы авторы ни старались это нивелировать ¯\_(ツ)_/¯
Статья InstructGPT
❤1
Forwarded from DLStories
A Generalist Neural Algorithmic Learner
А еще на основе своего датасета CLRS-30 DeepMind обучили графовую нейросеть решать все эти 30 алгоритмических задач.
Модель устроена по тому же принципу, что и большинство моделей для решения сразу большого набора задач. Она состоит из трех частей (см картинку):
- Нескольких отдельных голов-энкодеров, каждая из которых кодирует вход для одной из тридцати задач. Каждый энкодер принимает на вход граф и кодирует информацию в его вершинах и ребрах в общее пространство эмбеддингов. Получается набор (x_i, e_ij, g), где x_i — эмбеддинги вершин графа, e_ij — эмбеддинги ребер графа и g — эмбеддинг графа в целом.
- Одной центральной части-процессора P, который обрабатывает вход из голов. P — это графовая нейросеть, она принимает и выдает на выход информацию в виде набора эмбеддингов вершин, ребер и графа (x_i, e_ij, g)
- Нескольких отдельных голов-декодеров, каждая из которых декодирует выход процессора P из общего пространства эмбеддингов в вид графа;
Работает это вес довольно неплохо, намного лучше других ранее придуманных алгоритмов (DeepMind протестили несколько из них на CLRS-30 и сравнили метрики). По F1-micro в среднем получается 74%, что, кажется, довольно неплохо. У лучшего конкурента F1-micro около 50%
Подробнее о модели читайте в статье
А еще на основе своего датасета CLRS-30 DeepMind обучили графовую нейросеть решать все эти 30 алгоритмических задач.
Модель устроена по тому же принципу, что и большинство моделей для решения сразу большого набора задач. Она состоит из трех частей (см картинку):
- Нескольких отдельных голов-энкодеров, каждая из которых кодирует вход для одной из тридцати задач. Каждый энкодер принимает на вход граф и кодирует информацию в его вершинах и ребрах в общее пространство эмбеддингов. Получается набор (x_i, e_ij, g), где x_i — эмбеддинги вершин графа, e_ij — эмбеддинги ребер графа и g — эмбеддинг графа в целом.
- Одной центральной части-процессора P, который обрабатывает вход из голов. P — это графовая нейросеть, она принимает и выдает на выход информацию в виде набора эмбеддингов вершин, ребер и графа (x_i, e_ij, g)
- Нескольких отдельных голов-декодеров, каждая из которых декодирует выход процессора P из общего пространства эмбеддингов в вид графа;
Работает это вес довольно неплохо, намного лучше других ранее придуманных алгоритмов (DeepMind протестили несколько из них на CLRS-30 и сравнили метрики). По F1-micro в среднем получается 74%, что, кажется, довольно неплохо. У лучшего конкурента F1-micro около 50%
Подробнее о модели читайте в статье
❤1
#dating #ml
Кто пробовал Тиндер, Баду? Да, там хотя бы есть люди, в отличие от других сайтов знакомств.
Но… Меня одного раздражает необходимость ручного отсеивания сотен кандидатов? Ну можно же по моим свайпам быстро понять, на что я смотрю (в, скажем, фото или анкете), и кого мне надо показывать, а кого нет? Или это специально НЕ делается, чтобы юзеры проводили в приложении месяцы, покупая подписку? Но почему эта опция не продается за бОльшие деньги тогда? Я точно видел, что в тиндере в штате дата сайентисты есть...
Поправочка. У Тиндера всё же есть что-то подобное, Top Picks, но как же примитивно это сделано...
https://www.youtube.com/watch?v=4ixKONimf1g&ab_channel=TextGod
Кто пробовал Тиндер, Баду? Да, там хотя бы есть люди, в отличие от других сайтов знакомств.
Но… Меня одного раздражает необходимость ручного отсеивания сотен кандидатов? Ну можно же по моим свайпам быстро понять, на что я смотрю (в, скажем, фото или анкете), и кого мне надо показывать, а кого нет? Или это специально НЕ делается, чтобы юзеры проводили в приложении месяцы, покупая подписку? Но почему эта опция не продается за бОльшие деньги тогда? Я точно видел, что в тиндере в штате дата сайентисты есть...
Поправочка. У Тиндера всё же есть что-то подобное, Top Picks, но как же примитивно это сделано...
https://www.youtube.com/watch?v=4ixKONimf1g&ab_channel=TextGod
YouTube
Tinder Top Picks Explained (A Reason to Get Tinder Gold?!)
How do Tinder Top Picks work? The feature is explained by Tinder coach Louis Farfields.
Article: https://textgod.com/tinder-top-picks/
The 10 Texts That Always Work:
http://textgod.com/bonus-ten-texts-that-always-work/
The Clickbait Opener:
http://textgod.com/secret…
Article: https://textgod.com/tinder-top-picks/
The 10 Texts That Always Work:
http://textgod.com/bonus-ten-texts-that-always-work/
The Clickbait Opener:
http://textgod.com/secret…
😁3