partially unsupervised
Применил на работе прием, который считал общеизвестным, но, судя по реакции коллег, это не совсем так. Потому расскажу и здесь! Предположим, для какой-то ML задачи нужна ручная разметка данных, и расходы сколько-то заметны💰 (а значит, в 2023 их наверняка…
https://3dnews.ru/1080716/iibot-chatgpt-s-uspehom-sdal-vipusknoy-ekzamen-v-prestignoy-shkole-biznesa
#chatgpt
"Профессор отметил, что ИИ-бот «потрясающе справляется с основными вопросами управления операциями и анализа процессов, включая те, которые основаны на тематических исследованиях», добавив, что наблюдались и проблемы при ответах на «более сложные вопросы анализа процессов».
Однако, по мнению преподавателя, в итоге ChatGPT «получил бы на экзамене оценку от B до B-». Хотя это не высший балл, он является проходным, и экзамен считается сданным. Профессор также сообщил, что ИИ-бот «хорошо показал себя при подготовке юридических документов, и некоторые считают, что следующее поколение этой технологии может даже сдать экзамен на адвоката».
Предприниматель-миллиардер Марк Кьюбан (Mark Cuban) отметил, что ChatGPT находится «всего лишь в зачаточном состоянии». «Представьте, как будет выглядеть GPT 10-го поколения», — добавил он.
С ним согласен Эндрю Кароли (Andrew Karolyi), декан бизнес-колледжа SC Johnson в Корнельском университете, заявивший на этой неделе газете Financial Times: «Мы все знаем наверняка, что ChatGPT никуда не денется. Во всяком случае, эти ИИ-технологии будут становиться всё лучше и лучше. Руководству факультетов и университетов необходимо инвестировать в образование».
«Я считаю, что ИИ не заменит людей, но люди, которые используют ИИ, собираются заменить людей», — сообщила Financial Times Кара МакВильямс (Kara McWilliams), глава лаборатории ETS Product Innovation Labs, разработавшей инструмент для выявления использования ИИ при ответах.
Тервиш отметил влияние, которое произвело появление электронных калькуляторов, и предположив, что нечто подобное может произойти с такими решениями, как ChatGPT. «До появления калькуляторов и других вычислительных устройств многие фирмы нанимали сотни сотрудников, чьей задачей было ручное выполнение математических операций, таких как умножение или преобразование матриц, — написал Тервиш в исследовании. — Очевидно, что такие задачи теперь автоматизированы, и ценность связанных с ними навыков резко снизилась. Точно так же любая автоматизация навыков, которым обучают на наших программах MBA, потенциально может снизить ценность образования»."
#chatgpt
"Профессор отметил, что ИИ-бот «потрясающе справляется с основными вопросами управления операциями и анализа процессов, включая те, которые основаны на тематических исследованиях», добавив, что наблюдались и проблемы при ответах на «более сложные вопросы анализа процессов».
Однако, по мнению преподавателя, в итоге ChatGPT «получил бы на экзамене оценку от B до B-». Хотя это не высший балл, он является проходным, и экзамен считается сданным. Профессор также сообщил, что ИИ-бот «хорошо показал себя при подготовке юридических документов, и некоторые считают, что следующее поколение этой технологии может даже сдать экзамен на адвоката».
Предприниматель-миллиардер Марк Кьюбан (Mark Cuban) отметил, что ChatGPT находится «всего лишь в зачаточном состоянии». «Представьте, как будет выглядеть GPT 10-го поколения», — добавил он.
С ним согласен Эндрю Кароли (Andrew Karolyi), декан бизнес-колледжа SC Johnson в Корнельском университете, заявивший на этой неделе газете Financial Times: «Мы все знаем наверняка, что ChatGPT никуда не денется. Во всяком случае, эти ИИ-технологии будут становиться всё лучше и лучше. Руководству факультетов и университетов необходимо инвестировать в образование».
«Я считаю, что ИИ не заменит людей, но люди, которые используют ИИ, собираются заменить людей», — сообщила Financial Times Кара МакВильямс (Kara McWilliams), глава лаборатории ETS Product Innovation Labs, разработавшей инструмент для выявления использования ИИ при ответах.
Тервиш отметил влияние, которое произвело появление электронных калькуляторов, и предположив, что нечто подобное может произойти с такими решениями, как ChatGPT. «До появления калькуляторов и других вычислительных устройств многие фирмы нанимали сотни сотрудников, чьей задачей было ручное выполнение математических операций, таких как умножение или преобразование матриц, — написал Тервиш в исследовании. — Очевидно, что такие задачи теперь автоматизированы, и ценность связанных с ними навыков резко снизилась. Точно так же любая автоматизация навыков, которым обучают на наших программах MBA, потенциально может снизить ценность образования»."
❤1
Forwarded from Техножрица 👩💻👩🏫👩🔧
Попробовала вручную потестировать ChatGPT на логическом датасете: https://github.com/google/BIG-bench/tree/main/bigbench/benchmark_tasks/formal_fallacies_syllogisms_negation , задав ей 30 вопросов из него.
В этом задании модели дается логический вывод, сформулированный на естественном языке, и задается вопрос, правилен ли этот логический вывод или нет.
Результаты получились неутешительными: модель дала 57% правильных ответов (17 из 30), в то время как случайное угадывание дает 50%. Если прокрутить вниз страницу по ссылке, можно увидеть, что этот результат близок к коридору, в котором находятся результаты публично доступных моделей.
При этом соотношение правильных/неправильных ответов постоянно флуктуировало: среди первых десяти вопросов соотношение правильных/неправильных ответов было 4/6, среди второго десятка - 8/2, среди третьего - 5/5.
В общем, пока не видно свидетельств в пользу того, чтобы ChatGPT действительно понимал логические рассуждения (что и неудивительно, учитывая, что его архитектура вряд ли существенно отличается от GPT-3). А это значит, что все еще рискованно использовать его для решения задач, в которых требуется произвести серьезные рассуждения на какую-то тему, а не просто показать хорошую память или налить воду.
Напоследок на всякий случай напомню, что мое "тестирование" ChatGPT ненадежно из-за того, что количество примеров, которые я могу вбить вручную, не очень большое, а значит, и оценка получается неточная. Жаль, что OpenAI все еще не торопится выкладывать результаты полноценного тестирования ChatGPT на датасетах разной направленности с сотнями и тысячами тестовых примеров. Люди могли бы более осмысленно использовать этот инструмент, если бы с помощью такого полноценного тестирования были четко и ясно обозначены границы его применимости. Правда, тогда бы и хайп про AGI мог слегка приутихнуть... 😏
P.S. На картинках примеры неправильных ответов. Рис.1 - классическая логическая ошибка, неправильный вывод считается правильным. Рис.2 - ошибка обратного характера.
#генерация
В этом задании модели дается логический вывод, сформулированный на естественном языке, и задается вопрос, правилен ли этот логический вывод или нет.
Результаты получились неутешительными: модель дала 57% правильных ответов (17 из 30), в то время как случайное угадывание дает 50%. Если прокрутить вниз страницу по ссылке, можно увидеть, что этот результат близок к коридору, в котором находятся результаты публично доступных моделей.
При этом соотношение правильных/неправильных ответов постоянно флуктуировало: среди первых десяти вопросов соотношение правильных/неправильных ответов было 4/6, среди второго десятка - 8/2, среди третьего - 5/5.
В общем, пока не видно свидетельств в пользу того, чтобы ChatGPT действительно понимал логические рассуждения (что и неудивительно, учитывая, что его архитектура вряд ли существенно отличается от GPT-3). А это значит, что все еще рискованно использовать его для решения задач, в которых требуется произвести серьезные рассуждения на какую-то тему, а не просто показать хорошую память или налить воду.
Напоследок на всякий случай напомню, что мое "тестирование" ChatGPT ненадежно из-за того, что количество примеров, которые я могу вбить вручную, не очень большое, а значит, и оценка получается неточная. Жаль, что OpenAI все еще не торопится выкладывать результаты полноценного тестирования ChatGPT на датасетах разной направленности с сотнями и тысячами тестовых примеров. Люди могли бы более осмысленно использовать этот инструмент, если бы с помощью такого полноценного тестирования были четко и ясно обозначены границы его применимости. Правда, тогда бы и хайп про AGI мог слегка приутихнуть... 😏
P.S. На картинках примеры неправильных ответов. Рис.1 - классическая логическая ошибка, неправильный вывод считается правильным. Рис.2 - ошибка обратного характера.
#генерация
❤3
Вроде изучаю Питон уже 6-й год, а только сейчас узнал про casefold
Anonymous Poll
0%
Я знаю и пользуюсь
7%
Я знаю и не пользуюсь. lower() рулит!
93%
Я не знаю и не пользуюсь. lower() forever!
✍1
https://towardsdatascience.com/beware-of-using-the-str-casefold-method-when-dealing-with-strings-in-python-bd7b7ccd59ea
#python #gems
#python #gems
Medium
Beware of Using the Casefold() Method when Dealing with Strings in Python
Although string handling in Python seems quite easy and fun, attention should be paid to the right use of certain methods; str.casefold()…
#python #tricks #nwise #casefold #rml #tee
Собственно, где я и заметил использование casefold. Стоит посмотреть полностью, если кто не знал.
https://www.youtube.com/watch?v=iE5QLrzkGBU
Собственно, где я и заметил использование casefold. Стоит посмотреть полностью, если кто не знал.
https://www.youtube.com/watch?v=iE5QLrzkGBU
YouTube
James Powell- Why do I need to know Python- I'm a pandas user | PyData NYC 2022
It's common for data scientists to narrowly focus on the APIs of the tools they use every day—pandas, matplotlib, pymc, dask, &c.—to the detriment of any focus on the surrounding programming language. In the case of tools like matplotlib, the total amount…
❤1
https://www.youtube.com/watch?v=7uB7Bx8XU_g&ab_channel=MercuryClassicsMusic
#openings #broadchurch
Through dark and light I fight to be
So close,
Shadows and lies mask you from me
So close,
Bath my skin the darkness within
So close,
The war of our lives no one can win
The missing piece I yearn to find
So close,
Please clear the anguish from my mind
So close,
But when the truth of you comes clear,
So close,
I wish my life I'd never come near,
So close.
https://soundcloud.com/mercurykx/02-so-close-ft-arn-r-dan?in=mercurykx/sets/broadchurch-ep
#openings #broadchurch
Through dark and light I fight to be
So close,
Shadows and lies mask you from me
So close,
Bath my skin the darkness within
So close,
The war of our lives no one can win
The missing piece I yearn to find
So close,
Please clear the anguish from my mind
So close,
But when the truth of you comes clear,
So close,
I wish my life I'd never come near,
So close.
https://soundcloud.com/mercurykx/02-so-close-ft-arn-r-dan?in=mercurykx/sets/broadchurch-ep
YouTube
Broadchurch Trailer - Soundtrack by Olafur Arnalds
Soundtrack to hit ITV drama Broadchurch by Ólafur Arnalds now available for download:
iTunes: http://smarturl.it/iTunesBroadchurch
Amazon: http://smarturl.it/BroadchurchOlafurA
Ólafur Arnalds Facebook: http://po.st/uLhJkX
Ólafur Arnalds Twitter: http://po.st/LoLnTT…
iTunes: http://smarturl.it/iTunesBroadchurch
Amazon: http://smarturl.it/BroadchurchOlafurA
Ólafur Arnalds Facebook: http://po.st/uLhJkX
Ólafur Arnalds Twitter: http://po.st/LoLnTT…
❤1
Forwarded from Время Валеры
Мой друг Игорь написал подробную статью про ChatGPT - которая скорее является полноценным обзором, который зайдет как новичкам, так и спецам. Советую прочитать
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Еще у него есть Телеграм Канал, но это уже на ваш страх и риск
Хабр
ChatGPT как инструмент для поиска: решаем основную проблему
Вышедшая чуть больше месяца назад ChatGPT уже успела нашуметь: школьникам в Нью-Йорке запрещают использовать нейросеть в качестве помощника, её же ответы теперь не принимаются на StackOverflow, а...
❤1
Интересно, какого фига matplotlib по уравнению rho=2*cos(phi) мне рисует кардиоиду? Фольфрам же даёт окружность. Плотли даёт вообще какую-то хрень...
Намутил issue
Намутил issue
🤔4
#ml #explainability #shap
Что, если кэфы Шеппли вычисляются слишком долго? Давайте попробуем при их вычислении уйти от подстановки всех значений переменной в сторону полного переобучения модели БЕЗ этой переменной (Naive Shapley), подумал автор этого поста. Идея интересная, только реальным сравнением и можно выявить слабости существующих инструментов (см. пост выше про баг в матплотлибе). Но, мне кажется, картинка из бенча самого автора весьма выразительна.
Что, если кэфы Шеппли вычисляются слишком долго? Давайте попробуем при их вычислении уйти от подстановки всех значений переменной в сторону полного переобучения модели БЕЗ этой переменной (Naive Shapley), подумал автор этого поста. Идея интересная, только реальным сравнением и можно выявить слабости существующих инструментов (см. пост выше про баг в матплотлибе). Но, мне кажется, картинка из бенча самого автора весьма выразительна.
❤1👀1
#ml #explainability #shap
"Prediction is a game played by the feature values."
https://christophm.github.io/interpretable-ml-book/shapley.html
"Prediction is a game played by the feature values."
https://christophm.github.io/interpretable-ml-book/shapley.html
❤1
А Вы знали, что в задачах несбалансированной классификации задание бОльшего веса для миноритарного класса уничтожает калиброванность классификатора?
Anonymous Poll
36%
Это вопрос спорный
14%
Это утверждение неверно
50%
А ведь и правда! Буду знать!
0%
Уже это знала/знал.
На чём будет правильнее считать важность признаков бизнес-процесса с SHAP (модель, как обычно, обучается на train, для early stopping (validation set) берётся часть train)? коммент "почему так" приветствуется.
Anonymous Poll
21%
на train
50%
на test
29%
на whole dataset
0%
нет разницы
#ml #shap #interpretability #robustness
Вы работаете над задачей объяснения вклада признаков в результат некоторого бизнес-процесса. Натренировали неплохую модель (видите, что на test предсказания значимо лучше случайного гадания aka DummyClassifier). Посчитали кэфы Шепли, отсортировали по модулю, и собираетесь уже презентовать в статье/руководству/заказчику. И вдруг, перезапустив обучение, видите, что с новым инстансом классификатора список фичей существенно изменил порядок: некоторые фичи в списке упали, другие взлетели.
Вы работаете над задачей объяснения вклада признаков в результат некоторого бизнес-процесса. Натренировали неплохую модель (видите, что на test предсказания значимо лучше случайного гадания aka DummyClassifier). Посчитали кэфы Шепли, отсортировали по модулю, и собираетесь уже презентовать в статье/руководству/заказчику. И вдруг, перезапустив обучение, видите, что с новым инстансом классификатора список фичей существенно изменил порядок: некоторые фичи в списке упали, другие взлетели.
😢1
↑ Что сделаете, если важность некоторых признаков существенно меняется от обучения к обучению?
Anonymous Poll
0%
Зафиксирую random_seed и притворюсь что проблемы нет
13%
Это ок, т.к. модель случайна, а в данных есть мультиколлинеарность. Выберу 1 из классификаторов
87%
Организую Cross-Validation и посчитаю SHAP на CV многими инстансами, итоги усредню.