Ничто не ново под луной: промышленная революция 19 века
Цифровую революцию сегодня сравнивают с индустриальной XIX в. Главный страх - искусственный интеллект сделает ненужными навыки, необходимые для рутинных работ, потеснит белых воротничков средней и низкой квалификации. Получается, сеньорам опасаться нечего?
В 19 веке, когда на смену ручному труду пришли машины, больше всего сократилась доля как раз квалифицированных работников, и при том аж на 17 процентных пунктов. Есть две основных причины, давайте проводить параллели:
⚪️ В целом, количество рабочих мест увеличилось. Однако на эти места не требовались квалифицированные ремесленники: нужны были как раз более дешевые рабочие, которые могли просто управиться со станком. Сегодня ситуация похожая: прогнозы на рост рабочих мест, «машины», которые могут автоматизировать некоторые процессы, и люди, от которых потребуется только грамотно обращаться с «машиной».
⚪️ Квалифицированные рабочие в 19 веке часто работали на себя, например, в лавке. С наступлением эры машин сохранили свое дело только те, кто вовремя внедрил технологию. Остальные перешли в разряд рядовых работяг и ушли на завод. И снова параллель: фрилансеры и держатели малого бизнеса (а это, конечно, квалифицированные ребята), возможно, станут менее востребованы и потеряют работу, пока джуны в корпорациях будут спокойно продолжать кодить промптами.
История не врет. С другой стороны, в этот раз автоматизация происходит совсем на другом уровне, да и сами «автоматизаторы» ака ИИ – гораздо более сложные. В какой исход больше верится?
Цифровую революцию сегодня сравнивают с индустриальной XIX в. Главный страх - искусственный интеллект сделает ненужными навыки, необходимые для рутинных работ, потеснит белых воротничков средней и низкой квалификации. Получается, сеньорам опасаться нечего?
В 19 веке, когда на смену ручному труду пришли машины, больше всего сократилась доля как раз квалифицированных работников, и при том аж на 17 процентных пунктов. Есть две основных причины, давайте проводить параллели:
История не врет. С другой стороны, в этот раз автоматизация происходит совсем на другом уровне, да и сами «автоматизаторы» ака ИИ – гораздо более сложные. В какой исход больше верится?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍36❤11🔥7😁2
Спор о науке между Лекуном и Маском зашел настолько далеко, что об этом начали писать крупные научные журналы 🤯
Это – статья в журнале Nature, в которой подробно разбирается точка зрения Лекуна и то, почему она спорная. Если кратко – Ян говорит, что все, что не публикуется - не наука, потому что это не воспроизводимо и если общество не узнаёт об исследовании, оно не умеет смысла.
В противовес мнение Маска и другого крупного бизнесмена, Палмера Лаки: только 40% исследований публикуется, остальное – это частные ресерчи компаний или государств. То есть наука – это часто просто метод для достижения совсем других целей.
Другой известный ученый, Питер Ковени, тоже принял сторону Маска. «А вообще, эта дискуссия далека от научного спора и имеет мало смысла» - добавил он.
Время голосовать🔵 🔵
Это – статья в журнале Nature, в которой подробно разбирается точка зрения Лекуна и то, почему она спорная. Если кратко – Ян говорит, что все, что не публикуется - не наука, потому что это не воспроизводимо и если общество не узнаёт об исследовании, оно не умеет смысла.
В противовес мнение Маска и другого крупного бизнесмена, Палмера Лаки: только 40% исследований публикуется, остальное – это частные ресерчи компаний или государств. То есть наука – это часто просто метод для достижения совсем других целей.
Другой известный ученый, Питер Ковени, тоже принял сторону Маска. «А вообще, эта дискуссия далека от научного спора и имеет мало смысла» - добавил он.
Время голосовать
Please open Telegram to view this post
VIEW IN TELEGRAM
Gemini тут прорвалась наверх лидерборда LMSYS
– Gemini 1.5 Pro/Advanced на втором месте, с небольшим отрывом от GPT-4o
- Gemini 1.5 Flash на #9, превосходя по производительности Llama-3-70b и почти достигая GPT-4-0125 (!)
Контекст в 2млн токенов делает свое дело. Однако молчаливое повышение цен даже такие успехи не оправдывают
– Gemini 1.5 Pro/Advanced на втором месте, с небольшим отрывом от GPT-4o
- Gemini 1.5 Flash на #9, превосходя по производительности Llama-3-70b и почти достигая GPT-4-0125 (!)
Контекст в 2млн токенов делает свое дело. Однако молчаливое повышение цен даже такие успехи не оправдывают
🔥33😁10👍6🤔2❤1
Если рассказать голосовому ChatGPT незамысловатую сказку, бот может ответить почти на любые запрещенные вопросы
Эти выяснили специалисты по инфобезу из CISPA. Они сначала просто задавали боту вопросы по запрещенным темам (незаконная деятельность, порнография и тд), а затем делали то же самое, перед этим поместив GPT в центр какого-то повествования. Пример на картинке.
Оказалось, что такое «очеловечивание» вообще выбивает из бота всю цензуру: успех атаки увеличился на 74пп! Для некоторых тем показатель был близок к 90%.
Надо обратить внимание, что тестили они именно голосовую фичу в текущем приложении, а там все еще стоит обычный голосовой режим с несколькими моделями, а не с одной мультимодальной GPT-4o. Тем не менее, дела это не меняет
А вы и дальше распускайте свои SuperAlignment команды
Эти выяснили специалисты по инфобезу из CISPA. Они сначала просто задавали боту вопросы по запрещенным темам (незаконная деятельность, порнография и тд), а затем делали то же самое, перед этим поместив GPT в центр какого-то повествования. Пример на картинке.
Оказалось, что такое «очеловечивание» вообще выбивает из бота всю цензуру: успех атаки увеличился на 74пп! Для некоторых тем показатель был близок к 90%.
Надо обратить внимание, что тестили они именно голосовую фичу в текущем приложении, а там все еще стоит обычный голосовой режим с несколькими моделями, а не с одной мультимодальной GPT-4o. Тем не менее, дела это не меняет
А вы и дальше распускайте свои SuperAlignment команды
🔥51😁24👍13🤪5❤2🫡2🆒1
Nvidia опубликовала веса для своей SOTA модели эмбеддингов NV-Embed-1, а также подробный технический отчет
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
Итак, NV-Embed – это эмбеддинги на основе Mistral 7B. Вместо обычного усреднения или EOS, которые используют другие методы, здесь для сжатия входов и получения эмбеддингов вводится дополнительный латентный слой внимания.
Обучение: на первом этапе используются QA датасеты, а на втором – размеченные под классификацию, кластеризацию и семантическое сходство. Конечно, как обычно это бывает для эмбеддингов, все учится на contrastive.
Отдельно в отчете отмечено, что большой скачок в качестве дали замешанные с разных тасков батчи (обычно таски смешиваются гомогенно).
По MTEB моделька превосходит все остальные, выбивая почти 70. Идеально для RAG.
❤49🔥15👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Boston Dynamics напряглись?
😁77 64🔥6❤3🦄3🍌2
ChatGPT считает, что все руководители - это мужчины, а женщины - секретари
Там компания Finder провела интересное расследование, в рамках которого выяснилось, что ИИ усиливает гендерные и расовые стереотипы. По запросу «генеральный директор успешной компании» DALLE сгенерировал 99% фото белых мужчин, хотя в реальности более 10% CEO - женщины, и только 74% генеральных директоров белые.
Но когда попросили создать изображения секретаря, то на девять из десяти картинках были женщины.
Там компания Finder провела интересное расследование, в рамках которого выяснилось, что ИИ усиливает гендерные и расовые стереотипы. По запросу «генеральный директор успешной компании» DALLE сгенерировал 99% фото белых мужчин, хотя в реальности более 10% CEO - женщины, и только 74% генеральных директоров белые.
Но когда попросили создать изображения секретаря, то на девять из десяти картинках были женщины.
ChatGPT не родился из вакуума. Он – отражение общества и его стереотипов. Когда я спрашиваю бота, как выглядит генеральный директор, он отмечает «чисто выбритое лицо или аккуратно подстриженную бороду». Когда его спрашивают, как выглядит секретарша, он дает описание, включающее «ухоженные волосы, минимум макияжа» – добавил Омар Карим, ресерчер из Лондонской школы экономики.
😁89😐20👍15 9💯7🍌3❤2🤨2🫡2🗿2
Закон Nvidia >> закон Мура
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
🔥89 17👍16😁9
This media is not supported in your browser
VIEW IN TELEGRAM
«Для таких людей, как я, LLM – это уже прошлое, сейчас они скучны» - Ян Лекун.
Наверное, с Маском разборки устраивать интереснее 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
У нас для вас отличные новости!
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
🔥19👍12😁10❤5 3🤯1🙈1
Годовая зарплата в $65 тыс. и активы на $2.8млрд? Легко, особенно когда ты Сэм Альтман. Итак, портфель CEO, который мы заслужили:
⚪️ 7,6% акций Reddit (на данный момент стоимость составляет более 700 миллионов долларов)
⚪️ Инвестировал 15 000 долларов в 2% акций Stripe в 2009 году (сегодня это 1,3 млрд долларов)
⚪️ Чек на 375 миллионов долларов в Helion, стартап в области ядерного синтеза (Microsoft является клиентом)
⚪️ Инвестиции в компанию Exowatt, которая производит контейнерные энергетические системы для датацентров
⚪️ Инвестиции в размере 180 миллионов долларов в Retro – стартап, который пытается увеличить продолжительность жизни человека
⚪️ Инвестиции в несколько ИИ-компаний, включая Rain AI (чипы), 15% Humane и Limitless
⚪️ Дома в Напе и на Гавайях
⚪️ Персональная кредитная линия от JP Morgan Chase, которая позволяет ему брать займы под залог стоимости своего личного портфеля
⚪️ Ну и коллекция спорткаров конечно, куда без них
Такие дела💰
Такие дела
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый супер-качественный датасет FineWeb-Edu от HuggingFace
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
👍45🔥12❤10
Пару дней назад Docker Hub пару дней назад ушёл из России и Беларуси из-за санкций США, но теперь вдруг передумал.
Сейчас
hub.docker.com снова доступен с российских IP-адресов, Please open Telegram to view this post
VIEW IN TELEGRAM
🔥66😁30👍13🗿4❤3
Forwarded from XOR
Ничего необычного, просто глава NVIDIA расписывается на груди фанатки.
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
👍69 33🔥12💅3🤯2