Как болтали первые языковые модели
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
👍39🔥8❤5
This media is not supported in your browser
VIEW IN TELEGRAM
Они растут так быстро 🥲
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108😁20👍12❤8🤨4
В Photoshop только что вышел Firefly 3. Можно догенерировать что угодно в любом месте на фото, поменять фон, одежду, удалить что-нибудь и так далее.
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы👇
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🔥14👍7
Приз зрительских симпатий достается…
Anonymous Poll
56%
Midjourney 6
20%
Midjourney 5.2
3%
Firefly 2
20%
Firefly 3
👍14🔥6😁5❤1
Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
👍33🥰10❤7😐3😎2
Forwarded from XOR
Кстати, компания выложила не только модели, а вообще все, что с ними связано — так они надеются ускорить подготовку ИИ к релизу, а заодно завоевать доверие публики. Все модели предназначены для локальной работы, а самая большая из них, OLMo, обучалась аж на 3 миллиардах токенов.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍11❤4🌚2🤨2🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
POV: я и мои шикарно задизайненные A/B тесты
❤57😁48🔥12👍3💋1
Разбираемся с файн-тюнингом, многозадачностью и вот этим всем
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
🔥64👍19❤6👏1
Аккуратнее с ними: Llama-3 знает ваше местоположение, но не признается в этом
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
Блоггер спросил у Llama-3, где находится ближайший к нему МакДональдс, и получил верные координаты.
После этого он стал спрашивать у модели, откуда у нее эта информация, в ответ на что получил очень правдоподобное (нет) и настойчивое вранье о том, что никакую геолокацию она не знает, а верный ответ… просто угадала.
Неловко получилось.
😁152🔥13😨11👍6❤2🤔2
Погнали с нами в летнюю школу от НИУ ВШЭ?
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что тыделал прошлым делаешь этим летом.
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Кстати, редакторы Data Secrets тоже примут участие 😉
Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам:
- Введение в NLP
- Advanced NLP
- Computer vision
- Speech Recognition
- Music and signal processing
Каждый день вы слушаете лекции от исследователей из зарубежных вузов и специалистов из СБЕРа, Центра речевых технологий и других лидеров индустрии.
Вы погружаетесь в неформальное общение с преподавателями, студентами, аспирантами, учеными и экспертами из индустрии. А в конце делаете свой собственный постер на крутейшую постерную сессию.
Мечта? Нет, реальность: это ISSCAI от вышки, который пройдет с 1 по 7 июля.
В общем, если ты студент-старшекурсник, аспирант или молодой ML-разработчик, то мы знаем, что ты
Ладно-ладно, решайте сами, но поторопитесь: количество мест ограничено и заявки принимаются до 15 мая. Тыкать сюда: https://spb.hse.ru/isscai/.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34❤11🔥9🤯1
Учитель физкультуры школы округа Балтимор в США пытался подставить директора с помощью ИИ
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
Он клонировал голос директора и сгенерировал запись, где тот делает расистские и антисемитские высказывания. А все потому, что директор начал расследование по поводу нецелевого расходования средств школы.
Пока неясно, какую именно модель использовал физрук, но попытка была хороша.
😁82👍12🔥6🙈5
Data Secrets
Недавно OpenAI начали выдавать доступы к SORA людям из арт-сообщества (художникам, режиссерам и др). Получился очень мудрый маркетинговый ход: креаторы не только дали фидбэк по модели, но и нагенерили целые арт-хаусы и мини-драмы, которые уже разлетелись по…
Помните тот сгенерированный SORA фильм про человека с воздушным шаром вместо головы?
Так вот, тут всплыло, что не все так радужно. Оказывается, специалистам пришлось нехило поработать над тем, что выплюнула SORA, прежде чем это превратилось в то, что мы видели.
В «голых» выхлопах постоянно менялся цвет шара, на шаре появлялось лицо, или у человека вообще появлялась возникала голова.
В общем, кажется в SORA еще есть, над чем работать. Надеемся, обещания Миры Мурати о появлении SORA в общем доступе в этом году не были пустыми. Очень хочется уже потрогать модель своими руками.
Так вот, тут всплыло, что не все так радужно. Оказывается, специалистам пришлось нехило поработать над тем, что выплюнула SORA, прежде чем это превратилось в то, что мы видели.
В «голых» выхлопах постоянно менялся цвет шара, на шаре появлялось лицо, или у человека вообще появлялась возникала голова.
В общем, кажется в SORA еще есть, над чем работать. Надеемся, обещания Миры Мурати о появлении SORA в общем доступе в этом году не были пустыми. Очень хочется уже потрогать модель своими руками.
🔥44👍15❤6😁4