LLM не могут посчитать буквы «r» в слове «strawberry» 🍓

Исследователи выяснили, что большие языковые модели, такие как GPT-4o и Claude, не могут правильно подсчитать число букв «r» в слове «strawberry». Они выдают ответ, что эта буква встречается в слове дважды, а не трижды.

🧠 Большинство LLM построены на архитектуре трансформатора, который разбивает текст на токены в виде слов, слогов или букв. LLM на самом деле не читает текст. Когда вы вводите подсказку, она переводится в кодировку. Когда модель видит слово “the”, то получает его кодировку, при этом не понимая, что такое “T”, “H”, “E”». Затем числовые представления текста контекстуализируются, чтобы помочь ИИ выдать логический ответ.

Другими словами, ИИ понимает, что есть токены «straw» и «berry», которые вместе составляют «strawberry», но модель не знает, что это слово состоит из букв «s», «t», «r», «a», «w», «b», «e», «r», «r» и «y», и они располагаются именно в таком порядке.

Эту проблему нелегко исправить, поскольку она кроется в устройстве архитектуры моделей.

🥸 godnoTECH - Новости IT

Павла Дурова взяли под судебный надзор и запретили покидать Францию

Он обязан выплатить 5 млн евро залога и появляться в полиции дважды в неделю. Дуров окажется на формальной свободе, как только внесёт залог. Ему грозит до десяти лет тюрьмы.

Ну а в документе указаны 12 обвинений, среди которых соучастие в администрировании онлайн-платформы для проведения незаконных сделок.

🥸 godnoTECH - Новости IT

Япония построит зеттафлопсный суперкомпьютер — самый мощный в мире 💪

Так, планируется построить преемник суперкомпьютера «Фугаку» (Fugaku), который ранее был самым быстрым в мире. Институт физико-химических исследований (RIKEN) и компания Fujitsu начнут его разработку в следующем году.

Новый суперкомпьютер продемонстрирует производительность для алгоритмов искусственного интеллекта в 50 экзафлопс с пиковой производительностью зеттафлопсного масштаба в отдельных задачах. Зеттафлопс в тысячу раз быстрее экзафлопса. На первый год разработки системы министерство выделит 4,2 млрд иен ($29,05 млн), а общее государственное финансирование превысит 110 млрд иен ($761 млн).

🥸 godnoTECH - Новости IT

Швейцарский мозговой чип обогнал Neuralink по скорости и точности чтения мыслей 📕

Учёные создали нейрочип, способный быстро и с точностью 91 % распознавать рукописные буквы по сигналам мозга. Эта разработка значительно превзошла чип Neuralink по многим параметрам.

Экспериментальный чип MiBMI для считывания активности мозга в зоне формирования образов рукописных символов в 23 раза меньше современного чипа Neuralink. Более того, ему не нужно, как чипу Neuralink, запускать иглы десятков зондов в нервную ткань (с чем у разработчиков Neuralink уже возникли проблемы — зонды часто выскакивают или смещаются). Зонд MiBMI считывает информацию с поверхности коры головного мозга, что не повлияло на точность его работы.

В проведённых экспериментах чип MiBMI распознавал мысленное написание рукописных текстов с точностью 91 %. Стоит отметить, что чип не тестировался на живых людях; он обрабатывал сигналы, полученные в предыдущих экспериментах. В этом плане чип Neuralink, каким бы он ни казался устаревшим по сравнению с новинкой, уже разрешён для клинических испытаний на людях, а это его важное преимущество.

🥸 godnoTECH - Новости IT

Ночью Дуров покинул здание суда в Париже на частном автомобиле

Между тем, Еврокомиссия начала «техническое расследование» в отношении Telegram. Власти считают, что мессенджер занижал данные о количестве пользователях мессенджера, чтобы не попадать под закон о цифровых услугах.

🥸 godnoTECH - Новости IT

Один из директоров Intel ушёл из-за проблем с раздутым штатом и несогласия с планом оздоровления компании 🔍

Совет директоров Intel покинул Лип-Бу Тан (Lip-Bu Tan), бывший гендиректор компании по разработке программного обеспечения для микросхем Cadence Design. Свой уход он объяснил личным решением. Источники Reuters связывают его уход с несогласием с планом оздоровления Intel.

Лип-Бу Тан вошёл в совет директоров Intel два года назад в рамках плана по восстановлению позиций Intel как ведущего мирового производителя микросхем. По словам источников, со временем Тан начал разочаровываться в подходе к контрактному производству и бюрократической культуре Intel. Также он назвал раздутым штат компании. Патрик Гелсингер, возглавивший Intel в 2021 году, добавил не менее 20 000 сотрудников в штат к 2022 году.

По словам источников, вопрос сокращения рабочих мест был одним из поводов для напряжённости между Таном и другими членами совета директоров. Тан говорил, что Intel переполнена бюрократическим слоем менеджеров среднего звена, которые препятствуют прогрессу в подразделениях Intel по производству серверных и настольных чипов, и что их надо сокращать в первую очередь. Раздутый штат Intel, превышающий персонал Nvidia и Taiwan Semiconductor Manufacturing Co, вместе взятые, привёл к самодовольной и неконкурентной культуре, утверждают бывшие топ-менеджеры Intel.

Отказавшись от покупки Tower Semiconductor, Intel оказалась в сложном положении, поскольку у неё нет опыта работы с внешними клиентами для контрактного производства, утверждают источники Reuters. По словам одного из них, Тан также был разочарован тем, что совет директоров не последовал его рекомендациям по поводу того, как сделать производственный бизнес более ориентированным на клиента и устранить ненужную бюрократию.

🥸 godnoTECH - Новости IT

В Индонезии власти могут заблокировать мессенджер Telegram из-за его предполагаемой связи с распространением порнографии и азартными играми.

Также Южная Корея заявила о претензиях к Telegram - президент республики Юн Сок Ель призвал тщательнее расследовать преступления сексуального характера.

🥸 godnoTECH - Новости IT

SK hynix намерена создать первые в мире чипы DDR5 на передовом техпроцессе 1c

Компания SK hynix объявила о разработке первого в отрасли чипа DDR5 ёмкостью 16 Гбит, который будет выпускаться по технологическому процессу 1c — это самое передовое, шестое поколение технологии производства 10-нм класса.

Чипы DDR5 нового поколения 1c будут работать на скорости до 8 Гбит/с — на 11 % быстрее компонентов предыдущего, а их энергоэффективность удалось повысить более чем на 9 %.

🥸 godnoTECH - Новости IT

Меню «Пуск» в Windows 11 получило новую компоновку и улучшения

Microsoft работает над новым макетом для меню «Пуск» в Windows 11. С ним можно ознакомиться в последних предварительных сборках ОС, последний выпуск которой с номером 22635.4082 уже предлагает несколько небольших изменений.

Новый макет называется «Категории», и он автоматически сортирует все приложения по соответствующим категориям, создавая нечто похожее на библиотеку в iOS. В сборке 22635.4082 меню получило поддержку подсказок — можно навести курсор на определённый значок приложения, чтобы увидеть его название.

Microsoft также изменила список категорий приложений. Теперь они соответствуют всем 29 категориям Microsoft Store, таким как «Игры», «Путешествия», «Безопасность», «Социальные сети», «Музыка», «Инструменты разработчика», «Развлечения», «Спорт», «Покупки», «Новости» и т. д.

🥸 godnoTECH - Новости IT

Серверы с большими языковыми моделями ИИ могут сливать в интернет конфиденциальные данные

Сотни серверов с большими языковыми моделями с открытым кодом и десятки — с векторными базами данных способны передавать в открытый интернет информацию с высокой степенью конфиденциальности, гласят результаты исследования Legit.

Например, используя инструменты сканирования, эксперты обнаружили около 30 серверов с векторными базами данных в открытом интернете без каких-либо средств аутентификации, и в них была конфиденциальная информация: электронные письма от поставщика инженерных услуг; документы, полученные от специализирующейся на моде компании; персональные данные клиентов и финансовую информацию от поставщика промышленного оборудования; а также многое другое. В других базах были данные об объектах недвижимости, документация, технические паспорта товаров и даже используемая медицинским чат-ботом информация о пациентах.

🥸 godnoTECH - Новости IT

Китайские учёные создали магнитного робота-слизняка.

Его планируют применять внутри человеческого тела. По задумке, робот должен будет извлекать случайно проглоченные предметы.

🥸 godnoTECH - Новости IT

Бывший разработчик Blizzard рассказал, почему в современных играх так много микротранзакций

В 2010 году добавленная лошадь в WoW за $15 принесла компании больше денег, чем Starcraft II: Wings of Liberty.

🥸 godnoTECH - Новости IT

В Твиттере жалуются, что Adobe блокирует пиратский Фотошоп

И заодно пишут решение проблемы:
— Открываем Командную строку;
— Пишем notepad c:\WINDOWS\system32\drivers\etc\hosts;
— В конце файла вставляем все адреса из списка.

🥸 godnoTECH - Новости IT

Microsoft рассказала о первом ИИ-чипе Maia 100

Во время конференции Ignite 2023 Microsoft впервые объявила о разработке собственного чипа-ускорителя ИИ под названием Maia. Накануне на мероприятии Hot Chips 2024 компания поделилась спецификациями Maia 100.

Maia 100 — один из крупнейших процессоров, созданных на 5-нм узле TSMC, и он разработан специально для крупномасштабных рабочих нагрузок ИИ, развёрнутых в Azure.

Характеристики Maia 100:
• размер чипа — 820 мм2;
• корпус — процесс TSMC N5 с технологией интерпозера COWOS-S;
• HBM BW/Cap — 1,8 ТБ/с @ 64 ГБ HBM2E;
• Peak Dense Tensor POPS — 6 бит: 3, 9 бит: 1,5, BF16: 0,8;
• L1/L2 — 500 МБ;
• Backend Network BW — 600 ГБ/с (12X400 ГБ);
• Host BW (PCIe) = 32 ГБ/с PCIe Gen5X8;
• требования к TDP — 700 Вт;
• TDP — 500 Вт.

Пока неизвестно, откроет ли Microsoft ускорители Maia 100 для сторонних организаций.

🥸 godnoTECH - Новости IT