Forwarded from ML || DL
Attention Sinks: Allowing Attention Not To Pay Attention 🙅♂️
Нещодавно читав гарний пост про архітектуру GPT-OSS. Більшість змін порівняно з GPT2 були вже знайомі з таких відкритих архітектур як LLaMa, Qwen, або Gemma, але є одна цікава ідея, про яку раніше не чув — attention sinks.
Recap: Attention Patterns ✍️
Пригадаємо, що у механізмі уваги для кожного токену формується так званий attention pattern — ваги, з якими він “зверне увагу” на попередні токени з контексту (включно з ним самим).
Для кожної голови цей pattern буде різним: іноді увага звертається на попередній токен, іноді — на останнє згадане імʼя, іноді — на надані few-shot examples, тощо.
What’s the problem? 🤔
Через те, що attention pattern формується через softmax, сума його коефіцієнтів завжди дорівнює одиниці. Тобто кожний токен в будь-якому разі “змушений” звернути на щось увагу. Але справа в тому, що не існує текстів, для яких кожна з attention heads має зробити щось корисне — зазвичай більшість з них не є активними.
Тому часто голови уваги вивчають наступну поведінку: якщо жодна з ознак, яку вони очікують, не зустрічається у контексті, то вся увага просто йде на перші кілька токенів (саме вони й називаються attention sinks у оригінальній роботі, де це було виявлено). Тобто перші токени стають таким собі буфером, який не несе в собі корисного сенсу, і в який заглядають просто якщо в тексті не відбувається нічого надзвичайного.
Цей “хак” призводить до таких проблем як ускладнена інтерпретованість моделі, або погіршення якості при роботі з великими послідовностями, коли ці самі перші токени випадають з KV cache.
What’s the solution? ✅
Для уникнення цього є кілька способів (тик, тик), але реалізація від OpenAI здається найбільш елегантною.
Для кожної голови створюється додатковий параметр (sink), який конкатенується до рядків QK scores, і … це все 🙂 Ми отримуємо новий ”фейковий” елемент у softmax, який може перейняти увагу на себе, якщо жодного патерну не було виявлено. Так як голов зазвичай не багато, це не створює великого overhead, а зазначені раніше проблеми зникають.
Висновок: Цікавий приклад того, як інтерпретація дозволяє виявляти і вирішувати реальні проблеми в моделях, які важко було б ідентифікувати, сприймаючи їх як чорний ящик.
Нещодавно читав гарний пост про архітектуру GPT-OSS. Більшість змін порівняно з GPT2 були вже знайомі з таких відкритих архітектур як LLaMa, Qwen, або Gemma, але є одна цікава ідея, про яку раніше не чув — attention sinks.
Recap: Attention Patterns ✍️
Пригадаємо, що у механізмі уваги для кожного токену формується так званий attention pattern — ваги, з якими він “зверне увагу” на попередні токени з контексту (включно з ним самим).
Для кожної голови цей pattern буде різним: іноді увага звертається на попередній токен, іноді — на останнє згадане імʼя, іноді — на надані few-shot examples, тощо.
What’s the problem? 🤔
Через те, що attention pattern формується через softmax, сума його коефіцієнтів завжди дорівнює одиниці. Тобто кожний токен в будь-якому разі “змушений” звернути на щось увагу. Але справа в тому, що не існує текстів, для яких кожна з attention heads має зробити щось корисне — зазвичай більшість з них не є активними.
Тому часто голови уваги вивчають наступну поведінку: якщо жодна з ознак, яку вони очікують, не зустрічається у контексті, то вся увага просто йде на перші кілька токенів (саме вони й називаються attention sinks у оригінальній роботі, де це було виявлено). Тобто перші токени стають таким собі буфером, який не несе в собі корисного сенсу, і в який заглядають просто якщо в тексті не відбувається нічого надзвичайного.
Цей “хак” призводить до таких проблем як ускладнена інтерпретованість моделі, або погіршення якості при роботі з великими послідовностями, коли ці самі перші токени випадають з KV cache.
What’s the solution? ✅
Для уникнення цього є кілька способів (тик, тик), але реалізація від OpenAI здається найбільш елегантною.
Для кожної голови створюється додатковий параметр (sink), який конкатенується до рядків QK scores, і … це все 🙂 Ми отримуємо новий ”фейковий” елемент у softmax, який може перейняти увагу на себе, якщо жодного патерну не було виявлено. Так як голов зазвичай не багато, це не створює великого overhead, а зазначені раніше проблеми зникають.
Висновок: Цікавий приклад того, як інтерпретація дозволяє виявляти і вирішувати реальні проблеми в моделях, які важко було б ідентифікувати, сприймаючи їх як чорний ящик.
Sebastianraschka
From GPT-2 to gpt-oss: Analyzing the Architectural Advances
And How They Stack Up Against Qwen3
🔥13⚡3❤3
This media is not supported in your browser
VIEW IN TELEGRAM
Як думаєш, які з цих відео справжні? 🤔
Спойлер: вони всі ж такі реальні, як твої обіцянки жити з понеділка по новому.
Усі вони згенеровані новенькою Sora 2 від OpenAI . Тепер усе виглядає ще природніше: рухи об’єктів, звуки, діалоги – навіть помилки виглядають правдоподібно.
Якщо раніше баскетбольний м’яч міг просто зникнути й “телепортуватися” в кошик, то тепер він відскакує від підлоги, якщо гравець промахнувся⛹️♂️
Основні фічі:
👉🏻 Вперше модель не просто генерує картинку, а відтворює логіку реального світу – об'єкти поводяться так, як вони б поводились у житті.
👉🏻 Генерує людям всього 5 пальців (жарт!)
👉🏻 Підтримує кілька стилів: від реалістичних кінематографічних сцен до аніме.
👉🏻 Тепер можна додати себе у відео: достатньо один раз записати коротке відео й голос у застосунку і Sora зможе вставити твою зовнішність та голос у будь-який згенерований сюжет.
👉🏻 Запустили навіть iOS-додаток Sora (щось на кшталт TikTok майбутнього) – соцмережу на базі моделі, де можна створювати й реміксити відео, а також додавати свої “cameos” (аватар + голос). Додаток поки доступний у США та Канаді.
Як вам таке оновлення? 😁
Якщо раніше баскетбольний м’яч міг просто зникнути й “телепортуватися” в кошик, то тепер він відскакує від підлоги, якщо гравець промахнувся
Основні фічі:
👉🏻 Вперше модель не просто генерує картинку, а відтворює логіку реального світу – об'єкти поводяться так, як вони б поводились у житті.
👉🏻 Генерує людям всього 5 пальців (жарт!)
👉🏻 Підтримує кілька стилів: від реалістичних кінематографічних сцен до аніме.
👉🏻 Тепер можна додати себе у відео: достатньо один раз записати коротке відео й голос у застосунку і Sora зможе вставити твою зовнішність та голос у будь-який згенерований сюжет.
👉🏻 Запустили навіть iOS-додаток Sora (щось на кшталт TikTok майбутнього) – соцмережу на базі моделі, де можна створювати й реміксити відео, а також додавати свої “cameos” (аватар + голос). Додаток поки доступний у США та Канаді.
Як вам таке оновлення? 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11⚡4🔥2😁2
EdTech, HealthTech та AI стартапи, ви готові залучати інвестиції, вдосконалювати продукт та масштабуватись?
Challenger Accelerator запрошує вас приєднатись до когорти 4.0 на equity-free умовах. Бенефіти, які ви отримаєте:
▶️ $25К грант від UMAEF для переможця.
▶️ $75К + кредитів від USF на хмарні сервіси для 3-х кращих команд та ін. партнерські бенефіти.
▶️ Поїздка на Latitude59 для кращих стартапів.
▶️ 30+ годин індивідуального менторства від топових бізнес та технічних експертів програми.
▶️ 15+ годин воркшопів з практикуючими спеціалістами з product market fit, інвестпривабливості, маркетингу й продажів тощо.
▶️ Сесії з українськими та міжнародними інвесторами та рекомендації від них.
▶️ Нетворкінг та комьюніті івенти.
▶️ Пост акселераційну підтримку.
Умова для стартапів: мати від 2-х людей в команді та продукт на рівні MVP. Наявність перших клієнтів чи ринкової валідації буде перевагою.
📅 Гібридний формат участі з січня по квітень 2026 з Демо Днем у квітні.
Дедлайн подачі заявок — 20 листопада.
Реєстрація тут 👈🏻
Якщо ви хочете познайомитись з командою Challenger ближче, реєструйтесь на Challenger Startup Roast, який пройде 14 жовтня в Києві. У вас буде можливість запітчити своє рішення інвесторам і експертам та отримати зворотній зв’язок. Є можливість долучитись як гість: https://surl.li/uebbvn
Організатори: Civitta та RadarTech за підтримки #ESTDEV #FromThePeopleOfEstonia
Challenger Accelerator запрошує вас приєднатись до когорти 4.0 на equity-free умовах. Бенефіти, які ви отримаєте:
▶️ $25К грант від UMAEF для переможця.
▶️ $75К + кредитів від USF на хмарні сервіси для 3-х кращих команд та ін. партнерські бенефіти.
▶️ Поїздка на Latitude59 для кращих стартапів.
▶️ 30+ годин індивідуального менторства від топових бізнес та технічних експертів програми.
▶️ 15+ годин воркшопів з практикуючими спеціалістами з product market fit, інвестпривабливості, маркетингу й продажів тощо.
▶️ Сесії з українськими та міжнародними інвесторами та рекомендації від них.
▶️ Нетворкінг та комьюніті івенти.
▶️ Пост акселераційну підтримку.
Умова для стартапів: мати від 2-х людей в команді та продукт на рівні MVP. Наявність перших клієнтів чи ринкової валідації буде перевагою.
📅 Гібридний формат участі з січня по квітень 2026 з Демо Днем у квітні.
Дедлайн подачі заявок — 20 листопада.
Реєстрація тут 👈🏻
Якщо ви хочете познайомитись з командою Challenger ближче, реєструйтесь на Challenger Startup Roast, який пройде 14 жовтня в Києві. У вас буде можливість запітчити своє рішення інвесторам і експертам та отримати зворотній зв’язок. Є можливість долучитись як гість: https://surl.li/uebbvn
Організатори: Civitta та RadarTech за підтримки #ESTDEV #FromThePeopleOfEstonia
❤11⚡4🤩3
🤖 AI допомагає відкривати нові математичні структури!
DeepMind запустили AlphaEvolve – LLM-агента, який допомагає відкривати нові комбінаційні структури та просувати теоретичну комп’ютерну науку вперед.
AlphaEvolve не просто пише код, він його еволюціонує: тестує фрагменти, вдосконалює найуспішніші та знаходить нові математичні структури, які можна автоматично перевірити.
Також агент застосовує методику gadget reduction та «lifting», щоб знайдені скінченні структури давали універсальні теореми.
Основні результати:👇🏻
🔹 MAX-4-CUT – покращено межу наближення для NP-складної задачі. Знайдено «gadget» із 19 змінних і складною схемою ваг, що встановило нову межу 0.987.
🔹 Ramanujan-графи – знайдено графи з великими 2-cut на до 163 вузлах, що суттєво покращило середню складність сертифікації властивостей графів.
🔹 Hardness of approximation – нові структури піднімають планку для дослідження складності апроксимацій.
Цікаво, що AlphaEvolve не вигадує нові формули – він доводить правильність результатів, а перевірка займає у 10 000 разів менше часу завдяки оптимізованим алгоритмам.
Користувачі вже жартують, що тепер AI не лише пише код, а й може захистити PhD сам за себе 😅
DeepMind запустили AlphaEvolve – LLM-агента, який допомагає відкривати нові комбінаційні структури та просувати теоретичну комп’ютерну науку вперед.
AlphaEvolve не просто пише код, він його еволюціонує: тестує фрагменти, вдосконалює найуспішніші та знаходить нові математичні структури, які можна автоматично перевірити.
Також агент застосовує методику gadget reduction та «lifting», щоб знайдені скінченні структури давали універсальні теореми.
Основні результати:👇🏻
🔹 MAX-4-CUT – покращено межу наближення для NP-складної задачі. Знайдено «gadget» із 19 змінних і складною схемою ваг, що встановило нову межу 0.987.
🔹 Ramanujan-графи – знайдено графи з великими 2-cut на до 163 вузлах, що суттєво покращило середню складність сертифікації властивостей графів.
🔹 Hardness of approximation – нові структури піднімають планку для дослідження складності апроксимацій.
Цікаво, що AlphaEvolve не вигадує нові формули – він доводить правильність результатів, а перевірка займає у 10 000 разів менше часу завдяки оптимізованим алгоритмам.
Користувачі вже жартують, що тепер AI не лише пише код, а й може захистити PhD сам за себе 😅
❤12😁6🔥2👀2
Чим більше працюємо з даними, тим більше переконуємось: інсайти з’являються не лише з кодом, а й зі спільноти 😉
Сьогодні рекомендуємо одну з таких – Data Life UA – де діляться практичними штуками з Python, SQL, PySpark, AWS, Power BI та обговорюють складні технічні кейси простою мовою.
Від коротких інсайтів до детальних гайдів, від нових інструментів до справжніх лайфхаків – якщо дані це частина твоєї рутини 👉🏻 @DataLifeUA
Сьогодні рекомендуємо одну з таких – Data Life UA – де діляться практичними штуками з Python, SQL, PySpark, AWS, Power BI та обговорюють складні технічні кейси простою мовою.
Від коротких інсайтів до детальних гайдів, від нових інструментів до справжніх лайфхаків – якщо дані це частина твоєї рутини 👉🏻 @DataLifeUA
❤8⚡4🔥3🤝2
🎓 Безкоштовні курси від Google Cloud, щоб зробити твою осінь ще більш продуктивною
Знайомся з переліком👇
🟢 Beginner: Foundations of GenAI
На курсі дізнаєшся:
• що таке GenAI і чим він відрізняється від класичного ML;
• як писати ефективні промпти;
• як застосовувати принципи Responsible AI у роботі.
🟡 Intermediate: Use Gemini in your day-to-day
Про що цей курс – і так зрозуміло, але корисним він буде для:
• Developers – детальніше про автогенерацію та пояснення коду;
• Architects – як будувати інфраструктуру за допомогою простих промптів;
• Data pros – використання BigQuery + Gemini для запитів і прогнозів;
• Security & DevOps – виявлення проблем, підвищення безпеки систем і керування кластерами.
🟣 Advanced: Build GenAI apps end to end
Хочеш глибше зануритися у розробку GenAI-застосунків? Тоді цей курс саме для тебе 👇🏻
• створення застосунків з Gemini + Streamlit;
• робота з RAG, vector search і мультимодальними промптами;
• методологія MLOps для GenAI-проєктів;
• моделі під капотом: Transformers, BERT, diffusion.
Обирай курс, прокачуй знання й отримуй цифрові skill-badges від Google Cloud – чудове поповнення до твого професійного профілю 😉
Знайомся з переліком👇
🟢 Beginner: Foundations of GenAI
На курсі дізнаєшся:
• що таке GenAI і чим він відрізняється від класичного ML;
• як писати ефективні промпти;
• як застосовувати принципи Responsible AI у роботі.
🟡 Intermediate: Use Gemini in your day-to-day
Про що цей курс – і так зрозуміло, але корисним він буде для:
• Developers – детальніше про автогенерацію та пояснення коду;
• Architects – як будувати інфраструктуру за допомогою простих промптів;
• Data pros – використання BigQuery + Gemini для запитів і прогнозів;
• Security & DevOps – виявлення проблем, підвищення безпеки систем і керування кластерами.
🟣 Advanced: Build GenAI apps end to end
Хочеш глибше зануритися у розробку GenAI-застосунків? Тоді цей курс саме для тебе 👇🏻
• створення застосунків з Gemini + Streamlit;
• робота з RAG, vector search і мультимодальними промптами;
• методологія MLOps для GenAI-проєктів;
• моделі під капотом: Transformers, BERT, diffusion.
Обирай курс, прокачуй знання й отримуй цифрові skill-badges від Google Cloud – чудове поповнення до твого професійного профілю 😉
🔥8❤4👀2
Знаємо, що пошук роботи – це як дебаг: довго, боляче, але результат вартий того 😅
Ми підкинули свіжу порцію можливостей – може, саме тут твій next career fix!
Lead:
⚙️ Computer Vision Lead
⚙️ AI Datasets Lead
⚙️ MLOps Team Lead
Senior:
⚙️ Senior Data Scientist/NLP Lead
⚙️ MLOps Engineer
⚙️ Senior/Middle Data Scientist (Data Preparation & Pre-training)
⚙️ Senior/Middle Data Scientist (Benchmarking & Alignment)
⚙️ Business Analyst
⚙️ Full Stack Engineer
⚙️ Senior MLOps Engineer
⚙️ Senior Full Stack AI Engineer
Middle:
⚙️ Data Engineer
⚙️ Data Scientist
⚙️ Data Analyst
⚙️ Python Developer
Junior:
⚙️ Quantitative Researcher
І не забувай надіслати другу - хай і він знайде свою стабільну версію “career 2.0” 💼
Ми підкинули свіжу порцію можливостей – може, саме тут твій next career fix!
Lead:
Senior:
Middle:
Junior:
І не забувай надіслати другу - хай і він знайде свою стабільну версію “career 2.0” 💼
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥4❤2
Андрій Карпати випустив nanochat – можливість створити власний LLM за $100 💵
За його словами, цей проєкт дозволяє пройти повний цикл створення мовної моделі за мінімальні кошти.
Репозиторій створено в рамках курсу LLM101n від Eureka Labs і містить усе необхідне:
🔹 токенізатор на Rust
🔹 систему підкачки датасету FineWeb-EDU
🔹 скрипти для файнтюнінгу, інференсу та збору метрик
🔹 веб-інтерфейс для спілкування з моделлю
Для навчання потрібен інстанс з 8 GPU Nvidia H100. Процес триває близько 4 годин, вартість оренди ~24$/год → ≈100$ за повний цикл.
Запуск однією командою: speedrun.sh, веб-інтерфейс активується python -m noscripts.chat_web.
Детальний звіт про хід навчання можна отримати командою: cat report.md.
Весь код проєкту відкритий і доступний на GitHub 😎
За його словами, цей проєкт дозволяє пройти повний цикл створення мовної моделі за мінімальні кошти.
Репозиторій створено в рамках курсу LLM101n від Eureka Labs і містить усе необхідне:
🔹 токенізатор на Rust
🔹 систему підкачки датасету FineWeb-EDU
🔹 скрипти для файнтюнінгу, інференсу та збору метрик
🔹 веб-інтерфейс для спілкування з моделлю
Для навчання потрібен інстанс з 8 GPU Nvidia H100. Процес триває близько 4 годин, вартість оренди ~24$/год → ≈100$ за повний цикл.
Запуск однією командою: speedrun.sh, веб-інтерфейс активується python -m noscripts.chat_web.
Детальний звіт про хід навчання можна отримати командою: cat report.md.
Весь код проєкту відкритий і доступний на GitHub 😎
❤15👍6👀5
Що зробили хлопці з Microsoft цього разу? 💻😲
Отож, з нового:
📍Компанія запустила свій перший генератор картинок – MAI-Image-1. Модель стартувала з 9-го місця в LMArena і поки що доступна лише там. Незабаром її інтегрують у Copilot та Bing Image Creator.
📍Далі – GitHub на новому рівні.
Microsoft готує масштабне оновлення платформи, щоб зміцнити позиції в AI-розробці. За планом, GitHub стане центром усієї розробки програмного забезпечення на базі АІ.
📍Якщо ти досі не оновився до Windows 11 – саме час. Підтримку Windows 10 офіційно припинено, а оновлень безпеки більше не буде 🪟⚡️
Отож, з нового:
📍Компанія запустила свій перший генератор картинок – MAI-Image-1. Модель стартувала з 9-го місця в LMArena і поки що доступна лише там. Незабаром її інтегрують у Copilot та Bing Image Creator.
📍Далі – GitHub на новому рівні.
Microsoft готує масштабне оновлення платформи, щоб зміцнити позиції в AI-розробці. За планом, GitHub стане центром усієї розробки програмного забезпечення на базі АІ.
📍Якщо ти досі не оновився до Windows 11 – саме час. Підтримку Windows 10 офіційно припинено, а оновлень безпеки більше не буде 🪟⚡️
😁9❤3👀2
☕️ Кава – це boost(), а меми – motivation.update().
Бо ніщо не тримає систему стабільною так, як добрий жарт про робочі будні!
Хай ваш робочий тиждень компілюється без помилок 🤞🏻
Бо ніщо не тримає систему стабільною так, як добрий жарт про робочі будні!
Хай ваш робочий тиждень компілюється без помилок 🤞🏻
Бай зе вей, ми зараз збираємо AI-команду з 50 інженерів в Абу-Дабі 🇦🇪
Думаємо, що ти можеш бути perfect match для нас, тому дивись увесь перелік вакансій тут
❤13😁5🔥4👀1
Media is too big
VIEW IN TELEGRAM
Поки ми всі спали, OpenAI випустили ChatGPT Atlas 💻
Браузер, у якому головний пошуковик – ChatGPT.
Що всередині:
🌐 AI-чат у кожній вкладці, який розуміє контекст сторінки
🌐 Памʼять браузера, що підлаштовується під вас
🌐 Пошук по історії: якщо бачили щось цікаве – Atlas нагадає сторінку
🌐 AI-агент, який може діяти замість вас – замовити їжу, підсумувати відео або виконати онлайн-завдання
🌐 Приватність під контролем: ви вирішуєте, що памʼятає браузер
Доступний глобально для macOS. Версії для Windows, iOS та Android – “coming soon”, а деякі функції типу Agent Mode – поки лише для преміум-планів.
Будете юзати? 👀
Браузер, у якому головний пошуковик – ChatGPT.
Що всередині:
Доступний глобально для macOS. Версії для Windows, iOS та Android – “coming soon”, а деякі функції типу Agent Mode – поки лише для преміум-планів.
Будете юзати? 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12⚡5🔥4👨💻1
Хочеш створювати власні AI-рішення?
Стартує набір на програму Generative AI for Developers від SET University!
Сьогодні кожен технічний спеціаліст може інтегрувати LLM у свої продукти, автоматизувати задачі та створювати інноваційні рішення за допомогою GenAI.
І саме цьому SET University навчає на мікромагістерській програмі «Generative AI for Developers». 3-місячний інтенсив для технічних фахівців, які хочуть не просто «зрозуміти ШІ», а навчитись будувати з ним реальні продукти.
Випускники минулих потоків оцінили програму на 9/10 і відзначають практичний підхід, експертних викладачів та роботу над власним AI-проєктом:
💬 «Після навчання я почала бачити, як створювати власні рішення з LLM» — Людмила Поветкіна, Data Engineer
💬 «Тепер я створюю AI-рішення, а не просто читаю про них» — Єгор Лебідь, Full-Stack Engineer
Викладають на програмі практики з Booking.com, Neurons Lab, GenAI.Works, GlobalLogic. А гнучкий онлайн-формат дозволяє поєднувати навчання з full-time роботою.
Старт нового потоку: 10 листопада.
🔗 Деталі та реєстрація за лінком.
💥 Використовуй промокод SETAI10 — і отримай знижку 10% на навчання.
Стартує набір на програму Generative AI for Developers від SET University!
Сьогодні кожен технічний спеціаліст може інтегрувати LLM у свої продукти, автоматизувати задачі та створювати інноваційні рішення за допомогою GenAI.
І саме цьому SET University навчає на мікромагістерській програмі «Generative AI for Developers». 3-місячний інтенсив для технічних фахівців, які хочуть не просто «зрозуміти ШІ», а навчитись будувати з ним реальні продукти.
Випускники минулих потоків оцінили програму на 9/10 і відзначають практичний підхід, експертних викладачів та роботу над власним AI-проєктом:
💬 «Після навчання я почала бачити, як створювати власні рішення з LLM» — Людмила Поветкіна, Data Engineer
💬 «Тепер я створюю AI-рішення, а не просто читаю про них» — Єгор Лебідь, Full-Stack Engineer
Викладають на програмі практики з Booking.com, Neurons Lab, GenAI.Works, GlobalLogic. А гнучкий онлайн-формат дозволяє поєднувати навчання з full-time роботою.
Старт нового потоку: 10 листопада.
🔗 Деталі та реєстрація за лінком.
💥 Використовуй промокод SETAI10 — і отримай знижку 10% на навчання.
31 жовтня приєднуйтесь на fireside chat від SET University з Марком Бутчером – ex Editor-at-Large у TechCrunch, засновником медіа pathfounders, а також Антоном Авринським, co-founder та CEO liki24_com.
Модератор – Ірина Вольницька, президентка SET University.
🔗 Реєстрація та деталі за лінком.
❤10👌3🔥2🥰2😁1
Якщо ти ще думаєш, куди зробити наступний крок у кар’єрі – job digest від Data Science UA вже готовий підказати 👀
Сьогодні у випуску 👇🏻
Lead:
🪐 Computer Vision Lead
🪐 AI Datasets Lead
🪐 MLOps Team Lead
🪐 AI Solution Architect
🪐 Technical Project Manager/Scrum Master
🪐 AI Tech Lead
Senior:
🪐 Senior MLOps Engineer
🪐 Senior Full Stack AI Engineer
🪐 DevOps Engineer
🪐 Senior Data Engineer
🪐 Senior AI/ML Engineer
🪐 Frontend Engineer (React)
🪐 Product Manager
🪐 Senior Product Marketing Manager
🪐 QA Engineer
🪐 Mobile Developer
🪐 Backend Engineer (React/Node)
🪐 Network Security Engineer
🪐 UI/UX Designer
🪐 Data Engineer
Middle:
🪐 Data Analyst
Junior:
🪐 SMM Manager
Поділись з тими, хто теж хоче апгрейдити кар’єру 📊
Сьогодні у випуску 👇🏻
Lead:
🪐 Computer Vision Lead
🪐 AI Datasets Lead
🪐 MLOps Team Lead
🪐 AI Solution Architect
🪐 Technical Project Manager/Scrum Master
🪐 AI Tech Lead
Senior:
Middle:
🪐 Data Analyst
Junior:
Поділись з тими, хто теж хоче апгрейдити кар’єру 📊
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10⚡4🔥2
Популяції LLM можуть поводитися як штучні суспільства, у яких спонтанно формуються соціальні норми ✨
Дослідники прогнали сотні LLM-агентів у “naming game” – без централізації, без ролей, просто попарні взаємодії. Учасники експериментів були змодельовані на базі різних сучасних моделей: Llama-2, Llama-3, Claude-3
І навіть у таких умовах агенти самостійно виробили спільну норму → одне “правильне” слово стало глобальним стандартом для всіх.
Чому про це говорять?
🧠 Колективний bias виникає з нуля, навіть якщо поодинокий агент неупереджений. Тобто сама динаміка взаємодії генерує перекоси.
🧠 Маленька, але вперта меншість → здатна перевернути все. Коли у сформовану норму додавали невелику групу агентів (у деяких моделях достатньо ~2 % таких агентів, а в інших – майже 67 %), які наполягали на іншій опції, при досягненні “критичної маси” вони могли переконати більшість і повністю змінити норму.
Зазвичай ми говоримо про безпеку/алайнмент LLM на рівні однієї моделі, але це дослідження показує: у багатoагентних системах важливо тестувати динаміку популяції, бо взаємодія між моделями породжує нові закономірності, яких не видно при аналізі окремого LLM 👀
Із повним пейпером можна ознайомитися тут 👈🏻
Дослідники прогнали сотні LLM-агентів у “naming game” – без централізації, без ролей, просто попарні взаємодії. Учасники експериментів були змодельовані на базі різних сучасних моделей: Llama-2, Llama-3, Claude-3
І навіть у таких умовах агенти самостійно виробили спільну норму → одне “правильне” слово стало глобальним стандартом для всіх.
Чому про це говорять?
Зазвичай ми говоримо про безпеку/алайнмент LLM на рівні однієї моделі, але це дослідження показує: у багатoагентних системах важливо тестувати динаміку популяції, бо взаємодія між моделями породжує нові закономірності, яких не видно при аналізі окремого LLM 👀
Із повним пейпером можна ознайомитися тут 👈🏻
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17❤4👍2👀2
This media is not supported in your browser
VIEW IN TELEGRAM
Нарешті не ти миєш посуд поки АІ працює, а навпаки! 🤖
Стартап 1X запустив продажі домашнього АІ-робота NEO. Робот 168 см і вагою 30 кг, здатний піднімати до 70 кг і переносити предмети до 25 кг.
NEO виконує домашні завдання замість тебе: прибирання, миття посуду, прання (ура, більше часу для себе і скролінгу!) 😆 Крім того, він може підтримувати розмову, шукати інформацію, жартувати і навіть розповідати казки дітям.
Власник керує роботом через мобільний додаток або VR-гарнітуру з будь-якої точки світу. Якщо NEO стикається із завданням, яке ще не опанував, він переходить у <expert mode> – оператор допомагає дистанційно, а робот одразу навчається новому.
Розробка зайняла 10 років, постачання очікується наступного року. І так, якщо не готовий купити відразу – NEO доступний за підпискою $500/місяць або повна покупка за $20 000 😏
Стартап 1X запустив продажі домашнього АІ-робота NEO. Робот 168 см і вагою 30 кг, здатний піднімати до 70 кг і переносити предмети до 25 кг.
NEO виконує домашні завдання замість тебе: прибирання, миття посуду, прання (ура, більше часу для себе і скролінгу!) 😆 Крім того, він може підтримувати розмову, шукати інформацію, жартувати і навіть розповідати казки дітям.
Власник керує роботом через мобільний додаток або VR-гарнітуру з будь-якої точки світу. Якщо NEO стикається із завданням, яке ще не опанував, він переходить у <expert mode> – оператор допомагає дистанційно, а робот одразу навчається новому.
Розробка зайняла 10 років, постачання очікується наступного року. І так, якщо не готовий купити відразу – NEO доступний за підпискою $500/місяць або повна покупка за $20 000 😏
😁16❤6👀4
Жовтень приніс у світі AI купу wow-моментів 🤖
Від AI-агентів до ChatGPT Atlas і LLM за $100 – такі новини було б шкода пропустити!
Олександр Столярчук, Head of AI Department Data Science UA, розібрав найцікавіші апдейти у свіженькому AI digest.
Гайда читати повну версію тут 🔗
Від AI-агентів до ChatGPT Atlas і LLM за $100 – такі новини було б шкода пропустити!
Олександр Столярчук, Head of AI Department Data Science UA, розібрав найцікавіші апдейти у свіженькому AI digest.
Гайда читати повну версію тут 🔗
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10🔥7👀5