Data Science UA – Telegram
Data Science UA
1.86K subscribers
812 photos
36 videos
3 files
1.28K links
🌏 Ми одне з найбільших Data Science ком'юніті Європи.

🔹ІT Рекрутинг
🔹AI Тренінги
🔹AI Івенти

👉🏻 Знайшли проблему, або маєте пропозиції щодо розвитку спільноти?
До ваших послуг @DataScienceUA_assistant
Download Telegram
Як перестати марнувати бюджет на АІ та насправді перетворити його на прибуткові результати? 🤔💸

Олександра Богуславська
, CEO та Founder Data Science UA, поділилася з AIN.UA практичним чеклістом, який стане корисним для будь-якого бізнесу, що планує впровадження АІ.

Читай повну статтю тут 👈🏻
114👍2
👻 Monsters under the bed? Не страшно.
Залишитися без кар’єрних шансів? Ось це вже horror.

Тому тримай добірку вакансій від Data Science UA!

Lead:
🎃 Computer Vision Lead
🎃 AI Datasets Lead
🎃 MLOps Team Lead

Senior:
🎃 Senior Data Scientist/NLP Lead
🎃 MLOps Engineer
🎃 Senior/Middle Data Scientist (Data Preparation & Pre-training)
🎃 Senior/Middle Data Scientist (Benchmarking & Alignment)
🎃 Business Analyst
🎃 Senior Full Stack Engineer
🎃 Senior MLOps Engineer

Middle:
🎃 Data Engineer
🎃 Data Scientist
🎃 Data Analyst
🎃 Middle Python/Go Developer

Junior:
🎃 Quantitative Researcher

Надішли друзям, щоб врятувати їх від «job nightmare» 😅
Please open Telegram to view this post
VIEW IN TELEGRAM
10😁4🆒41
Замість новин на сьогодні 😉👇🏻
Forwarded from ML || DL
Attention Sinks: Allowing Attention Not To Pay Attention 🙅‍♂️

Нещодавно читав гарний пост про архітектуру GPT-OSS. Більшість змін порівняно з GPT2 були вже знайомі з таких відкритих архітектур як LLaMa, Qwen, або Gemma, але є одна цікава ідея, про яку раніше не чув — attention sinks.

Recap: Attention Patterns ✍️

Пригадаємо, що у механізмі уваги для кожного токену формується так званий attention pattern — ваги, з якими він “зверне увагу” на попередні токени з контексту (включно з ним самим).

Для кожної голови цей pattern буде різним: іноді увага звертається на попередній токен, іноді — на останнє згадане імʼя, іноді — на надані few-shot examples, тощо.

What’s the problem? 🤔

Через те, що attention pattern формується через softmax, сума його коефіцієнтів завжди дорівнює одиниці. Тобто кожний токен в будь-якому разі “змушений” звернути на щось увагу. Але справа в тому, що не існує текстів, для яких кожна з attention heads має зробити щось корисне — зазвичай більшість з них не є активними.

Тому часто голови уваги вивчають наступну поведінку: якщо жодна з ознак, яку вони очікують, не зустрічається у контексті, то вся увага просто йде на перші кілька токенів (саме вони й називаються attention sinks у оригінальній роботі, де це було виявлено). Тобто перші токени стають таким собі буфером, який не несе в собі корисного сенсу, і в який заглядають просто якщо в тексті не відбувається нічого надзвичайного.

Цей “хак” призводить до таких проблем як ускладнена інтерпретованість моделі, або погіршення якості при роботі з великими послідовностями, коли ці самі перші токени випадають з KV cache.

What’s the solution?

Для уникнення цього є кілька способів (тик, тик), але реалізація від OpenAI здається найбільш елегантною.

Для кожної голови створюється додатковий параметр (sink), який конкатенується до рядків QK scores, і … це все 🙂 Ми отримуємо новий ”фейковий” елемент у softmax, який може перейняти увагу на себе, якщо жодного патерну не було виявлено. Так як голов зазвичай не багато, це не створює великого overhead, а зазначені раніше проблеми зникають.

Висновок: Цікавий приклад того, як інтерпретація дозволяє виявляти і вирішувати реальні проблеми в моделях, які важко було б ідентифікувати, сприймаючи їх як чорний ящик.
🔥1333
This media is not supported in your browser
VIEW IN TELEGRAM
Як думаєш, які з цих відео справжні? 🤔
Спойлер: вони всі ж такі реальні, як твої обіцянки жити з понеділка по новому.

Усі вони згенеровані новенькою Sora 2 від OpenAI. Тепер усе виглядає ще природніше: рухи об’єктів, звуки, діалоги – навіть помилки виглядають правдоподібно.

Якщо раніше баскетбольний м’яч міг просто зникнути й “телепортуватися” в кошик, то тепер він відскакує від підлоги, якщо гравець промахнувся ⛹️‍♂️

Основні фічі:

👉🏻 Вперше модель не просто генерує картинку, а відтворює логіку реального світу – об'єкти поводяться так, як вони б поводились у житті.

👉🏻 Генерує людям всього 5 пальців (жарт!)

👉🏻 Підтримує кілька стилів: від реалістичних кінематографічних сцен до аніме.

👉🏻 Тепер можна додати себе у відео: достатньо один раз записати коротке відео й голос у застосунку і Sora зможе вставити твою зовнішність та голос у будь-який згенерований сюжет.

👉🏻 Запустили навіть iOS-додаток Sora (щось на кшталт TikTok майбутнього) – соцмережу на базі моделі, де можна створювати й реміксити відео, а також додавати свої “cameos” (аватар + голос). Додаток поки доступний у США та Канаді.

Як вам таке оновлення? 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
114🔥2😁2
EdTech, HealthTech та AI стартапи, ви готові залучати інвестиції, вдосконалювати продукт та масштабуватись?

Challenger Accelerator запрошує вас приєднатись до когорти 4.0 на equity-free умовах. Бенефіти, які ви отримаєте:

▶️ $25К грант від UMAEF для переможця.
▶️ $75К + кредитів від USF на хмарні сервіси для 3-х кращих команд та ін. партнерські бенефіти.
▶️ Поїздка на Latitude59 для кращих стартапів.
▶️ 30+ годин індивідуального менторства від топових бізнес та технічних експертів програми.
▶️ 15+ годин воркшопів з практикуючими спеціалістами з product market fit, інвестпривабливості, маркетингу й продажів тощо.
▶️ Сесії з українськими та міжнародними інвесторами та рекомендації від них.
▶️ Нетворкінг та комьюніті івенти.
▶️ Пост акселераційну підтримку.

Умова для стартапів: мати від 2-х людей в команді та продукт на рівні MVP. Наявність перших клієнтів чи ринкової валідації буде перевагою.

📅 Гібридний формат участі з січня по квітень 2026 з Демо Днем у квітні.

Дедлайн подачі заявок — 20 листопада.
Реєстрація тут 👈🏻

Якщо ви хочете познайомитись з командою Challenger ближче, реєструйтесь на Challenger Startup Roast, який пройде 14 жовтня в Києві. У вас буде можливість запітчити своє рішення інвесторам і експертам та отримати зворотній зв’язок. Є можливість долучитись як гість: https://surl.li/uebbvn

Організатори: Civitta та RadarTech за підтримки #ESTDEV #FromThePeopleOfEstonia
114🤩3
🤖 AI допомагає відкривати нові математичні структури!

DeepMind запустили
AlphaEvolve – LLM-агента, який допомагає відкривати нові комбінаційні структури та просувати теоретичну комп’ютерну науку вперед.

AlphaEvolve не просто пише код, він його еволюціонує: тестує фрагменти, вдосконалює найуспішніші та знаходить нові математичні структури, які можна автоматично перевірити.

Також агент застосовує методику gadget reduction та «lifting», щоб знайдені скінченні структури давали універсальні теореми.

Основні результати:👇🏻

🔹 MAX-4-CUT – покращено межу наближення для NP-складної задачі. Знайдено «gadget» із 19 змінних і складною схемою ваг, що встановило нову межу 0.987.

🔹 Ramanujan-графи – знайдено графи з великими 2-cut на до 163 вузлах, що суттєво покращило середню складність сертифікації властивостей графів.

🔹 Hardness of approximation – нові структури піднімають планку для дослідження складності апроксимацій.

Цікаво, що AlphaEvolve не вигадує нові формули – він доводить правильність результатів, а перевірка займає у 10 000 разів менше часу завдяки оптимізованим алгоритмам.

Користувачі вже жартують, що тепер AI не лише пише код, а й може захистити PhD сам за себе 😅
12😁6🔥2👀2
Чим більше працюємо з даними, тим більше переконуємось: інсайти з’являються не лише з кодом, а й зі спільноти 😉

Сьогодні рекомендуємо одну з таких – Data Life UA – де діляться практичними штуками з Python, SQL, PySpark, AWS, Power BI та обговорюють складні технічні кейси простою мовою.

Від коротких інсайтів до детальних гайдів, від нових інструментів до справжніх лайфхаків – якщо дані це частина твоєї рутини 👉🏻 @DataLifeUA
84🔥3🤝2
🎓 Безкоштовні курси від Google Cloud, щоб зробити твою осінь ще більш продуктивною

Знайомся з переліком👇

🟢 Beginner: Foundations of GenAI

На курсі дізнаєшся:
• що таке GenAI і чим він відрізняється від класичного ML;
• як писати ефективні промпти;
• як застосовувати принципи Responsible AI у роботі.

🟡 Intermediate: Use Gemini in your day-to-day

Про що цей курс – і так зрозуміло, але корисним він буде для:

Developers – детальніше про автогенерацію та пояснення коду;
Architects – як будувати інфраструктуру за допомогою простих промптів;
Data pros – використання BigQuery + Gemini для запитів і прогнозів;
Security & DevOps – виявлення проблем, підвищення безпеки систем і керування кластерами.

🟣 Advanced: Build GenAI apps end to end

Хочеш глибше зануритися у розробку GenAI-застосунків? Тоді цей курс саме для тебе 👇🏻

• створення застосунків з Gemini + Streamlit;
• робота з RAG, vector search і мультимодальними промптами;
• методологія MLOps для GenAI-проєктів;
• моделі під капотом: Transformers, BERT, diffusion.

Обирай курс, прокачуй знання й отримуй цифрові skill-badges від Google Cloud – чудове поповнення до твого професійного профілю 😉
🔥84👀2
Знаємо, що пошук роботи – це як дебаг: довго, боляче, але результат вартий того 😅

Ми підкинули свіжу порцію можливостей – може, саме тут твій next career fix!

Lead:
⚙️ Computer Vision Lead
⚙️ AI Datasets Lead
⚙️ MLOps Team Lead

Senior:
⚙️ Senior Data Scientist/NLP Lead
⚙️ MLOps Engineer
⚙️ Senior/Middle Data Scientist (Data Preparation & Pre-training)
⚙️ Senior/Middle Data Scientist (Benchmarking & Alignment)
⚙️ Business Analyst
⚙️ Full Stack Engineer
⚙️ Senior MLOps Engineer
⚙️ Senior Full Stack AI Engineer

Middle:
⚙️ Data Engineer
⚙️ Data Scientist
⚙️ Data Analyst
⚙️ Python Developer

Junior:
⚙️ Quantitative Researcher

І не забувай надіслати другу - хай і він знайде свою стабільну версію “career 2.0” 💼
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥42
Андрій Карпати випустив nanochat – можливість створити власний LLM за $100 💵

За його словами, цей проєкт дозволяє пройти повний цикл створення мовної моделі за мінімальні кошти.

Репозиторій створено в рамках курсу LLM101n від Eureka Labs і містить усе необхідне:
🔹 токенізатор на Rust
🔹 систему підкачки датасету FineWeb-EDU
🔹 скрипти для файнтюнінгу, інференсу та збору метрик
🔹 веб-інтерфейс для спілкування з моделлю

Для навчання потрібен інстанс з 8 GPU Nvidia H100. Процес триває близько 4 годин, вартість оренди ~24$/год → ≈100$ за повний цикл.
Запуск однією командою: speedrun.sh, веб-інтерфейс активується python -m noscripts.chat_web.

Детальний звіт про хід навчання можна отримати командою: cat report.md.

Весь код проєкту відкритий і доступний на GitHub 😎
15👍6👀5
Що зробили хлопці з Microsoft цього разу? 💻😲

Отож, з нового:

📍Компанія запустила свій перший генератор картинок – MAI-Image-1. Модель стартувала з 9-го місця в LMArena і поки що доступна лише там. Незабаром її інтегрують у Copilot та Bing Image Creator.

📍Далі – GitHub на новому рівні.
Microsoft готує масштабне оновлення платформи, щоб зміцнити позиції в AI-розробці. За планом, GitHub стане центром усієї розробки програмного забезпечення на базі АІ.

📍Якщо ти досі не оновився до Windows 11 – саме час. Підтримку Windows 10 офіційно припинено, а оновлень безпеки більше не буде 🪟⚡️
😁93👀2
☕️ Кава – це boost(), а меми – motivation.update().

Бо ніщо не тримає систему стабільною так, як добрий жарт про робочі будні!

Хай ваш робочий тиждень компілюється без помилок 🤞🏻

Бай зе вей, ми зараз збираємо AI-команду з 50 інженерів в Абу-Дабі 🇦🇪

Думаємо, що ти можеш бути perfect match для нас, тому дивись увесь перелік вакансій тут
13😁5🔥4👀1
Media is too big
VIEW IN TELEGRAM
Поки ми всі спали, OpenAI випустили ChatGPT Atlas 💻

Браузер, у якому головний пошуковик – ChatGPT.

Що всередині:

🌐 AI-чат у кожній вкладці, який розуміє контекст сторінки
🌐 Памʼять браузера, що підлаштовується під вас
🌐 Пошук по історії: якщо бачили щось цікаве – Atlas нагадає сторінку
🌐 AI-агент, який може діяти замість вас – замовити їжу, підсумувати відео або виконати онлайн-завдання
🌐 Приватність під контролем: ви вирішуєте, що памʼятає браузер

Доступний глобально для macOS. Версії для Windows, iOS та Android – “coming soon”, а деякі функції типу Agent Mode – поки лише для преміум-планів.

Будете юзати? 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
125🔥4👨‍💻1
Хочеш створювати власні AI-рішення?
Стартує набір на програму Generative AI for Developers від SET University!

Сьогодні кожен технічний спеціаліст може інтегрувати LLM у свої продукти, автоматизувати задачі та створювати інноваційні рішення за допомогою GenAI.

І саме цьому SET University навчає на мікромагістерській програмі «Generative AI for Developers». 3-місячний інтенсив для технічних фахівців, які хочуть не просто «зрозуміти ШІ», а навчитись будувати з ним реальні продукти.

Випускники минулих потоків оцінили програму на 9/10 і відзначають практичний підхід, експертних викладачів та роботу над власним AI-проєктом:

💬 «Після навчання я почала бачити, як створювати власні рішення з LLM» — Людмила Поветкіна, Data Engineer
💬 «Тепер я створюю AI-рішення, а не просто читаю про них» — Єгор Лебідь, Full-Stack Engineer

Викладають на програмі практики з Booking.com, Neurons Lab, GenAI.Works, GlobalLogic. А гнучкий онлайн-формат дозволяє поєднувати навчання з full-time роботою.

Старт нового потоку: 10 листопада.
🔗 Деталі та реєстрація за лінком.

💥 Використовуй промокод SETAI10 — і отримай знижку 10% на навчання.

31 жовтня приєднуйтесь на fireside chat від SET University з Марком Бутчером – ex Editor-at-Large у TechCrunch, засновником медіа pathfounders, а також Антоном Авринським, co-founder та CEO liki24_com.

Модератор – Ірина Вольницька, президентка SET University.

🔗 Реєстрація та деталі за лінком.
10👌3🔥2🥰2😁1
Якщо ти ще думаєш, куди зробити наступний крок у кар’єрі – job digest від Data Science UA вже готовий підказати 👀

Сьогодні у випуску 👇🏻

Lead:
🪐 Computer Vision Lead
🪐 AI Datasets Lead
🪐 MLOps Team Lead
🪐 AI Solution Architect
🪐 Technical Project Manager/Scrum Master
🪐 AI Tech Lead

Senior:
🪐 Senior MLOps Engineer
🪐 Senior Full Stack AI Engineer
🪐 DevOps Engineer
🪐 Senior Data Engineer
🪐 Senior AI/ML Engineer
🪐 Frontend Engineer (React)
🪐 Product Manager
🪐 Senior Product Marketing Manager
🪐 QA Engineer
🪐 Mobile Developer
🪐 Backend Engineer (React/Node)
🪐 Network Security Engineer
🪐 UI/UX Designer
🪐 Data Engineer

Middle:
🪐 Data Analyst

Junior:
🪐 SMM Manager

Поділись з тими, хто теж хоче апгрейдити кар’єру 📊
Please open Telegram to view this post
VIEW IN TELEGRAM
104🔥2