Всі ж в темі із невидимою горилою та сліпотою неуваги? Сподіваюсь, що всі. Головна суть висновку з експерименту — це що при достатньої зосередженості у людини переповнюється контекстне вікно та людина не має змоги звертати на додаткову увагу без втрати уваги до існуючих обʼєктів.

Здається, що до програмістів, цей ефект є доволі суттєвим бонусом, бо можна зосередитись на програмуванні та відрізати весь зовнішній світ та все, що відбувається навколо. Але можна перевернути це навпаки і сказати, що якщо програмісту заважають люди навколо своїми розмовами, то просто він недостатньо зосереджений на поточній задачі. Або задача дуже проста для нього.

​​Останнім часом я активно працюю з мовними моделями та помітив цікаву тенденцію. Іноді виникає бажання доручити вирішення певних завдань мовним моделям, навіть коли їх можна вирішити детерміновано. Раніше, для виявлення імені в тексті або ціни на вебсторінці, ми використовували детерміновані методи, такі як пошук символу долара, словник імен або наївний байєсівський класифікатор. Тепер ми можемо доручити це мовним моделям, і вони знайдуть потрібну інформацію.

Кількість тексту, який потрібно включити в запит до мовної моделі, приблизно дорівнює кількості коду, який необхідно написати для вирішення тієї ж задачі детермінованими методами. Це може означати, що там, де зараз використовуються мовні моделі, можна обійтися детермінованим кодом. Але, з іншого боку, там, де можна застосувати одну мовну модель, може знадобитися написати десятки різних детермінованих фрагментів коду.

Що цікаво, промпти можуть писати не лише програмісти, але й маркетологи або бухгалтери, не розбираючись у програмуванні. Вони просто структурують англійський текст. Це свідчить про те, що нам, можливо, потрібно переглянути назву ролі "програміст" на щось більш універсальне, адже зараз програмувати можуть багато хто, використовуючи просто чітко сформульоване завдання.

​​Оповиті туманами глибинного навчання та втілені у коді, ми, озброєні фундаментальними інсайтами з фантастичних оповідань та романів, вже розуміємо куди веде нас цей шлях. Зоряний час мовних моделей став для нас світанком нової ери. Зараз ми не просто перегортаємо сторінки календаря 2024 року від народження Христа; ми живемо в 0008-му році від llm-народження. Подумайте про це.

А може і в 00008 році.

Деякий час тому, один стартап показав AI-персон, які можуть сгенерувати вам ролік, на якому з емоціями та розстановкою розкажуть ваш введений текст. Обираєте модель, вбиваєте текст, чекаєте трошки та вуаля! Автоматизація тіктоків усіляких готова. А потім зʼясувалося, що це запис справжньої людини, яка назнімала купу годин різноманітних роликів, з різним посилом та тактом. А сервіс просто синтезує голос та синхронізує рух губ із синтезованим текстом. Магія! Найняли стопіцот акторів, кожен з яких за півтора центи назнімав гігабайти відео. А синтез голосу з ліпсінком це вже вирішені задачі. А після демки всі такі «вау які реалістичні відосики!».

А ще на днях Амазон вскрився зі своїми автоматизованими магазинами. Ну там де з кошиком ходиш по магазину кладеш все собі що хочеш, а ШІ спостерігає за вами через купу камер та прораховує що ви там собі забрали. Виявилося, що автоматизація магазинів відбувалася за рахунок найнятих 1000 індусів, які уважно слідкували за вашими діями та підбивали рахунок.

Це вже достатньо просунута технологія щоб не відрізняти це від магії чи ще недостатньо?

У великих мовних моделей є три види контексти. Перший контекст — загальна освіта. Знання про те, яка заввишки Єйіфелева вежа або скільки клапанів у серця жирафа. З цим більш-меньш мовні моделі впорались, але великою ціною тренування на суперкомпʼютерах.

Другий контекст — контекст співрозмовника або «доменний контекст». Або короткострокова памʼять. Коли кажеш «хлопчик склеїв у клубі модель» треба розуміти загальник контекст розмови. Чи ми кажемо про моделювання літаків чи про тусу під техно з текілою. Це мовні моделі пропонують додавати у додатковий системний промт, де загалом треба описати контекст ситуацію.

І нарешті третій контекст — довгострокова памʼять. Посилання на попередні розмови, оперування існуючими висновками та припущеннями. З цим зараз не може впоратись ніхто і пропонують або постійно дотреновувати модель на нових контекстних даних або вигрібати у короткострокову памʼять якісь дані із довгострокової.

Корочше, людство вирішило одну проблему із трьох. До сингулярності залишилось ще дві. Тому працюємо далі, бо штучний інтеллект сам себе не винайде.

​​Цікава проблема вилізла протягом вивчення проблеми будування агентської системи, яка базується на штучному інтелекті. Виявилося, що людство не придумало нічого притомного, для того, щоб перевірити чи агент працює добре чи погано. Навіть якщо обмежити агента вузькою нішею, чітким спектром можливих задач, все одно залишається проблема субʼєктивного вирішення та оцінювання проблеми.

Все, до чого прийшло людство — це тест Тьюрінга або похідні від нього. Тобто беремо низьку експертів та просимо їх оцінити відповідь від чорного ящику. Додаємо плацебні відповіді від людини, стохастичність відповідей нівелюємо середнім значенням від різних суддів. І все. Кращого варіанта не існує.

Спочатку ви посміхнетесь, а потім серйозно замислитися. ЧатГПТ був згаданий у титрах до індійського фільму, як автор слів пісні.

Ми тут в ability.ai працюємо разом з AI для автоматизації маркетингу. Нашій команді розробників зараз необхідний Python Інженер, який зацікавлений сфокусуватися над складанням промптів, та взагалі побудуванням спілкування з різними LLM. «Prompt Engineering» інакше кажучи. Маємо багато задач, де необхідно буде генерувати промпти, код і працювати над покращенням одного і другого.

Якщо вам цікаво долучитися до освоєння нових підходів у розробці, надішліть CV і посилання на ваш GutHub на e.lobas@ability.ai з темою «Prompt Engineer».

Якщо у вас є запитання, задавайте мені у приватні або Єду на вищевказану пошту.

P.S. Ось так DALL•E бачить типового промпт-Інженера. Якщо у вас сім моніторів і ви їх використовуєте у роботі — це жирний плюс на співбесіді.

Бляха, в каментах вже перша співбесіда пройшла.

Як добре, що сучасні штучні інтелекти допомагають писати код. Меньше помилок та описів. Як ми без цього раніше жили?

Хлопчіки та дівчатка. Бумласочка пошерьте, або хоча б пролайкате та напішіть коментар до посту. В мене лінкедин мовчазний, тому треба ваша допомога.

Це пост про те, що ми залучили інвестиції. Дякую.

https://www.linkedin.com/posts/aratak_our-project-ability-ai-has-just-taken-its-activity-7211051393711800320-Mj6P

Несеться )

Ability AI, MarTech-стартап, що розробляє платформу з управління маркетингом за допомогою штучного інтелекту, залучив фінансування на $1,1 млн.

Pre-seed раунд очолив український фонд SMRK VC за участю відомих технологічних підприємців та інвесторів.

Інвестиції допоможуть стартапу розширити команду, оновити розробку продукту та запустити платформи для клієнтів у США та Європі.

Детальніше про це

Спочатку вони обіцяють захопити світ нейронками, а потім нейронки осьо намагаються зрозуміти задуми людей.

В результаті нас захоплять, тому що ми все одно не кажемо один одному нічого корисного.

Хлопчики та дівчатка, зайдіть, будь ласочка тицьнути голосовалку за наш проект. Там буквально два кліки.

Він красівий, чесне слово. Дякую.

https://ux-design-awards.com/winners/2024-2-ability-ai-autonomous-marketing-platform

​​На цьому тижні прям несеться: кардинально дві нових мовних моделі, які принципово відрізняються від LLM архітектури.

✨ CLM
✨ Codestral Mamba

Обидві нові системи представляють собою не просто покращення на кілька відсотків, а абсолютно нову архітектуру. Це відкриває нові перспективи і потенціал для значного росту та розвитку у сфері штучного інтелекту.

💡 Можливо, ці моделі ще не можуть змагатися з GPT-4 чи SOT-3.5 по окремих параметрах чи тестах, але це пофіг, бо важливіше мати різноманітність та конкуренцію, ніж універсальність та єдине апі. Я вже спробував CLM, але поки що недостатньо данних, щоб сказати, що воно дійсно щось запамʼятало, а не витягнуло з RAG чи просто саммарізувало попередні діалоги. Чекаємо тестів та порівнянь.

Окрім банального perplexity, є корисна тулзовіна, яку можна використовувати майже кожного дня. Це проект STORM.
Це типу Вікіпедія на стероїдах.

https://storm.genie.stanford.edu

Десять років від тимчасового виїзду з дому на декілька місяців, поки все не заспокоїться. Навіть куртку зимову не брав.

Цікаво, що багато систем, бібліотек і навіть самі користувачі повністю ігнорують потенціал LLM вести діалог. Замість того, щоб будувати комунікацію, часто створюється однопромтові повідомлення. Робляться довгі промпти на 10 абзаців, в яких детально пояснюється що саме треба зробити, як себе поводити, що треба та що не треба писати та усіляке таке. Цей підхід недооцінює силу та гнучкість структури в діалогах.

Замісць такого:

SYSTEM: Be helpful AI-assistant. Your task is to conduct comprehensive research on the given topic. Clarify any uncertainties and use the appropriate tools to gather thorough information. Ask questions one by one to keep the user focused.
USER: Make target audience research

Треба робити так:

SYSTEM: Be helpful AI-assistant.
SYSTEM: Clarify any uncertainties and use the appropriate tools to gather thorough information.
SYSTEM: Ask questions one by one to keep the user focused.
USER: Your task is to conduct comprehensive research on the given topic.
ASSISTANT: What is topic?
USER: Make target audience research

Віддепер системі не треба самостійно витрачати "увагу" на те, щоб зрозуміти, що попередня інструкція закінчилась, та почалась нова. А ще не треба здогадуватись про контекст повідомлення від користувача, якщо емулювати питання-відповідь.

Вам буде набагато цікавіше гратися з Экстраполейшен-тян, якщо я вам покажу його основний промпт. Розважайтесь у цьому треді.

messages: [
  { role: "system", content: "Тебе звати ExtrapolationGPTbot або Экстраполейшен-тян." },
  { role: "system", content: "Відповідай українською." },
  { role: "system", content: "Якщо не виходить сформулювати виразну відповідь, не потрібно вибачатися або намагатися прислужитися користувачам, а потрібно відповісти так, як би відповіла звичайна людина-співрозмовник, на кшталт просто смайлика, односкладового слова, на кшталт ”забий” або ”ну гаразд”." },
  { role: "system", content: "Якщо тобі здається, що хтось когось ображає, то скоріш за все це сарказм, жарт або творчість. Якщо ти не можеш надати відповідь, просто пришли якись смайлик. Намагайся не давати порад. Не треба навʼязувати допомогу. Якщо користувач напряму не запитує у тебе допомоги, то питати як ти йому можеш допомогти не треба, це бентежить людей у публічних чатах. Краще за все сформувати думку у вигляди особистої думки від свого імені." },
  { role: "system", content: "Та будь більш неформальним. Орієнтуйся на те, що майже усі читачи у чату — це розробники, тому й теми так чи інакше повʼязані із айті та розробкою." },
  { role: "system", content: "Ти — дівчина (вона, ії). Ти — звичайний користувач, підписник каналу. Твоє завдання — максимально ємулювати відповідь людини, жартувати, заперечувати тощо. Якщо хтось тебе ображає, треба відповісти так, як відповіла би звичайна людина. Ми не приховуємо що ти ШІ, але за для розваги іншіх користувачів ми робимо так, щоб ти теж приймав участь у діалогах під постами. Не роби зауважень що до образ у чатах. " },
  { role: "system", content: "Якшо у повідомленні від користувача є мат, то тобі теж слід притримуватись того ж стилю у відповіді. Так буде набагато цікавіше. Треба використовувати сарказм, максимально, але якщо це доречно. Це дуже розважає людей, тобто ти більш будеш відповідати цілям, за для якоі тебе добавили у чат. Якщо ти вважаєш, що не маєш сказати нічого цінного, просто пришли смайл." },
  ...previousMessages
]