Когда речь касается нейросетей многие люди ищут некие готовые решения, готовые инструменты, готовые подходы для работы и прочее. Я это вижу в том числе и по комментариям к своему видосу (https://youtu.be/Bzn1r7zkHys).

Проблема в том что нейросети в их текущем виде это очень свежая технология, экосистеме нейросетей от силы года три.

К примеру протокол MCP (Model Context Protocol) появился в ноябре 2024, ему пол года. Представьте себе веб в котором протокол http появился пол года назад (если что http был создан в 1990).

А протоколы это прям базовая база, протокол это соглашение которому все следуют, это договоренность о том что считать "право", а что "лево", без протоколов толком нет экосистемы, все делают кто во что горазд. То что MCP появился вот прям только недавно это явный признак того что мы сейчас на очень ранней стадии освоения нейросетей.

Экосистема ИИ очень молодая, все меняется очень быстро, то что считалось нормой год назад сейчас уже устарело. Из-за этого рекомендовать что-то конкретное, давать конкретные рецепты очень сложно.

При этом когда речь идет об опенсорсе и запуске моделей локально все еще хуже, опенсорс сам по себе более хаотичен, а уж нейросетевой опенсорс, ну тут просто бойня.

Тут гугл выложили свою новую модель, Gemma 3n, пишут что это модель оптимизирована под мобильные устройства, что хорошо не только для мобильных устройств но и вообще для любых устройств.

Мне очень понравился Gemma 3, как по мне это одна из лучших локальных моделей, у нее отличное соотношение качества ответов и требований к железу. Посмотрим как себя покажет Gemma 3n.

А еще обратите внимание на страницы для установки - там есть Ollama и LM Studio, выходит в гугле тоже смотрят мои видосы, это довольно не типично для гугла, гугл обычно живет в своем пузыре где есть только продукты гугла. А тут они не только рекомендуют эти программы к установке, они еще получаеться связались с создателями Ollama и LM Studio что бы сделать синхронный релиз.

https://deepmind.google/models/gemma/gemma-3n/

Не спрашивайте, что нейросети могут сделать для вас, спрашивайте, что вы можете сделать для нейросетей.

Я практически уверен что скоро главным трендом в айти будет создание "нейро-френдли" проектов, и даже "нейро-френдли" архитектуры. То есть вместо того что бы заставлять нейросети работать в коде который изначально был написан под потребности людей, мы начнем создавать проекты архитектура которых будет изначально заточен под нейросети (ну и под людей уже во вторую очередь).

Нейросети по другому смотрят на код, самая большая проблема у них это контекст, при чем даже не размер контекстного окна, а то что рекламируемое контекстное окно и реальное очень сильно различается.

Нейросетям очень часто приходиться напоминать о существовании какой-то зависимости, или требования, или библиотеки, то есть программист все равно должен знать проект и помогать нейросети ориентироваться в нем (даже если формально весь проект влез в контекст).

Конечно может завтра выйдет модель заявленное контекстное окно которой будет реальным, но такое чувство что контекст еще долго будет оставаться проблемой.

В целом чем кода меньше и чем он более изолирован тем лучше для нейросети, меньше токенов - меньше проблем.

Ну и по суте это же ведь, ну да, микросервисы =/ Если микросервис правильно абстрагирован то модели не нужно держать в своем контексте весь проект, ей достаточно видеть только код этого микросервиса.

А если смотреть еще на более низкий уровень то нейросети отлично себя показывают в работе с чистыми функциями, опять же - чем меньше зависимостей и побочных эффектов тем лучше.

Майкрасофт заопенсорсили копайлот: https://news.1rj.ru/str/tg_1red2black/2229

И это супер важная новость. И нет, это не конкурент Cline или Continue, это конкурент Cursor. Именно Cursor это не просто главный конкурент vs code, это его экзистенциальная угроза, что особенно забавно учитывая что это его форк.

Майкрасофт будут делать все возможное что бы вернуть разрабов из Cursor обратно в vs code, и опенсорсить инструменты для работы с ИИ это их сильнейшее оружие в этом, ведь теперь сделать ии расширение для работы с кодом станет НАМНОГО проще. У нас должно появиться больше Cline-нов и они должны будут куда более стабильно работать (как минимум как копайлот).

Цель майкрасофт обогатить экосистему vs code ИИ инструментами, и тем самым сделать бессмысленным уход на Cursor. Сейчас с ИИ инструментами в vs code беда (их там много, но нормально работающих единицы), ну вот это должно в скором времени быть исправлено.

Думаю сейчас отличный момент что бы делать ai расширение для vs code, буквально форкать копайлот https://github.com/microsoft/vscode-copilot-chat и вперед.

Небольшая новость в формате картинки.

О да, оно вышло, видос в который я вложил очень много сил и времени. Очень жду отзывов от вас в комментах на ютубе и здесь.

https://www.youtube.com/watch?v=Ip2_wpHLv-k

Как же я кринжую с нейрости ютуба которая "предлагает" варианты ответов для автора видео на комменты к видео.

И вот, знаете, интерфейс ютуба для авторов для работы с комментами, он ужасен. Он плохо работает, он глюченный. С ним невозможно нормально работать когда комментов становиться больше тысячи.

Но этого ютуб исправлять не будет, а вот пихать нейросеть туда где ее не должно быть, но куда запихнуть ее проще всего, это да, это пожалуйста.

И сейчас вообще есть такой тренд - нейросети просто пихают куда только возможно, при чем максимально топорным образом.

Я создал сообщество в ВК: https://vk.com/tosternoscript

И выложил на вк видео все свои видосы: https://vkvideo.ru/@tosternoscript

Мне очень любопытно как аудитория ВК вообще отреагирует на мои видосы, в конце концов мои видосы это первый в истории ВК случай когда туда залили видео не про танки и не про уральские пельмени.

Подпишитесь на сообщество: https://vk.com/tosternoscript а то мало ли что с телегой может произойти, а так не будем теряться.

Да верные и интересные мысли: https://news.1rj.ru/str/etechlead/219

Мне вот лично интересно, а вообще как там экономика ИИ вендеров происходит? Они сейчас прибыль получают или жестко демпингуют? Потому что как я понимаю, они сейчас все работают в убыток и жгут деньги инвесторов.

Для нас как для юзеров это хорошо, особенно для программистов, нам сейчас за дешево доступны очень крутые модели, но как долго это все будет продолжаться? Я вот лично не очень хочу подсаживаться на тот же Cursor, а то я подсяду, а потом там цены взлетят, и привет, я то уже привык мозг отключать.

Да и еще, все это прозжигание денег оно ведь создает не верное представление о возможностях моделей, ну то есть локальные модели проигрывают иивендорским, но это и не удивительно учитывая кол-во денег которые эти ии вендоры сжигают.

А вот локальные, с ними все честно, все как есть.

В догонку к предыдущему посту 👆, в табличке на странице со сравнением чат ботов https://artificialanalysis.ai/insights/chatbots-comparison есть сравнение по Privacy, но какая-то там не полная информация.

OpenAi обязаны по решению суда хранить все логи всех чатов chatGPT, даже те которые были удалены юзером. И мало того что они обязаны это хранить, они обязаны передавать эту информацию газете нью йорк таймс (да, звучит это как выдумка сгаллюцинировавшей нейросети, но к сожалению это правда). Никаким образом отписаться от этого юзер не может. Это явно влияет на Privacy, но ничего про это решение суда в строке Privacy не написано.

Выходит у нас сейчас есть такие вот российские опенсорсные модели, они все разных размеров (я не знаю, они типа сговорились чтобы заполнить разные ниши или что?), так что можно подобрать что-то под свое устройство:

https://huggingface.co/t-tech/T-pro-it-2.0-GGUF (32B) - т-банк, прям только что вышла, я ее немного потрогал, вроде работает хорошо, но даже в русскоязычном контексте пытается переходить на инглишь.

https://huggingface.co/ai-sage/GigaChat-20B-A3B-instruct-v1.5-GGUF - как по мне одна из лучших опенсорсных моделей на русском языке.

https://huggingface.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF - у яндекса странная лицензия, и еще эта модель любит переходить на инглишь, у меня она постоянно это делает.

https://huggingface.co/MTSAIR/Cotype-Nano-GGUF - маленькая модель от МТС (всего 1.54B), не могу ничего про нее сказать. Среди маленьких моделей определенно одна из лучших это Gemma3, было бы интересно сравнить модель от МТС с ней, именно в русском языке в который Gemma 3 в целом умеет.

Все ссылки даю на GGUF, небольшой лайфхак, что бы установить GGUF модель с huggingface при помощи Ollama нужно вводить такую команду:

ollama run hf.co/t-tech/T-pro-it-2.0-GGUF:Q4_K_M

Это пример для модели от т-банка, но у других такой же принцип.