Переобученность нейросети
#матчасть

Как мы уже обсуждали, в обучении нейронных сетей есть свои важные нюансы. В качестве иллюстрации можно привести т.н. состояние переобученности нейросети. Это состояние нейронки, когда она излишне подстраивается под данные и фактически теряет гибкость в решении задач.

🐱 Например, переобученная нейросеть, предназначенная для распознавания на картинке котиков, может с вероятностью около 100% распознавать на изображении сиамского кота, но если дать ей изображение мейн-куна, то кошку нейронка там не увидит.

AI-тренерам и другим специалистам, работающим с нейросетями, важно не доводить их до состояния переобученности, правильно оперируя обучающими данными.

Да и людям в обучении стоит быть аккуратнее 😉

@digitaltea | про IT доступно

Как США RuTube продвигают
#трендец

Когда политика со свойственной ей неуклюжестью влезает в сферу технологий, порой случаются курьёзные вещи. Например, сейчас США со своими партнёрами де-факто спонсируют развитие в России RuTube и других отечественных видео-сервисов.

❓ О чём речь?
Начну издалека. Когда вы смотрите ролик на YouTube, по факту на ваш компьютер видео загружается не откуда-то из Сан-Франциско, а с сервера, расположенного условно (или в прямом смысле) в вашем городе. Это так называемые кэширующие серверы YouTube. Они хранят актуальную часть видео-контента, чтобы местным пользователям видосики транслировались с местных же серверов, а не из-за Атлантики. Таким образом скорость загрузки и качество трансляции существенно улучшаются.

Это общемировая практика. Такая сеть кэширующих серверов даже имеет своё название — Google Global Cache (GGC), и любой более-менее крупный провайдер Интернета может обратиться в Google, и ему устанавливают такие серверы. В прошлой жизни около 700 серверов GGC было установлено и у российских провайдеров.

Но после известных событий 2022 года американские санкции запрещают ввоз в РФ серверного оборудования, и Google не может серверы GGC обновлять, чинить и дополнять. А делать это надо и регулярно, т.к. оборудование находится под постоянной нагрузкой, выходит из строя, а растущее количество видосиков в YouTube требует увеличения мощностей GGC. И вот уже скоро будет два года, как российский сегмент GGC летит на автопилоте: что сломалось — то сломалось.

❗️ Что здесь важно?
Google проблему знает, но руки у него связаны. В качестве полумеры недавно они предложили создать т.н. "прямые стыки" в Москве и Питере, чтобы при необходимости пользователи из регионов России загружали YouTube-видео хотя бы из столиц, а не напрямую из-за океана.

Впрочем, это лишь отсрочит неизбежное. По мере выхода из строя региональных серверов GGC, всё больше трафика будет направляться в столичный регион, нагрузки на сети возрастут, и качество видео всё равно будет падать. Относительно благополучно будут чувствовать себя пользователи из Москвы, Питера и ближайших к ним регионов (за счёт близости к "прямому стыку"), а также жители Дальнего Востока, где можно будет организовать доставку трафика из Японии.

Что будет на большей части РФ, когда нормально смотреть котиков на YouTube будет нереально — легко представить. Здравствуй, RuTube, VK-Видео и прочие местные видео-сервисы, которым сейчас для бурного развития не хватает внятного ответа на простой вопрос пользователей: "А зачем оно мне?". При сохранении тенденции ответ будет не менее простой и сильный: "Качество и скорость!".

К слову, в своё время подвозили новость о том, что в РФ тестируется система "прокладки" для YouTube на базе Ростелекома, чтобы можно было видео-контент централизованно фильтровать (обсуждали здесь). Но если ситуация с GGC будет идти, как идёт, то большой необходимости в этом может и не оказаться. Гриф — птица терпеливая. А руководству RuTube и Ко остаётся регулярно ставить свечки за здоровье американских чиновников и надеяться, что ветер санкций не изменится. Да и государство не в накладе: если ничего блокировать не потребуется, то и люди ворчать не будут. Потому что "это не мы, это они сами".

📌 Эти перспективы необходимо учитывать тем, у кого бизнес связан с YouTube. Стелите соломку заранее. Ну а обычным пользователям, желающим таки смотреть котиков именно на YouTube, могу посоветовать всё тот же VPN (пока можно). Если вы будете выходить в Интернет из сети иностранного провайдера, то "рядом с вами" там и местные сервера GGC будут.

@digitaltea | про IT доступно

Виртуализация: "Матрица" для компьютеров
#матчасть

Когда говорят о виртуальной реальности или метавселенных, то подразумевают создание виртуальной среды для людей. Но оказывается, своя матрица виртуальная среда бывает и для компьютеров. Технология так и называется — виртуализация.
IT — это просто 😉

Что это такое?
Виртуализация — это технология, которая позволяет создавать виртуальные версии физических компьютеров. На одном физическом компьютере можно создать и запустить несколько виртуальных компьютеров (говорят — "машин", а на жаргоне — "виртуалка"), каждый из которых будет функционировать, как полноценный компьютер.

Делается это с помощью специальной программы, называемой гипервизор. Гипервизор — это "прокладка" между физическим оборудованием сервера и виртуальными машинами: он создаёт виртуальные машины, управляет распределением ресурсов между ними и изолирует их друг от друга. Каждая виртуальная машина думает, что она работает на собственном физическом оборудовании, не догадываясь, что она виртуальная. Такая вот "Матрица".

Зачем это нужно?
Виртуализация несёт с собой следующие преимущества:

📊 Экономия ресурсов
Представьте, что у вас есть мощный сервер, и на нём работает какой-то сервис (скажем, веб-сайт, почта или база данных). Этот сервис "занимает" весь сервер, но не использует на 100% все его ресурсы. Создание же на основе этого сервера нескольких виртуальных машин позволит использовать вычислительные мощности более полно и получить несколько "бесплатных" серверов под другие задачи. Это называется консолидацией серверов и позволяет существенно снизить затраты на серверное оборудование. Такой вот колхоз.

🛡 Изоляция и безопасность
Виртуализация создаёт изолированные среды, предотвращая влияние одной виртуальной машины на другие. В случае программного сбоя или взлома одной машины это не затронет остальные. Это ответ на незаданный вопрос к предыдущему пункту "А почему нельзя просто запустить на одном физическом сервере несколько сервисов?"

⚙ Простота создания и резервирования
Виртуальные машины можно легко создавать и удалять, что ускоряет развёртывание новых приложений и сервисов. Кроме того, готовая виртуальная машина — это просто файл, что делает очень простым резервирование и создание копий. Нужно 10 одинаковых серверов? Несколько кликов мышкой в гипервизоре. Сравните это с необходимостью смонтировать и настроить 10 физических серверов.

🐱 Зоопарк операционных систем
Каждая виртуалка — это самостоятельная машина, на которую можно установить свою операционную систему. Несколько разных операционных систем, работающих на одном сервере одновременно? Можно. Создал несколько виртуалок — и готово!

🎛 Лёгкость управления
Управление всем парком виртуальных серверов осуществляется из одной контрольной панели, что очень удобно.

📌 Виртуализация — ещё одна технология, работающая "под капотом" современных цифровых сервисов. Делая их обслуживание проще и дешевле, а функционирование — надёжнее, виртуализация в конечном счёте снижает стоимость этих сервисов для нас вами. С чем я вас и поздравляю.

@digitaltea | про IT доступно

Пациент один, копий — много
#трендец

Не особо приметную, но долгосрочно важную новость подвезли из Голландии. В Амстердамском университетском медицинском центре ведутся работы над созданием т.н. "цифровых двойников" для пациентов, пострадавших от инсульта.

❓ О чем речь?
"Цифровой двойник" — это по сути компьютерная модель, имитирующая функционирование систем организма конкретного человека с учётом его индивидуальных особенностей. Строиться и работать эта модель будет с помощью специальным образом обученного искусственного интеллекта. Стратегия лечения пациента будет предварительно отрабатываться на "двойнике", и в случае успеха применяться на живом пациенте.

Это позволит медикам делать то, что ранее было невозможно — тестировать разнообразные тактики лечения и выбирать из них оптимальную для конкретного пациента. "Ой, а давайте посмотрим, что будет, если дать ему эту таблетку?". Хотя есть ощущение, что местами этот подход используется и сейчас, без цифровых копий..

❗️ Что здесь важно?
В данном случае речь идёт о подборе оптимального лечения лишь одного конкретного заболевания, да и практические результаты авторы разработки планируют получить в течение 6 лет. Но лиха беда начало.

Главное: мы стоим в начале большого и критически значимого тренда — тренда на персонализированную медицину.

🧬 Надо ли говорить, что несмотря на то, что у всех нас две руки и один нос, в нюансах функционирования наших организмов мы можем очень сильно отличаться друг от друга. Соответственно, и лечение в идеальном мире нам зачастую нужно разное. И теперь у нас есть возможность стать на шаг ближе к такому идеальному миру.

💊 А теперь дополните концепцию "цифрового пациента" возможностями, которые открывают технологии расшифровки ДНК, нано-роботов и 3D-печати, и мы получим не только персональные схемы лечения, но сами лекарства, разработанные и созданные конкретно для вас. Персонально. Без побочек и рисков, максимально эффективные.

Когда-то люди жили по 30 лет, если очень повезёт. Эволюционно с тех пор мы не изменились, и нынешняя продолжительность жизни — это заслуга развития пищепрома и медицины. И сейчас перед нами — новая веха в развитии медицинской отрасли, по эффекту как минимум сопоставимая с изобретением антибиотиков.

📌 Полагаю, что 100+ лет будет для следующих поколений людей нормой. Временной нормой. Потому что дальше — то, о чем даже говорить пока боязно.

@digitaltea | про IT доступно

Где мы сейчас на пути развития ИИ?
#трендец

В августе 2023 исследовательская компания Gartner представила свою версию т.н. кривой хайпа применительно к технологиям искусственного интеллекта (ИИ).

Возможно, кто-то из вас её уже видел. Но я специально не стал разбирать этот график тогда летом: за пол-года принципиально нового ничего не случится, а вот подвести итоги 2023 года, прошедшего под флагом ИИ, будет логично именно в конце декабря под доносящийся запах новогодних мандаринов 🍊

📖 Разбор можно прочитать по ссылке.

@digitaltea | про IT доступно

#иирисует

"Катись, яблочко наливное, по серебряному блюдечку, покажи мне и города, и поля.."
(с) Русская народная сказка

Вроде, всё правильно нарисовал.. 🎨

@digitaltea | про IT доступно

Open source. Душа нараспашку
#матчасть

Что такое открытый исходный код? Почему он открыт и для кого? Сегодня разберём это понятие.

❓ О чём речь?
Open source (англ. открытый исходный код) — это философия и методология разработки программного обеспечения, при которой исходный код (текст) программы доступен для всех, кто хочет его изучить, использовать и улучшить. Это означает, что не только разработчики программы могут работать с её кодом, но и другие программисты, ученые и все желающие.

Почему это важно?
🔎 Прозрачность
Исходный код программы доступен для всех. Это делает проекты более прозрачными, так как люди могут проверить, как работает программа, и убедиться, что в ней нет скрытых закладок или вредоносного кода. Если вы сам не программист, и не в состоянии лично убедиться в безопасности исходного кода программы, не переживайте — предостаточно профессионалов, анализирующих open sourse коды в качестве хобби или по долгу службы. Если в открытой программе будет какая-то бяка, это обязательно будет обнаружено сообществом.

👥 Совместная разработка
Благодаря открытому коду, разработчики со всего мира могут внести свой вклад в проекты. Это способствует созданию более качественных и надежных программ.

📊 Бесплатное использование
Многие open source программы доступны бесплатно. Это делает их доступными для широкой аудитории и позволяет экономить деньги. Этот же аспект позволяет людям отказаться от использования взломанных пиратских программ, которые как раз несут в себе риск встроенных вредоносных функций.

🍏 Независимость
Пользователи не зависят от одной компании или организации для поддержки программы. Если разработчик прекратит её поддержку, сообщество может продолжить работу, если программа популярная и полезная.

🎓 Обучение
Исходный код опенсорсных программ является отличным материалом для обучения программированию. Люди могут изучать, как создавать программы, анализируя готовые проекты.

Идеология open sourse получает в настоящее время всё большее распространение. Опенсорсные программы можно найти на любой вкус и [почти] под любые задачи — начиная от операционных систем (семейство Linux), и заканчивая браузерами (Firefox, Brave и т.д.), офисными пакетами (OpenOffice, LibreOffice) и специализированным программным обеспечением.

🤒 Open source способствует распространению инноваций, доступу к технологиям и развитию общества в целом. Сам я высоко ценю концепцию открытого исходного кода, и при прочих равных всегда предпочитаю опенсорсные программы. Особенно важным для меня является аудит кода сообществом на предмет встроенных нехорошестей и возможность использовать официальные версии программ со всеми обновлениями (что получило дополнительную актуальность в режиме санкций, когда многие коммерческие программы без танцев с бубном просто не купить и не обновить).

@digitaltea | про IT доступно

#напульсе

Компания АО «Рутек» официально представила отечественный смартфон «Р-ФОН» под управлением российской операционной системы «РОСА Мобайл». Он обладает усиленной защитой аппаратных компонентов от взлома благодаря использованию драйверов собственной разработки. Ранее в прессе «Р-ФОН» уже окрестили антишпионским смартфоном [...] Гендиректор АО «Рутек» Дмитрий Иванников отметил, что смартфон изготовлен в основном из зарубежных индустриально-стандартных компонентов, но его печатные платы, финальная сборка, тестирование, радиочастотная настройка и установка программного обеспечения выполняются в России (c) 3DNews

Оставлю другим нишу язвительных замечаний на тему того, насколько данный смартфон можно называть отечественным. Надеюсь, что его и впрямь самостоятельно собрали из китайских микросхем, а не просто перелицевали китайский же бренд, как у нас нынче принято автопроме. Увы, в условиях отсутствия собственной элементной базы такой компромиссный путь — единственное, что остаётся, и хорошо, что движение есть хотя бы в таком формате.

🤒 Но акцентировать внимание я хочу на другом. Маркетинг для Р-ФОНа выбран "антишпионский". Нормальный ход, по тренду. Но у меня лёгкое де жавю: в этом году по другую сторону океана уже выходил один "патриотичный" смартфон с таким же маркетингом, и я комментировал это дело тут. Всё сказанное вполне актуально, предлагаю ознакомиться тем, кто заинтересуется "антишпионской" составляющей Р-ФОНа.

@digitaltea | про IT доступно

Кликабельная ссылка? Тогда к вам товарищ майор!
#напульсе

Немного о насущном для пишущих в Сети.

В России могут запретить размещать кликабельные ссылки на запрещенные ресурсы, при этом неактивные ссылки оставить можно, сообщил [председатель комитета Госдумы по информационной политике, информационным технологиям и связи] Александр Хинштейн (с) РБК

h ttps://www.rbc.ru/technology_and_media/21/12/2023/65842ba99a7947bcb9535de8

Вот так 👆 тогда будут выглядеть ссылки на всякие запретограммы и прочие рассадники экстремизма. Кликнуть по ним нельзя будет, только скопировать-вставить. И 90% ленивых пользователей просто не будут этого делать и т. о. сохранят своё ментальное здоровье. Вот и славно 😇

Проблема только в другом: если вы пишете в соцсети или на сайте, как узнать, можете ли вы дать ссылку в кликабельном виде? Сейчас ведь хрен отследишь не очень просто быть в курсе, кого признали запрещённым, а кого нет. Сам я категорически за работу с первоисточниками, поэтому всегда стараюсь давать ссылки на ту информацию, которой оперирую в своих постах. Но каждый раз проверять, не внесён ли ресурс, на который ссылаешься, в список злодеев — это напрягает.

И хуже всего то, что:

Решение о том, какая ссылка будет кликабельной, какая — нет, останется за платформами. Ни о какой ответственности в данный момент речи не идет. Пользователей инициатива не коснется вообще (с) Хинштейн

Не коснётся. Вообще. "Твёрдо и чётко". Короче, следить за ссылками придётся, похоже.

🚀 Но кто будет следить за этим в телеге!
Товарищ майор. Точнее — "Товарищ майор".

В России разработали нейросеть, получившую название «Товарищ майор», способную определять владельцев анонимных Telegram-каналов [...] Эксперты полагают, что подобный инструмент будет полезным для государственных или частных организаций, занимающихся расследованием киберпреступлений (с) Известия

Например, преступление в виде распространения т. н. недостоверной информации. Не только за ссылками следить стоит.

Да, анонимности в современном мире становится всё меньше (в т.ч. благодаря привлечению к этому искусственного интеллекта). В частности, авторам анонимных телеграм-каналов стоит понимать эту тенденцию.

🤒 К слову, об отличиях анонимности и приватности мы говорили здесь.

🤒 Полная версия "Товарища майора" выйдет в 2024-2025 году. Хотя, надо сказать, ничего принципиально нового "майор" не свершит. Специалисты т. н. OSINT (разведка по открытым источникам информации) и сейчас могут вытащить много инфы из Сети, если она там есть. Нейронка может сделать их деятельность более эффективной (и, да, за счёт этого увеличить риски раскрытия личности в отдельных случаях), но в целом, если изначально человеком предпринимались эффективные меры для сокрытия своей личности, то нейросеть чуда не совершит (сложно найти чёрную кошку в тёмной комнате, особенно, если её там нет). А если не предпринимались - то увы.

👢 А вот с креативностью у автора названия этой нейросети явно напряжёнка.

В общем, друзья, будьте бдительны, чтите кодекс, как завещал товарищ Бендер, и берегите себя и близких.

@digitaltea | про IT доступно

Нейросети устраиваются в корпорации
#трендец

Консалтинговая компания "Яков и партнёры" совместно с Яндексом провели исследование, которое показало, что около 20% крупных российских компаний уже используют генеративный искусственный интеллект (нейронные сети типа ChatGTP) в своём бизнесе.

При этом две трети таких компаний отмечают прибавку к прибыли в 1-5% за счёт ИИ, и почти все (94%) считают, что внедрение ИИ помогает снизить затраты бизнеса. По мнению авторов исследования финансовый эффект от внедрения ИИ к 2028 году может достичь 4,2–6,9 трлн рублей, что эквивалентно влиянию на ВВП до 4%.

С полной версией исследования можно ознакомиться, скачав тут.

📈 То самое движение в сторону прикладного внедрения (т.н. плато продуктивности). Судя по всему, финансовым аналитикам, инвесторам и прочему биржевому люду теперь при анализе компаний придётся помимо макроэкономики и финансовых отчётов также обращать внимание на результаты по внедрению ИИ в деятельность бизнесов.

@digitaltea | про IT доступно

Как ИИ по грибы ходил
#цифрогигиена

Наткнулся я в Сети на любопытную статью, из категории "и смех, и грех", притом достаточно показательную. Хочу поделиться с вами.

❓ О чём речь?
На главном американском маркет-плейсе Amazon (прародитель всех Wildberries) в продаже обнаружены написанные нейросетями книги о грибах. И не просто книги, а справочники с информацией о том, как определять виды грибов, какие съедобные, а какие нет. Находка сделана проектом Originality.ai, специализирующемся на обнаружении контента, созданного искусственным интеллектом. И проблема в том, что по оценкам специалистов не вся информация в таких книгах соответствует действительности 🍄

❗️ Что здесь важно?
Эта история не стала бы резонансной, если бы мы имели дело с материалом иного рода (мало ли нынче создаётся контента с помощью ИИ), но в данном случае речь идёт об информации, которая может в прямом смысле отделить жизнь от смерти, если неопытный грибник доверится такой книжке и сварит себе на обед пару поганок.

Я уже упоминал понятие галлюцинирования применительно к искусственному интеллекту. И данный кейс наглядно демонстрирует, как это явление может наносить реальный вред при халатном отношении.

Можно, конечно, мрачно пошутить, мол, это всё заговор ИИ с целью уничтожения человечества 🤒 Но тут вопросов больше как раз к людям — тем самым, что быстренько склепали книжку, не удосужившись перепроверить информацию, созданную нейросетью (или даже не обладая для этого знаниями), и выбросили её на Amazon, чтобы срубить бабла по-быстрому.

💡 К слову, эта же история может служить примером того, как рождаются новые профессии и направления бизнеса. Кого-то нейросети, возможно, и оставили без работы, зато вот другие люди запустили проект по выявлению контента, сгенерированного нейронками. А ещё не так давно профессия "выявителя нейросетей" никому бы и в голову не пришла за ненадобностью.

🤒 Ну, а пока — сохраняйте бдительность, друзья (и к новогоднему столу отбирайте грибы тщательнее 😀). В современном цифровом мире, где информацию не только легко получить, но теперь и не менее легко создать, это особенно важно.

@digitaltea | про IT доступно

Топ-10 навыков уходящего года
#трендец

В уходящем году эксперты Всемирного экономического форума опубликовали своё видение главных навыков, которые помогут быть конкурентоспособными на рынке труда сейчас и в ближайшие годы [оригинал можно скачать тут].

Понимаю, что многие уже спешат пить закупать шампанское и резать салатики, поэтому сразу к делу.

⚙ Всего коллеги из ВЭФ выделили 26 таких навыков, а топ-10 среди них следующий:

1. Аналитическое мышление
2. Творческое мышление (креативность)
3. Гибкость (ментальная; умение садиться на шпагат не в счёт)
4. Мотивированность
5. Любознательность и обучение на протяжении всей жизни
6. Технологическая грамотность
7. Надёжность и внимание к деталям
8. Эмпатия и активное слушание
9. Лидерство и социальное влияние
10. Контроль качества выполнения задач (руководителям)
11. Системное мышление

Да, топ-10 в моём исполнении содержит 11 пунктов, но арифметики же нет среди важных навыков, правда? 😀 А если серьёзно, то находящееся на 11-м месте системное мышление рука не поднялась оставить за пределами топа. А Топ-11 звучит не так круто 😉

🎓 Мне этот список нравится. И обратите внимание, что в этот топ, рассчитанный на широкий круг специалистов из разных отраслей, попала технологическая грамотность. Даже если вы не айтишник, технологическая грамотность (некий базовый уровень, без погружения глубоко в нюансы) в современном мире важна по умолчанию, как когда-то стала важна обычная грамотность (умение читать и писать). Я бы даже сказал, что важнее обратить на неё внимание как раз специалистам из не-IT отраслей, потому что айтишники-то по умолчанию обладают технической грамотностью в той или иной степени.

Собственно, стремление помогать людям двигаться в этом направлении и стало в своё время основной мотивацией и идеей для создания этого блога.

🧠 В развитии каких ещё важный качеств я могу помочь другим? Да и себе тоже, ведь как говорится, "хочешь чему-то научиться — научи этому других". Смею надеяться, что регулярно упражняясь в разборе подтекста и значения отдельных событий в цифровом мире, а также в выявлении трендов, в т.ч. долгосрочных, мы с вами прокачиваем свои навыки аналитического и системного мышления, а также ментальную гибкость.

И отдельно хочу отметить пункт 5, любознательность и обучение на протяжении всей жизни (он даже выше технологической грамотности стоит). Это не то, чтобы навык, это скорее, жизненное кредо, которое при правильном приложении позволит развить любые хоть топ-10, хоть топ-100 навыков и качеств. Культивируйте в себе это.

🤒 Я намеренно оставил эту тему на крайний [информационный] пост в уходящем году. Уверен, что приведённый список навыков будет актуален и 2024 году, и позже. Желаю всем нам развивать этот топ-10 11 навыков, быть успешными и эффективными не только в 2024 году, но и во всех последующих.

На связи, и с наступающим! 🌲

@digitaltea | про IT доступно

Чайный #дайджест №26 🔴

Друзья, на заключительной неделе этого года мы с вами обсудили:

☕️ Что такое открытый исходный код, и почему он важен
☕️ Выход убийцы iPhone Р-ФОНа в РФ
☕️ Значимые новшества для пишущих в Рунете
☕️ Темпы внедрения ИИ в российском бизнесе
☕️ Как ИИ по грибы ходил
☕️ Топ-10 навыков уходящего и будущего года

Если что-то упустили — можете почитать в перерыве между нарезанием оливьешек.

Всем хороших длинных выходных, и удачно подготовиться к встрече Нового года!

@digitaltea | про IT доступно