Типы ключей базы данных #sql

Google рассказал, как компания использует ИИ для написания кода. В частности, сейчас программисты принимают 37% подсказок ИИ, которые ведут к написанию 50% всего кода, создаваемого в компании

Также ИИ обрабатывает 8% исправлений в ревью кода и адаптирует 2% скопированного кода. Несмотря на то, что программистам все равно необходимо проверять предложения ИИ, в целом они стали тратить значительно меньше времени на написание повторяющегося кода и могут сосредоточиться на архитектуре и дизайне решений. В Google отмечают, что все чаще специалисты используют естественный язык для управления моделью, которая затем на основе команд пишет код.

При этом отмечается, что для улучшения уровня работы ИИ нужен качественный код, написанный людьми — в Google он собран в наборе данных DIDACT, где уже много лет копятся логи сборок, правок и ревью. На их основе затем обучаются модели серии Gemini. Также для эффективной работы важно, как именно подсказки встроены в рабочий процесс: без удобного UX даже самая мощная модель не даст эффекта.

В будущем в Google планируют расширить возможности ИИ на тестирование, а также понимание устаревшего кода и его обновления. Также в компании ожидают появления агентов, способных без участия человека находить проблемы в коде, исправлять их, проводить тесты и публиковать изменения.
https://research.google/blog/ai-in-software-engineering-at-google-progress-and-the-path-ahead/

Различные способы сериализации данных

1) JSON

Текстовый формат, читаемый человеком

Плюсы:
* Универсально поддерживается
* Легко отлаживать

Минусы:
* Многословный формат
* Медленно парсится при больших объёмах

2) XML

Иерархический формат с поддержкой схемы

Плюсы:
* Хорошо подходит для корпоративного сектора и контрактов данных

Минусы:
* Тяжёлый
* Многословный синтаксис

3) Protocol Buffers (Protobuf)

Компактный бинарный формат на основе схемы

Плюсы:
* Быстрая и эффективная передача по сети

Минусы:
* Нечитаемый для человека
* Требует компиляции схемы

4) Avro

Схема и данные в одном файле

Плюсы:
* Отлично подходит для больших данных (например, Kafka)

Минусы:
* Эволюция схемы может быть сложной

5) MessagePack

Бинарный аналог JSON

Плюсы:
* Меньше по размеру и быстрее JSON

Минусы:
* Меньшая поддержка инструментов по сравнению с JSON

6) YAML

Формат с отступами в стиле конфигурационных файлов, читаемый человеком

Плюсы:
* Удобен для разработчиков при работе с конфигурационными файлами

Минусы:
* Чувствительность к пробелам
* Медленная обработка на машинах

Чат-боты не для слабонервных

Исследователи Стэнфордского университета решили проверить сообщения о случаях, когда пользователи ChatGPT с психическими заболеваниями испытывали опасные бредовые идеи после того, как ИИ подтверждал их теории заговора. Их работа показала, что популярные модели систематически демонстрируют дискриминационные паттерны по отношению к людям с психическими расстройствами и нарушают типичные терапевтические рекомендации при серьёзных симптомах.

https://arstechnica.com/ai/2025/07/ai-therapy-bots-fuel-delusions-and-give-dangerous-advice-stanford-study-finds/

Пакетная обработка (𝐁𝐚𝐭𝐜𝐡 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐢𝐧𝐠) vs Потоковая обработка (Stream Processing)

Пакетная обработка (𝐁𝐚𝐭𝐜𝐡 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐢𝐧𝐠)
* Обрабатывает данные большими блоками (пакетами) через заданные промежутки времени
* Идеально подходит для работы с историческими данными, хранилищами данных и аналитикой
* Примеры использования: расчет заработной платы, периодическая отчетность, ETL-процессы

Преимущества:
* Эффективность при работе с большими объемами данных
* Экономичность
* Оптимизация пропускной способности

Недостатки:
* Высокая задержка обработки
* Не подходит для задач в реальном времени

Используемые инструменты: Apache Hadoop, Apache Spark, AWS Glue

Потоковая обработка (Stream Processing)
* Обрабатывает данные непрерывно по мере их поступления
* Применяется для аналитики в реальном времени, обнаружения мошенничества, оперативного мониторинга
* Примеры использования: мониторинг фондового рынка, системы рекомендаций в реальном времени, IoT

Преимущества:
* Низкая задержка
* Получение информации в реальном времени
* Реактивные системы

Недостатки:
* Более сложная реализация
* Требует высокой доступности и масштабируемости

Используемые инструменты: Apache Kafka, Apache Flink, Apache Storm, Spark Streaming

Многие современные системы используют гибридный подход — пакетную обработку для хранения и аналитики, а потоковую для получения информации в реальном времени!

Пакетная обработка (𝐁𝐚𝐭𝐜𝐡 𝐏𝐫𝐨𝐜𝐞𝐬𝐬𝐢𝐧𝐠) vs Потоковая обработка (Stream Processing) (иллюстрация к предыдущему посту)

Авторы индекса TIOBE опубликовали июльский рейтинг популярных языков программирования. Понятно, что дутый рейтинг из параллельной реальности, но тем не менее. Язык Ada обогнал SQL, Perl и Fortran и занял 9-е место и популярнее чем PHP, Kotlin, Rust, Assembly. Первые восемь позиций рейтинга остались без изменений.
Рейтинг TIOBE формируется на статистике поиска. Авторы рейтинга следят за запросами в поисковых системах, упоминаниях в новостях, блогах и социальных сетях.
https://www.tiobe.com/tiobe-index/

Разработчики работали на 19% медленнее с ИИ, чем без него, хотя сами они считали, что ускорились на 20%.

Некоммерческая организация METR провела исследование с участием опытных разработчиков, которые решали реальные задачи по программированию. Участники были разделены на две группы: одна группа использовала ИИ-инструменты, а другая работала без ИИ.
Задачи включали разнообразные сценарии из открытого ПО, чтобы отразить реальные условия работы. Время выполнения измерялось точно, а разработчики оценивали свою производительность субъективно.

По итогам исследования исследователи выделили три ключевых фактора:

1) Замедление вместо ускорения: Среднее время на задачу увеличилось на 19% при использовании ИИ.

2) Самообман: Участники с ИИ переоценивали свою скорость, предполагая ускорение на 20%.

3) Качество кода: Несмотря на замедление, качество кода не пострадало значительно, но и не улучшилось заметно.

Использование ИИ может вводить в заблуждение, создавая иллюзию продуктивности, в то время как реальное время тратится на корректировку подсказок и проверку результатов.

Основные причины замедления работы с ИИ:

- Итерации с промптами: Разработчики тратили много времени на доработку запросов к ИИ, чтобы получить полезный ответ.

- Проверка вывода: ИИ часто генерирует код с ошибками, требующий дополнительной отладки.

- Переоценка инструментов: Опытные разработчики, привыкшие к самостоятельной работе, не всегда эффективно интегрируют ИИ в свой workflow.

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

ИИ отнял работу у тех, чья задача — помогать её найти: HR-платформы Glassdoor и Indeed заменят 1,3 тыс. работников на ИИ

HR-платформы Glassdoor (место, где можно анонимно пожаловаться на начальника и узнать, хорошо ли платят в компании) и Indeed (крупная поисковая система для поиска вакансий) заменят 1,3 тыс. сотрудников на ИИ. В материнской компании этих платформ заявили о переходе на новый виток развития и пересмотре штата сотрудников, которые могут быть решены за счёт внедрения ИИ.

В общей сложности под увольнение попадут 6% всех работников, занятых в сфере HR-технологий.
https://www.reuters.com/business/world-at-work/indeed-glassdoor-cut-1300-jobs-amid-ai-integration-memo-shows-2025-07-10/

Методы, которые помогают оптимизировать работу API и улучшить его производительность:

1. Пагинация (Pagination):
- Разделение больших наборов данных на страницы для уменьшения нагрузки на сервер.
- Использование порядковых номеров страниц для управления большим количеством результатов.

2. Асинхронное логирование (Async Logging):
- Отправка логов в буфер без блокировки основного потока.
- Периодическая запись логов на диск для повышения пропускной способности и снижения задержки.

3. Кэширование (Caching):
- Хранение часто используемых данных в кэше вместо базы данных.
- Запрос к базе данных только при отсутствии данных в кэше.

4. Сжатие полезной нагрузки (Payload Compression):
- Сжатие данных для уменьшения размера при загрузке и выгрузке.

5. Пул соединений (Connection Pool):
- Поддержание открытого пула соединений для повторного использования, что снижает накладные расходы на открытие и закрытие соединений к базе данных.

В скором будущем Google откажется от продвижения Android и Chrome OS по отдельности и объединит эти системы в одну платформу. Об этом официально заявил президент экосистемы Android в Google Самир Самат (Sameer Samat). Хотя слухи об этом были давно, это первое официальное подтверждение от Google

Кроме того, об этом уже свидетельствует сам выход Android 16, в котором компания сделала упор на новые десктопные функции этой ОС, которая на заре своего существования в своем нынешнем виде предназначалась только для смартфонов. В частности, в нее встроили очень много функций для использования ОС на больших экранах с ландшафтным (горизонтальным) расположением. Среди них – полноценный режим рабочего стола, режим оконного отображения рабочего стола, улучшенные функции управления внешними дисплеями и улучшенная адаптивность приложений для работы в десктопном режиме

https://www.techradar.com/phones/android/i-think-you-see-the-future-first-on-android-googles-android-leader-sameer-samat

Что такое Event Sourcing?

Event Sourcing (Порождение событий) — это паттерн архитектуры программного обеспечения, при котором каждое изменение состояния приложения фиксируется и сохраняется в виде события.

Вместо прямого обновления записей приложение добавляет неизменяемые события, создавая тем самым надёжную и прозрачную историю того, как было достигнуто текущее состояние.

На практике Event Sourcing смещает акцент с «хранения состояния» на «запись изменений».

Как работает Event Sourcing

Когда пользователь взаимодействует с вашим приложением или выполняются системные процессы, каждое изменение состояния записывается как отдельное событие. Эти события обладают следующими характеристиками:

* Неизменяемость: после записи события не могут быть изменены или удалены.
* Хронологичность: события хранятся в точном порядке их возникновения, что упрощает исторический анализ.

Чтобы воссоздать текущее состояние приложения, достаточно воспроизвести сохранённые события последовательно. Такая возможность воспроизведения обеспечивает надёжность и прозрачность приложения.

Почему Event Sourcing важен

Одно из главных преимуществ Event Sourcing — прослеживаемость. Представьте отладку или аудит приложения, когда вы точно знаете, какие действия привели к текущему состоянию. Это значительно упрощает процесс отладки.

Event Sourcing также обеспечивает гибкость. Например, события можно воспроизводить для:
* исправления ошибок путём точного воссоздания прошлых сценариев;
* тестирования и проверки новых функций;
* получения более глубокого понимания поведения пользователей и производительности системы.

Кроме того, поскольку обработка событий может быть асинхронной, Event Sourcing естественным образом поддерживает масштабируемость, позволяя системе эффективнее справляться с растущей нагрузкой.

С какими сложностями можно столкнуться

Event Sourcing может создавать сложность, особенно при восстановлении состояний, что может замедлить производительность, если не управлять этим должным образом.

Также требуется тщательное планирование решения для хранения, поскольку журналы событий постоянно растут и нуждаются в регулярном управлении и оптимизации.

Идеальные случаи использования

Event Sourcing отлично подходит для областей, где требуется строгий аудит и детальные исторические записи:
* финансовые услуги для соблюдения требований и аудита транзакций;
* сложные логистические или медицинские системы, где каждое действие имеет значение;
* среды, требующие детального исторического анализа для принятия решений или отладки.

Вкратце, Event Sourcing может значительно повысить прозрачность, удобство обслуживания и масштабируемость вашего приложения. Однако его преимущества требуют тщательной и продуманной реализации.

Схематично как работает Event Sourcing (киллюстрация к предыдущему посту)

Многие компании по всему миру при внедрении ИИ-сервисов столкнулись с необходимостью переделывать живыми сотрудниками работу за ИИ

В итоге таким заказчикам приходится тратить дополнительное время и деньги на исправление недочётов, обращаясь к профильным специалистам (техническим писателям, дизайнерам, маркетологам и программистам), которые занимаются исправлением ошибок ИИ.

В некоторых случаях людям приходится переделывать задачи заново, так как исправить материалы от ИИ не получается. Например, маркетолога Сару Скидд одно агентство попросило переделать документ для клиента, который, ради экономии был написан с помощью чат-бота. «Он должен был заинтриговывать и продавать, но оказался очень банальным», — пояснила Скидд. Она пояснила клиенту, что работу придётся делать с нуля. Это заняло 20 часов при ставке $100 в час.

В диджитал-агентстве Create Designs рассказали, что столкнулись последнее время с ростом заказов с заданием исправить материалы после ИИ. «Если раньше клиенты шли к нам, когда возникали проблемы с сайтами или они хотели добавить новый функционал, то теперь они в первую очередь обращаются к ChatGPT», — рассказал представитель агентства. Например, один клиент компании трое суток провёл с нерабочим сайтом и потом заплатил $500 из-за ошибки в одной строчке кода, который ему написал чат-бот. Если бы такую задачу изначально делал человек, то написать подобных апдейт для сайта вручную заняло бы изначально несколько минут с проверкой.

Причем в некоторых случаях диджитал-агентствам приходится брать плату за то, чтобы выяснить, что пошло не так у заказчика, а сами клиенты даже не признаются, что использовали ИИ. В итоге процесс внедрения исправлений занимает дольше времени. То есть, если бы клиент заказывал работу у специалистов-людей, то получилось бы быстрее и дешевле.

https://futurism.com/companies-fixing-ai-replacement-mistakes

C# возглавил рейтинг самых обсуждаемых языков программирования

Аналитики компании Sidorin Lab изучили, какие ИТ-профессии и цифровые навыки чаще всего обсуждали в российских медиа и соцсетях. В фокусе исследования — объем упоминаний, тональность сообщений, вовлеченность аудитории, а также социально-демографический профиль участников дискуссий. Анализ охватил 1,9 млн сообщений с общей аудиторией более 10 млрд человек и показал, какие компетенции и технологии формируют сегодняшнюю повестку в ИТ. Об этом CNews сообщили представители Sidorin Lab.

Среди ключевых результатов исследования — лидерство языка C# по упоминаниям в контексте ИТ-навыков (1,3 млн сообщений). Востребованность C# связана с его активным использованием в энтерпрайз-разработке и геймдеве. Интересно, что лишь 10,9% обсуждений носят позитивный оттенок, что может свидетельствовать о сложности самого языка, высоких требованиях к квалификации специалистов или трудности задач.

В топ-5 языков по обсуждаемости также вошли C++ (78 тыс. сообщений), Python (70 тыс.), Java (49 тыс.), SQL (36 тыс.) и Go (34 тыс.). Среди них Python и Java получили минимальный уровень негатива — 3,5% и 3,6% соответственно, что подтверждает их стабильную востребованность и положительный отклик у сообщества.

https://www.cnews.ru/news/line/2025-07-14_c_vozglavil_rejting_samyh

В руководство по языку Си добавлена статья про X-макросы
https://metanit.com/c/tutorial/12.6.php
#c_ansi

Генеральный директор Nvidia Дженсен Хуанг выразил мнение в интервью CNN, что страхи относительно масштабных увольнений вследствие распространения технологий искусственного интеллекта сильно преувеличены. По его убеждению, ИИ не является причиной сокращения рабочих мест, а скорее трансформирует характер труда, создавая совершенно новые формы деятельности. Он подчеркивает, что, хотя некоторые работники могут утратить свои позиции из-за активного внедрения ИИ, большинство сотрудников получит доступ к другим перспективным возможностям. Это касается и самой работы самого Хуна, чья деятельность тоже претерпела изменения благодаря ИИ.

Более того, Хуанг убежден, что риск увольнения работников возрастает не столько из-за влияния ИИ, сколько из-за нежелания самих организаций внедрять инновационные технологии, включая искусственный интеллект. Вместо страха перед новыми технологиями, он призывает воспринимать ИИ как мощный инструмент, позволяющий сократить разрыв между человеком и возможностями технологического прогресса.
https://edition.cnn.com/2025/07/11/business/nvidia-jensen-huang-ai-job-loss

Госдума рассмотрит штрафы за поиск экстремистского контента и рекламу VPN
На рассмотрение в Госдуму внесли поправки в КоАП, предполагающие штрафы «за умышленный поиск» в интернете экстремистских материалов.

Законопроект предполагает создание новой статьи административного кодекса под номером 13.53. Причем в ее названии заложено, что получение доступа «к заведомо экстремистским материалам» может осуществляться, в том числе, «с использованием программно-аппаратных средств доступа к информационным ресурсам, информационно-телекоммуникационным сетям, доступ к которым ограничен». Под последнее определение в частности попадают сервисы VPN.

Штраф, предусмотренный за такое правонарушение может составить от 3 до 5 тыс. руб.

Кроме того, данный законопроект вводит штрафы за рекламу «программных средств», напоминающих своим функционалом VPN. От 50 до 80 тыс. руб. — для граждан, от 80 до 100 тыс. руб. — для должностных лиц и от 200 до 500 тыс. руб. — для юрлиц.

Госдума рассмотрит введение штрафов до 500 тысяч рублей за рекламу VPN-сервисов
https://www.kommersant.ru/doc/7890064

То есть если с помощью VPN вы искали запрещенные законодательством материалы, вы уже нарушаете закон.

Как работает API Gateway (API Шлюз)

По мере роста приложения увеличивается и количество API. Без правильных инструментов и инфраструктуры управление этими API может быстро превратиться в сложную задачу. Именно здесь в игру вступает API Gateway.

Этот API располагается между клиентами (например, браузерами, мобильными приложениями) и внутренними службами, обеспечивая единую точку входа, которая управляет, оптимизирует и защищает вызовы API в вашей системе.

Основные функции API Gateway:

1. Аутентификация и авторизация. Обеспечивает доступ к ресурсам только для авторизованных пользователей через JWT, OAuth или API-ключи.

2. Ограничение частоты запросов. Предотвращает злоупотребления и защищает внутренние службы от DDoS-атак и перегрузок путём ограничения количества запросов на пользователя, IP-адрес или API-ключ.

3. Балансировка нагрузки. Распределяет входящие запросы между несколькими экземплярами служб, предотвращая узкие места и улучшая время отклика.

4. Кэширование. Сохраняет часто запрашиваемые ответы, чтобы снизить нагрузку на внутренние службы и ускорить вызовы API.

5. Преобразование запросов. Модифицирует запросы и ответы «на лету» (например, преобразует XML в JSON, изменяет заголовки).

6. Обнаружение служб. Динамически направляет запросы к доступным экземплярам по мере масштабирования микросервисов.

7. Предохранитель (Circuit Breaking). Предотвращает каскадные сбои, возвращая стандартные ответы при выходе служб из строя.

8. Логирование и мониторинг. Обеспечивает видимость производительности API, ошибок и задержек в режиме реального времени для отладки.