Задача которая меня вымотала

Дисклеймер: Писал с телефона в состоянии индифферентности к форматированию

На работе меня передали в аренду в другую команду для реализации интеграции со сторонней системой.

Задача по интеграции заключалась в том, чтобы забрать данные из двух табличек сторонней базы данных в наши таблицы, а потом, на основании полученных данных, формировать записи в третьей таблице.

Первый камень о который я споткнулся называется Microsoft SQL Server. Это именно та база из которой нужно было забирать данные.

А второй камень - это r2dbc. У нас на проекте стоит Kotlin и WebFlux, реактивный стек. А r2dbc - это реактивный драйвер для баз данных.

Ну так вот, нужно мне фильтрануть данные в исходной табличке по дате.
В базе стоит тип smalldatetime. В документации майкрософта написано, что для Java smalldatetime парсится в java.sql.Timestamp.

Но r2dbc не поддерживает java.sql.Timestamp, он поддерживает LocalDateTime. Но при передачи значения фильтра в виде LocalDateTime ругается уже MS SQL.

Ну не хотят дружить, со всеми бывает. Решил передать значение фильтра по дате тупо как строку и распарсить в самом запросе.

Что-то типа такого:

‘’’
Select *
From table
Where date > CAST(‘2024-07-14 10:00:00’ as smalldatetime)
‘’’

И вроде заработало… А вроде и нет. Часть дат парсится нормально, а часть падает с ошибкой.

С помощью метода тыка, танцев с бубном и заветов Ванги возникла одна безумная теория.

А что если все даты отображаются в базе в формате YYYY-MM-DD, но парсить их надо в формате YYYY-DD-MM?

Безумие, скажете вы. Продукты майкрософт отвечу я. Да действительно. Оказалось нужно передавать сначала день, потом месяц. Но при отображении в бд все отображается по человески.

Тут мои мозги закончились вместе с желанием разбираться дальше почему люди не любят пилить интеграции, но впереди меня ждало еще много интересных, но очень не вкусных открытий.

Ставь 🔥, если интересно почитать через что я прошел, чтобы запилить MR на 2.7К строк, и расскажу почему я не люблю r2dbc и как я в очередной раз убедился что от соприкосновения со всем, где в названии есть слово Microsoft все таки укачивает.

Капча, которую мы заслужили 😅

Где взять время?

Один из наиболее злободневных вопросов. Где взять время на изучение Java?

Где взять время на изучение чего-либо? Где мне взять время на посты, менторскую деятельность, другие мои проекты?

В целом я не знаю, расходимся)

Ну серьезно, дополнительного времени не взять ниоткуда, это ограниченный ресурс, который мы можем только как-то распределять.

Это очень похоже на проблему потребления ресурсов приложением.

У приложения может возрастать нагрузка. Пользователей становится все больше, ресурсы потребляются более активно.

Да, мы можем добавить оперативки, поднять мощность железа, но в конце концов мы упремся в некоторый предел.

В какой-то момент придется пересматривать архитектурный подход, внедрять кэширование, поднимать реплики сервисов, добавлять nosql и проводить рефакторинг.

Мы можем вывезти условно 10к юзеров на простых инструментах, но если хотим кратно большей выдержки, то просто вынуждены будем пересматривать наш инструментарий.

Так и в жизни. У каждого из нас есть определенный набор инструментов- паттернов поведения. Режим сна, питания, спорта, развлечений, работы, зависимостей (конструктивных и деструктивных).

Каждому из нас его личный набор таких инструментов обеспечил определенный уровень жизни.

Если мы хотим кратного улучшения уровня нашей жизни, лучшей работы, лучшего тела, лучшего партнера итд, итп, то нам нужно пересматривать архитектурные подходы, которые лежат в основе нашего внутреннего психического устройства.

Какая-то реклама психотерапии получилась, а не менторства по Java 😄

Но с другой стороны заметил, что в менторстве, помимо передачи структурированных знаний, нужно давать моральную поддержку и мотивацию 🥊

И кажется, что структурированные знания самостоятельно получить гораздо легче, чем вот эту вот гармонию от единения с бесконечно вечным 🧘

Итого не ищите время, ищите утечки времени)

Коротко о том, как я полюбил делать ревью чужого кода😂

Всем привет!

Расскажу что происходит в моей жизни.

Работа 😔

Очень. Много. Работы.
С одной стороны обычная пятидневка, но сил забирает больше, чем если бы у меня было три вечно недовольные жены.

В этом месяце я стал проводить технические интервью. Провел около 10.

Основная проблема у соискателей с иммутабельностью. Не многие могут определить в коде проблемы с мутабельными сущностями.

Разработал крутой модуль, который позволяет отображать на карте технику и поезда с их фактическим перемещением. Разработал его ранее, а в этом месяце перевел его на стероиды.

Запилил интеграцию с внешней системой и работал на двух тимлидов сразу. Понял, что не люблю когда меня отдают в аренду кому-то.

Боролся с выгоранием. И в этом мне помогла

Бачата.
Когда-то я писал, что хожу на нее. Теперь же уже отходил год и 3 месяца. И вот я мидл бачата танцор, лол. Занимаюсь по 6-10 часов в неделю. Рекомендую всем, действенное средство от выгорания, поднятие энергии, и, наверное, силы земли) Видос моих танцевальных потугов выше 🕺

Курс.
Когда-то в мае я запускал курс по разработке проектов на спринге. В ноябре курс подошел к концу.
Скоро я буду запускать второй поток, и подробнее расскажу о том, что там и как.

Наставничество.
Буквально сегодня у меня появился второй ученик и теперь их у меня целых 2)
Влад разрабатывает анонимный чат на микросервисах и брокерах сообщений. Кажется что проект довольно интересный, чувствую вот это вот наитие внутри и зуд в ручках. Надеюсь наша работа будет плодотворной. 📑👨‍💻

Борьба с самим собой.
Я выпал из ведения блога, из-за выгорания на работе и загрузки большой. Понимаю что есть множество вещей, о которых хочется рассказать, но как то сложно ворваться в активный ритм после перерыва, а начать с чего-то нужно.

В планах стараться как-то максимально лайтово вкатиться в создание интересного контента. Будем посмотреть, что из этого выйдет 🙏

Хотелось конечно подобрать иллюстраций ко всему, но привычка все записывать и фоткать еще не сформирована, так что ловите только часть танца поздравления 😅

Кажется, чем старше становится человек, тем осознаннее его любовь к мемасам)

Бывает иногда и так)

Сообщение от подписчика в личку)

Спойлер, все хорошо, человек счастлив и я правда за него рад)

Столкнулся впервые с проблемой изоляции транзакций на практике, на работе в спринге.

Радости полные штаны)

Типа встретил то, с чем, казалось, и не столкнусь)

Запилю пост с примером обязательно чуть позже.

Повторите пока ACID

🔥 Проблемы изоляции транзакций: как это выглядит в жизни и коде 🚀

Обещал рассказать про сложности, с которыми я столкнулся на работе.
Долго думал, как описать это интересно, понятно и без нарушения NDA. Вот что получилось! 😊

🧠 Представим кофейню:
Клиент делает заказ. Он участник программы лояльности, у него есть баллы.

☕️ Кассир спрашивает:
"Молодой человек, что делаем с баллами? Списываем или копим?"

👤 Клиент отвечает:
"Списываем!"

Кассир нажимает кнопки и говорит:
"Подтвердите списание!"

Клиент достаёт телефон, заходит в Телеграм и видит сообщение от бота:
💬 "Вы уверены, что хотите списать 324 балла?"
Кнопки: 🔘 Да | 🔘 Нет

Клиент нажимает Да, касса печатает чек.

Как это работает на сервере? 🖥
На сервере процесс списания баллов требует подтверждения. Всё начинается с запроса:

1️⃣ В таблице client_ask фиксируется вопрос клиенту и ожидается его ответ.
2️⃣ На основании ID созданной записи отправляется сообщение клиенту в ТГ.
3️⃣ Сервер ждёт, когда в записи появится ответ в колонке response.

Код выглядит примерно так: 👇

@Service
public class MyService {

    @Autowired
    private ClientAskRepository clientAskRepository;

    @Autowired
    private TgMessageService messageService;

    @Transactional
    public void askClient() {
        ClientAsk clientAsk = new ClientAsk(1L, null);
        clientAskRepository.save(clientAsk);

        // Отправка запроса на подтверждение
        messageService.sendClientAsk(clientAsk);
        
        while (clientAsk.getResponse() == null) {
            // Ждём ответа
            try {
                Thread.sleep(1000); 
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
            }
            
            clientAsk = clientAskRepository.findById(clientAsk.getId()).orElse(null);
        }
    }

    @Transactional
    public void saveClientResponse(Long id, String response) {
        clientAskRepository.findById(id).ifPresent(clientAsk -> {
            clientAsk.setResponse(response);
            clientAskRepository.save(clientAsk);
        });
    }
}

🤯 Где начинаются проблемы?
Метод askClient создаёт запись и отправляет запрос в ТГ бот. Он ждёт, пока response обновится.

Метод saveClientResponse должен записывать ответ, но...

🚨 Ошибка!
Данные, созданные транзакцией askClient, недоступны для других транзакций, пока они не закоммичены.

Причина: уровень изоляции транзакций по умолчанию — READ_COMMITTED.
Транзакция видит только закоммиченные изменения.

🔧 Как мы решили проблему?
Мы выбрали простой, но спорный метод:
👉 saveClientResponse создаёт новую запись, а askClient ждёт появления новой записи вместо обновления существующей.

Да, это костыль, но он работает. 😅

🛠 Какие ещё есть варианты?
1️⃣ Событийно-ориентированная архитектура:
Можно отправлять события вместо прямого обновления БД.

2️⃣ Выделить создание записи в отдельный сервис:
Это откроет новую транзакцию, которая завершится, и данные станут видимыми.

3️⃣ Изменить уровень изоляции:
Попробовать READ_UNCOMMITTED. Но, увы, в нашем случае это не помогло.

А как бы вы решили такую задачу? Делитесь мыслями в комментариях! ✍️

Короче написал полотно текста, выдал всю боль, натер мазоли на пальцах и в мозгу, попросил чат gpt расставить смайлики для поста в телегу, он взял и тупо перехерачил весь текст, оставив от моих интеллектуальных потугов процентов 20…

Вышло вроде хорошо, но как то бездушно, искусственно.

Но я че, я лентяй, и так сойдет. Не самому же эти смайлики расставлять 😅

PS речь про предыдущий пост