Привет!
Скоро буду публиковать свою реализацию QVD каталога данных внутри QS, если кратко:
- пришлось прибегнуть помощи python-скрипта, т.к. кликовский "dodir", сканит 19к файлов минут 70 примерно, плюс читая XML метаданные.

- python скрипт формирует список файлов за ~5 секунд, при этом, выделяет только уникальные имена. Например, у меня есть около 70 каталогов, где файлы хранятся по дням, в виде [имя_qvd_файла_2020_01_01.qvd] и например до вчерашней даты [имя_qvd_файла_2023_04_19.qvd] - так вот, python скрипт парсит дату из названия файла, и для каждого каталога оставляет только последний файл из этой папки

- с новым подходом через python, удалось сократить количество файлов для анализа с 19к до 151-"уникального" файла

- далее уже клик-скрипт собирает метаданные (хотя, можно это положить внутрь python-скрипта, но я пока не стал) а еще грузит уникальные значения из всех полей (настраиваемые параметры)

- ну и визуализация всего каталога в одном приложении, я например уже перестал ходит по папкам, т.к. у меня в этом же приложении собирается скрипт для загрузкии данных из любого QVD-файла.

- а еще стало удобно смотреть какие типы данных внутри QVD файлов лежат, и можно смотреть где накосячил кто-то )

Скорость работы и инфо по файлам: 30гб, 151 уникальный QVD файл (из 19к), 832 уникальных поля (1600 полей итого), 649 млн строк (суммарно во всех уникальных QVD-файлах) - время работы:
python - 5 секунд
qlik - 8 минут

В общем, скоро буду выкладывать в опен-сорс

#qlik #qliklib #qvd

Бывает такое, когда заработался, а Qlik тебе говорит - "Иди, иди отсюда 😂"

Доработал qvdinfo, добавлено:
- количество уникальных значений
- кардинальность( отношение количества уникальных к итого строк)
- количество null() значений в поле

Релиз - скоро

#qlik #qliklib

Статья для ознакомления с программами "рисовалок" данных с исходным кодом https://habr.com/ru/articles/695310/

Всем привет!
Готов взять 5 человек для бета теста qvd каталога, там же и будет обсуждение - https://news.1rj.ru/str/+WBGNUfHgfJBiODAy

Главное! Я ожидаю, что вы вышлите несколько своих qvd-файлов, можно обфусцированных, или сгенерируете любые файлы с данными и вышлите мне

Завтра выдам инструкции, и от участников жду что они смогут протестировать в течении 1-2 дней. Прошу подключаться только тех людей кто действительно сможет проверить!

Что будет нужно:
- установленный python на сервере, и у вас есть права на запуск скрипта. Это нужно для создания файла со списком файлов для клика(уже писал ранее почему)
- у вас есть qvd-файлы(желательно много)
- у вас есть qliksense/qlikview сервер.
- если у вас qlikview, то смотреть результат можно будет на десктоп версии

Актуально, боты набежали :( 10 мест

Коллеги, друзья! То, чего мы так долго ждали - произошло! Вышел СУБД-круг Громова 2023 - исследование русских и open-source СУБД (баз данных). В исследование вошли такие продукты, как аналитические базы данных (специализированные решения для поддержки аналитики), инструменты для создания хранилищ данных (DWH/КХД), озер данных (data lake) и многое другое. Его выпуска задержался, но сейчас можно сказать, что исследование получилось объемным (даже сокращали кол-во информации), существенно более информативным, чем предыдущие и оно поднялось даже на научный уровень. Всем, кто был зарегистрирован - ссылка на скачивание уже отправлена. А скачать бесплатно можно после регистрации на нашем сайте https://russianbi.ru/

Вопросы для собеседования по SQL

Вы готовитесь к собеседованию по SQL? Тогда вы пришли в нужное место!

Это руководство поможет вам усовершенствовать свои навыки работы с SQL, вернуть уверенность в себе и быть готовым к работе!

Здесь вы найдёте подборку реальных вопросов для собеседований, задаваемых в таких компаниях, как Google, Oracle, Amazon, Microsoft и т.д. К каждому вопросу прилагается идеально написанный ответ, что экономит ваше время на подготовку к собеседованию.

Здесь также рассматриваются практические задачи, которые помогут вам понять основные концепции SQL.

Мы разделили эту статью на следующие разделы:

Вопросы для собеседования по SQL
Вопросы для собеседования по PostgreSQL

https://telegra.ph/Voprosy-dlya-sobesedovaniya-po-SQL-04-24

#db

👉 @database_info

Есть подозрение что больше unlock файлов для qlik sense desktop больше не будет, подробнее тут : https://community.qlik.com/t5/New-to-Qlik-Sense/Has-Qlik-Dev-removed-the-QSD-download-option/td-p/2066992

К слову, пока, мой скрипт для загрузки unlock-файла - работает. Буду держать в курсе

#qlik #unlock #trial

Всем привет!

Хочу написать чуток подробностей про qvd-catalog, с товарищем проанализировали и нужно немного доработать, в частности:

- добавить таблицу в квадратные скобки (load noscript)
- сохранять в qvd-файл созданные данные, настроить инкремент
- питон скрипт должен писать дату время обновления файлов
- внутри приложения делать проверку изменялся ли файл, и грузить только то, что изменялось
- разобраться с кодировкой

Но я тут решил пойти немного дальше, и перенести практически всю логику на python (нашёл разработчика модуля qvd для pipy), но нужно кое что доработать ему(надеюсь договоримся).

Меня не устраивает скорость работы клика, в питоне всё быстрее будет. Мы прогоняли с товарищем ~1200 файлов (в клике), ушло времени около 1 часа.

Ну собственно и интерфейс приложения хотелось бы доработать и доделать несколько настроек.

Всё в процессе...

#qlik #qvd #qliklib

Ухты завезли наконец то новую прямую таблицу, да ещё и конструктор сразу https://www.youtube.com/watch?v=Tnphdy_0W_s
Ждём в августовской версии qs enterprise надеюсь

#qlik

Всем привет, Qlik выложил trial файлик Qlik Sense Desktop (срок действия до 6.08.23)

unlock файлы решили переложить в гитхаб .. собственно они обновили выпущенный релиз и добавили в него файлик.
Страницу загрузки в закладки https://github.com/qlik-download/qlik-sense-desktop/releases/

#qlik #trial #unlock

Запись прямого эфира с Георгием Нанеишвили — директором по развитию партнёрской сети Qlik в СНГ, соавтором проекта DataLiteracy RU.
Data Literacy — грамотность работы с данными. В прямом эфире обсудили как прокачать грамотность и когда компании пора уделить внимание Data Literacy.

https://www.youtube.com/watch?v=ar5zimTDHU4

Вышел QS 2023 May Initial Release

server : https://github.com/qlik-download/qlik-sense-server/releases/tag/v14.129.6

desktop : https://github.com/qlik-download/qlik-sense-desktop/releases/tag/v14.129.6

upd. что нового

#qlik

Яндекс запустил свой YaGPT, тестируем )