Business Intelligent для інформаційної безпеки

Питання надійного забезпечення інформаційної безпеки в разі із середнім і великим бізнесом часто впирається в оперативність виявлення ризиків і загроз. Однак контролювати величезну кількість різнорідних систем безпеки, що розрізняються за своїм функціоналом і формату надання звітної інформації, практично неможливо без серйозних втрат часу, які можуть виявитися критичними для діяльності компанії.

Кардинально змінити ситуацію в багатьох компаніях ситуацію допомагає практика впровадження систем бізнес-аналітики, заснованих на принципах Business Intelligence (BI). BI-системи бізнес-аналізу і контролю над інформаційною безпекою забезпечують упорядкування колосальних обсягів інформації з різнорідних джерел, подальшу очистку, агрегацію і аналіз кореляцій. Кінцеві результати надаються у вигляді наочних призначених для користувача звітів, які дозволяють оперативно виявити проблему, визначити першоджерела, а потім прийняти рішення. Саме тому ми рекомендуємо підходи, які традиційно використовуються в бізнес-аналізі, на вирішення завдань щодо забезпечення інформаційної безпеки.

Як правило, BI-системи, які використовуються для забезпечення інформаційної безпеки, характеризуються чіткою ієрархією показників ефективності, заснованої на взаємозв'язках між бізнес-орієнтованими і технічними показниками. Оцінка метрик і збір аналітичної інформації виробляються в автоматичному режимі, так що ключовим завданням стає коректна оцінка значень метрик. А звітність організована таким чином, що дозволяє робити різнорідні зрізи даних в залежності від роду аналітичних задач.

Впровадження систем бізнес-аналітики для вирішення завдань інформаційної безпеки, як правило, має переваги для прийняття управлінських рішень завдяки по над оперативному і коректному відбору ключових даних. Консолідовані дані візуалізації можуть бути представлені в зручному для управлінського аналізу форматі. В результаті процеси забезпечення інформаційної безпеки стають більш прозорими, легко коректованими і вимагають істотно меншого часу для виявлення загроз і прийняття рішення по їх локалізації.

Тим же, хто дочитав до цього рядка - хочу порадити гру Tech Support: Error Unknown. В ній ви зможете відчути себе в ролі звичайного інженера служби підтримки та матимете змогу перейти на темну сторону. 🌚

Cеврер BI на Ubuntu 18.04

Якщо служба IT виє від вимог сервера BI, ваші звіти грузяться по декілька хвилин, то можливо вам варто розглянути встановлення серверу BI на Linux ОС.

Tableau надає таку можливість, а сьогодні ще й з'явилась детальна відео-інструкція по встановленню. Зверніть увагу, можливо це саме те, чого не вистачало вам чи вашим айтішникам :)

​​Очікувані тренди 2020

▪️ Темпи росту кількості даних тільки збільшаться

▪️Аналіз даних стане більш автоматизованим та менш залежним від кваліфікації спеціалістів

▪️Зростання вбудованої аналітики, тобто аналітики, використання якої не потребує спеціальних знань

▪️Розпізнавання звичайних запитів (Natural language processing) стане стандартом

▪️Аналітика нового рівня, завдяки IoT та новому потоку даних з датчиків і сенсорів

▪️Збільшення долі даних-як-послуги та аналітики-як-послуги

▪️Рух в напрямі не тільки прогнозування, але і рекомендації оптимальних рішень

▪️Більший тиск держави в питанні управління даними

▪️Графічна аналітика продовжить витісняти табличні методи аналізу

​​Переможець Student Viz Contest

Минулий 2019 рік закінчився визначенням переможця конкурсу Student Viz Contest для студентів.

Призові місця зайняли дійсно достойні роботи, тому ділимось ними з вами.

🏆 Переможець - Ryan Soares, студент університету Уілфордв Лоріє (Торонто).

Дешборд - візцалізація піраміди портеб Маслоу та застосування цього принципу до 7 міст Канади.

Дешборд - тут.

2️⃣ місце - Maria Brock, студентка університету Джорджа Мейсона (США).

Дешборд - візцалізація чемпіонів з тенісу. Суддям сподобалося використання кольорів Марії та тенісного м'яча для підтримки теми.

Дешборд - тут.

3️⃣ місце - Seoyan Jun, студентка жіночого університет Соокмюн.

Дешборд - візцалізація музичнго доробку та творчого шляху корейського гурту BTS.

Дешборд - тут.

​​Публічні дані

Сьогодні зверну вашу увагу на джерело публічних даних.

Корисними вони можуть бути для:

1️⃣ Тих, хто цікавиться інформацією про державні кошти.
2️⃣ Тих, хто шукає набори даних для тренування.

До вашої уваги - OpenBudget, частина системи edata, яка надає публічний доступ до інформації про доходи та видатки бюджетних установ.

В розділі BOOST-аналіз ви можете сформувати ты метрики, які для вас необхідні та завантажити собі на ПК в форматах: xlsx, csv, json.

Або отримати дані через API. Дтеальне налаштування тут.

​​Міжнарожні конференції по візуалізації даних

▪️IEEE Visualization: Щорічна міжнародна конференція з наукової візуалізації, візуалізації інформації і візуального аналізу. Конференція проводиться в жовтні.
▪️ACM SIGGRAPH: Щорічна міжнародна конференція з комп'ютерної графіки, що проводиться ACM SIGGRAPH. Дата конференції не постійна.
▪️EuroVis: Щорічна загальноєвропейська конференція з візуалізації даних, яку проводить Робоча Група Єврографік по візуалізації Даних (англ. Eurographics Working Group on Data Visualization) і підтримується IEEE Комітетом по візуалізації і Технічної Графіку (англ. IEEE Visualization and Graphics Technical Committee, IEEE VGTC). Конференція зазвичай проводиться в червні.
▪️Конференція по Людським Факторам в обчислювальних системах (англ. Conference on Human Factors in Computing Systems): Щорічна міжнародна конференція по людино-комп'ютерній взаємодії, організована ACM SIGCHI. Конференція зазвичай проводиться в квітні або травні.
▪️Eurographics: Щорічна загальноєвропейська конференція з комп'ютерної графіки, організована Європейською асоціацією з Комп'ютерної Графіку (англ. European Association for Computer Graphics). Конференція зазвичай проводиться в квітні або травні.
▪️PacificVis: Щорічний симпозіум по візуалізації, що проводиться в Азіатсько-тихоокеанському регіоні. Симпозіум спонсорується IEEE Комітетом по візуалізації і Технічної Графіку. Конференція зазвичай проводиться в березні або квітні.

Коронавірус - актуальний дешборд

Сьогодні увага всього світу прикута до теми коронавірусу, котрий шириться з Китаю по всьому світу. Всі ми знаємо, що кількість аналітичної і не тільки інформації з цієї теми зашкалює. Існують такі неймовірні гіпотези, як біологічна зброя, та те, що вірус передається через пакунки чи банани.

Щодо гіпотез, які дійсно розглядаються вченими - зараження відбувається через кажанів чи змій. Тобто, хоча у людства є фотографія вірусу, достеменно не відомі деталі його поширення.

Нагадаємо, що останнім настільки резонансним захворюванням був H1N1, яким в 2009 році захворіли до 200 міліонів людей по всьому світу.

Занепокоєння виклика швидкість зараження - спостерігається закономірна геометрична прогресія кількості заражених.

Хочемо вам порадити актуальну візуальну аналітику по цьому вірусу, яка (переконані) дозволить робити виважені висновки про цей недуг. Посилання на дешборд нижче.

​​Міфи про SQL

Ми зібрали топ міфів про SQL:

◾десь в глибинах серверу є магічний параметр "fast", якому можна задати значення "true"

◾швидкість роботи запиту можна оцінити по тому, як швидко вивелись перші 20 рядків

◾можна взяти і оптимізувати окремий запит (або навіть його частину) не рухаючи більше нічого

◾зрозуміти як працює запит можна лише глянувши на його код

◾швидкість запиту напряму залежить від кількості таблиць, які в ньому фігурують

Віртуальні машини Hadoop

Це дуже короткий пост, але можливо вам варто додати його собі в закладки.

Ось посилання на готову до використання віртуальну машину Hadoop.

Віртуальна машина Bitnami містить операційну систему Linux із встановленим та налаштованим Hadoop. Для використання Bitnami Virtual Machine потрібен гіпервізор, наприклад VMware Player або VirtualBox. Обидва ці гіпервізори доступні безкоштовно.

Міні пост
Як влада Китаю використовує Штучний Інтелект і Big Data для боротьби з вірусом:

https://www.aljazeera.com/news/2020/03/china-ai-big-data-combat-coronavirus-outbreak-200301063901951.html

Аналітка Covid19 по Україні

Використовуючи Tableau Public, Директорат з питань регіональної політики та децентралізації Офісу президента запустив сервіс для відстеження поширення коронавірусу в Україні. У ньому відображаються лабораторно підтверджені випадки захворювання (червоним) та підозри щодо ймовірного інфікування (жовтим). Зеленим позначені основні медичні заклади, які можуть приймати інфікованих, і де немає підозр та підтверджених випадків.

Вебінар Tableau - нові рішення

2 квітня пройде вебінар по BI рішенню Tableau. Будуть розглянуті нові функції платформи.

Долучайтесь! Потрібна попередня реєстрація.

Деталі тут - https://corewin.com.ua/webinar_tableau-new/

Відео уроки по економетриці та R

Якщо ти, так саме ти, на карантині вдома. І тобі нічим себе зайняти. Ось тобі цікаві і корисні ☝🏼 відео про економетрику та R

Тому тисни ось сюди:

➡️ https://www.youtube.com/playlist?list=PLu5flfwrnSD5d02G9YJcDv30Fp5_70-sI ⬅️

Будемо разом підвищувати кваліфікацію.

Вебінари про безпеку

Всіх вітаю! Ми побачили, що минулий вебінар викликав великий інтерес. Тому поділимось ще двома, на цей раз в сфері безпеки.

Перший буде проходити вже сьогодні о 14:00:

✅ Огляд нових функцій Acunetix v13. Реєстрація тут - https://bit.ly/39VyNXr

Другий післязавтра, 9 квітня, теж о 14:00:

✅ Початок роботи в Endpoint Potector DLP. Реєстрація тут - https://bit.ly/39MRxIw

Матеріали по BigQuery ML

BigQuery — це безсерверне сховище даних, для інтерактивного широкомасштабного аналізу великих наборів даних. Може використовуватись через веб інтерфейс, інтерфейс командного рядка та API.

• Інструкція побудови моделі класифікації для прогнозу покупок користувачів.
• Використання можливостей BigQuery ML для аналізу в Tableau (вsдео з прикладами + стаття).
• BigQuery ML + Looker (відео).

Українська аналітика про коронавірус

Вітаю! Хочемо поділитись українськими талановитими авторами, які будують дешборди про актуальне:

1. Pavlo Polikarchuk
2. Denis
3. Mykhailo Koltsov
4. uData

Долучайтесь до розповсюдження та побудови власної аналітики :)

​​Що таке Big Data, пояснення для 6-ти річної

Будучи батьком, я вирішив пофантазувати, що якось моя дитина якось мене запитає: "Тато, що таке Big Data?" 🦸🏻‍♀️

Невинний розум почне цікавитись тим, що робить тато на роботі. Повернувшись додому після довгого дня, мені з часом доведеться розповісти дитині, як виглядає один із моїх типових днів.

І я підготувався до цього моменту! І вирішив поділитись з вами своїм планом.

У дитинстві я часто грався в LEGO. Коли я розбираю дитячий набір дітей LEGO на пазлики, я кажу: "Давай пограємось в Big Data!".

У тебе є 100 шматочків LEGO різних кольорів і форм, i тобі треба зібрати всі червоні. Будучи малою дитиною, вона це зробить за лічені хвилини. Мабуть перевірить кожен шматок і позбирає червоні.

Але я підніму ставки. Другий тур буде 200 штук, потім 400 і зрештою 1000. Думаю що 1000 штук треба буе збирати дуже довго, і зрештою, вона втомиться.

Коли тато на роботі, люди також просять мене знайти шматочки LEGO. Але в них їх значно більше. Розміром з будинок чи навіть гору! 🏔

Якщо я рахував би так як ти зараз, то і мене б зовсім не вистачило часу грати з тобою. Але в мене є секретна зброя. Два друга: ВибіркO та З'єднайкО.

ВибіркO - зменшує розмір купки, щоб я міг швидко, "на око", знайти червоні шматочки. Але коли у мене проямо гори лего - я прошу ВибіркO розібрати шматочки по кольору. А можу ще по кольору, розміру, формі, як завгодно!

З'єднайкО вступає в гру, коли мені кажуть зібрати вибрані раніше червоні шматочку у вежу 🗼, руками з'єднувати їх було б надто довго! Тому їх збирає З'єднайкО. Крім того він вміє з'єднувати різні купки, червоні 🟥, жовті 🟨, зелені 🟩, різних форм - які завгодно!

Мораль:
Набір LEGO являє собою кількість даних із сотнями фрагментів інформації. Пошук і вибір інформації на невеликій вибірці - можливе, але чим більше інформації - тим це важче. Дані ростуть експоненціально 📈, тоді як операції розвиваються лише лінійно. ВибіркO та З'єднайкО - це не що інше, як технічні інструменти у підготовці даних, очищенні даних та зберіганні даних.

Big Data - це не про складні операції, а прості маніпуляції у великих масштабах.

Інтенсивна обробка тексту за допомогою MapReduce

Сьогодні хочу поділитись книгою про MapReduce.

MapReduce — це програмна модель та програмний каркас, що її реалізує, розроблені компанією Google для проведення розподіленої паралельної обробки великих масивів даних з використанням кластерів звичайних недорогих комп'ютерів. Програма MapReduce складається із функції Map(), яка обробляє пари ключ/значення і генерує набір проміжних пар ключ/значення, і функції Reduce(), яка зводить докупи всі проміжні значення пов'язані з одним і тим же проміжним ключем.

Термін «MapReduce» означав спочатку тільки власницьку технологію Google, але зараз став загальновживаним і використовується для означення моделі програмування. Бібліотеки MapReduce були створені для різних мов програмування. Однією із найпопулярніших вільних імплементацій є Apache Hadoop.

Інфографіка. Як український бізнес виходить з карантину.

Вітаю, Україна вже третій тиждень виходить з карантину. Хтось з нас в офісах хтось працює з дому. Нажаль є ті, хто втратив своє робоче місце.

Але яка ситуація по всій країні? На це допоможе відповісти візуалізація. Раніше ми вже ділились з вами Аналітикою від автора Павло Полікарчук:

https://public.tableau.com/profile/ppolikar#!/vizhome/TheRATING-QuarantineEconomy/5

А сьогодні додамо ще цікаву інфографіку.

Як перекладається Big Data?

Друзі, привіт! 🤟🏻

З перших кроків в царині BI та BigData мене мучило питання - як перекладати специфічні терміни з цієї сфери.

Особливо мене вводило в ступор слово dashboard.

Нещодавно я натрапив на ресурс Словотвір. Де українські спеціалісти разом шукають переклад таким от специфічним словам.

Ось вам два приклади - Dashboard та BidData.

Долучайтесь: пропонуйте варіанти та голосуйте :)

​​Вебінар. BigData платформа для HR.

Yva.ai – система HR-аналітики з Кремнієвої долини, яка допомагає організаціям керувати розподіленими командами і підвищувати залученість співробітників, стежити за їх добробутом і рівнем стресу, автоматично виявляти неформальних лідерів.

Спікер: Єгор Ворогушін, експерт по трансформації і організаційному розвитку, побудови ефективних HR-процесів і організаційної діагностики, лектор Вищої Школи Економіки.

Дата: 29 липня 2020 року (середа)

Час: 13:00-14:30

На вебінарі дізнаємось:
1.Що таке Yva і як вона працює.
2.Які бізнес-проблеми Yva.ai допомагає вирішити.
3.Про інструменти Yva: оцінка залученості та вигоряння персоналу.
4.Неформальне лідерство, гнучкий зворотний зв’язок.
5.Управління віддаленими командами.
6.Аналіз взаємодії співробітників / команд.

Реєстрація - тут

Нижче сторінка з повними деталями.