یه دید کلی از فرآیند ایجاد محصول تو حوزه دیتا 👌

#مقدمه
@DataHobbies


---------------اتمام مقدمه -------------------

Online Translation Processing (OLTP)
VS
Online Analytical Processing (OLAP)

یکی از قسمت‌های اساسی که باید راجع بهش شناخت داشته باشیم همین بحث OLTP , OLAP هستش

OLTP:
با هدف پردازش داده‌ها، تراکنش‌های یه سازمان رو تو قالب تعداد زیادی تراکنش کوتاه آنلاین مثل insert,delete,update انجام میده.
اینجا اطلاعات به صورت کامل و با تمام جزئیات، لحظه‌ای از طرق مختلف مثل برنامه‌های تعاملی، اپراتورها و اینا وارد میشن

OLAP:
با هدف تجزیه و تحلیل داده‌ها برای تصمیمات بیزینسی به وجود اومده و ممکن اطلاعات چندین پایگاه داده رو درون خودش جمع کرده باشه.
اینجا داده‌های سیستم‌های عملیاتی با فاصله زمانی‌های مشخص، به صورت یکدفعه (تجمعی و انبوه) وارد میشه نه مثل تراکنشی(OLTP) که رکورد به رکود اضافه میشه

@DataHobbies

تنوع پایگاه‌داده‌ها (data base) کم نیس

رابطه‌ای‌ها (Relational) مثل:
Oracle
SQL Server
MySQL
PostgreSQL
SQLLite
MariaDB
IBM Db2
, . . .
و غیررابطه‌ای‌ها (Non Relational) مثل:
MongoDB
Neo4j
Redis
Cassandra
HBase
, . . .

بحث مدیریت و پشتیبانی و نگهداری پایگاه‌داده وظیفه ادمین اونه ( database administrator)
ولی هر کسی تو زمینه دیتا فعالیت میکنه باید بتونه با دیتابیسی که کار میکنه تعامل برقرار کنه و مسائل اولیه خودش پیش ببره.
کارایی مثل import کردن یه دیتابیس، یا یه فایل csv به پایگاه داده‌، آماده کردن back up و . . .

فارغ از بحث مدیریت و پشتیبانی دیتابیس یه بحثی وجود داره به اسم زبان T-SQL
با این زبان ما میتونیم انواع پرس‌وجوها (query) ها روی دیتابیسمون بزنیم و بتونیم با داده‌هامون آشنا شیم، اونارو تحلیل کنیم.

اکثر دیتابیس‌های رابطه‌ای و بعضی از دیتابیس‌های غیررابطه‌ای زبان کوئری‌نویسیشون به شدت شبیه به همه
تفاوت کمی تو syntax بین dbهای مختلف وجود داره ولی مفهوم و کلیات کاملا یکیه

مثلا فرمت تاریخ دادن تو اوراکل یکم با sql متفاوته
یا با مهارت T-SQL میتونیم خیلی راحت تو mongodb که یه دیتابیس غیررابطه‌ایِ کوئری‌ بنویسیم.

@DataHobbois

سایت زیر یه دید خوبی از دیتابیس‌های مختلف و آموزش‌های مورد نیاز کسی که میخواد دیتا رو تحلیل کنه میده:
https://www.databasestar.com/

تصویر کلی از دستورات زبان T-SQL


#sql_مقدماتی
#SQL
@DataHobbies

سایت w3school هم یه قسمتی برای sql داره که خیلی خوب میشه تو خود سایت با syntax اولیه دستورات آشنا شد و تمرینای کوچیک کرد

https://www.w3schools.com/sql/


#sql_مقدماتی
#SQL
@DataHobbies

پیشنهاد میکنم کسایی که تازه دارن کار با زبان کوئری‌نویسی رو با sql server
شروع میکنن و میخوان خودخوان (self study) جلو برن، با دیتابیس های معروف تو زمینه آموزش مثل adventureworks و northwind شروع کنن
چون ک کلی آموزش و مثال آماده روی این دیتابیس ها وجود داره و میتونین آموزش انواع کوئری‌های مختلف تو مثال یاد بگیرین


#sql_مقدماتی
#SQL
@DataHobbies

این چند تا سایتم برای آموزش sql خوبن👌👌👌

#sql_مقدماتی
#SQL
@DataHobbies

اینجا کلی مثال حل شده قشنگ پیدا میکنین

https://leetcode.com/problemset/database/

#SQL
#sql_مقدماتی
@DataHobbies

تو این سایتم میتونین پروژه محور جلو برین

https://8weeksqlchallenge.com/getting-started/

#SQL
#sql_مقدماتی
@DataHobbies


---------------اتمام مقدماتی sql------------------

بعد از اینکه دستورات ساده و اولیه sql یاد گرفتیم، باید سعی کنیم موارد پیشرفته‌تر یاد بگیریم
انواع دستورات پیشرفته مثل
Intersect
Minus
SubQuery
Inline View
Union All
Stored Procedures
Windows Function (Lead, Lag, NTILE)
, . . .

این سایت یه تعدادی ازین دستورات خوب توضیح داده:

https://www.1keydata.com/sql/advanced.html

بعد از اون هم بحث سرعت بخشیدن به کوئری‌های کندِ، با یاد گرفتن متدهای
Sql tuning

مثل این نکات:
https://stackify.com/performance-tuning-in-sql-server-find-slow-queries/amp/

به نظرم همه کسایی که تو بحث تحلیل دیتا فعالیت میکنن باید با آمار آشنا باشن. یه بحث خود آمار داریم که بتونیم باهاش انواع تحلیل هامون انجام بدیم که تمام شاخه های مرتبط با دیتا یه جورایی درگیرش میشن (نکات اینو تو این پست میذارم و بهش میگم آمار عمومی)، یه بحث انواع آزمون هایی که برای تست استفاده می کنیم و اینو بیشتر دیتاساینس ها احتیاج دارن (به اینم میگم آزمون های آماری و تو پست بعدی راجع بهش حرف میزنم)
به طور کلی دسته های زیر رو میتونیم برای آمار عمومی متصور باشیم:
آمار توصیفی (Denoscriptive Statistics)
نما (Mode)، میانه (Median)، میانگین (Mean)، همبستگی (Correlation)، کشیدگی(Kurtosis)، چولگی(Skewness)، پراکندگی(Variance)، مکان و مرکزیت داده (Location and Centrality Data)
بصری سازی داده ها (Data Visualization)
انواع نمودارها، خطی، دایره ای، میله ای، هیستوگرام، پراکنده و . . .
برای کسب دانش مورد نیاز آمار عمومی اول از همه احتیاجه با کلیات EDA (Exploratory Data Analysis)، تحلیل اکتشافی داده‌ها آشنا باشیم تا برای خلاصه سازی داده هامون بتونیم ازش استفاده کنیم. چون اینجا بحثمون رودمپ و الان نمیخوایم وارد آموزش بشم کلیدواژه های اصلی رو لیست میکنم تا اگه احتیاجه بدونیم چه مباحثی رو بیشتر نیازه مرور کنیم، حالا از کتابای درسی قدیمیمون یا هر منبعی که خودمون باهاش راحت تریم یه دور نگاه کنیم. بعد کلیدواژه ها چند تا منبع خوب هم میگم.

تحلیل اکتشافی داده‌ها EDA (Exploratory Data Analysis)
شاخص های گرایش مرکزی (Measures of central tendency) { نما (Mode)، میانه (Median)، میانگین (Mean)}
داده‌های مستطیلی (Rectangular Data)
تخمین مکان داده‌ها (Estimation Of Location)
تخمین تنوع و پراکندگی (Estimation Of Variability)
انواع چارک (Quartile)
فاصله‌ی بین چارکی (IQR (Interquartile Range
توزیع‌های آماری (Statistical Distributions)
فاصله‌ی آماری (Statistical Distance)
واگرایی کولبک-لیبلر (Kullback-Leibler Divergence)
فاصله‌ی جنسون-شنون (Jenson-Shannon)

#آمار_مقدماتی
@DataHobbies

قسمت آمار سایت w3school خیلی خوب نکات رو پوشش داده و بعضی مسائل رو با مثال تو پایتون آموزش داده


https://www.w3schools.com/statistics/index.php

#آمار_مقدماتی
@DataHobbies

اگرم اهل کتاب خوندن باشین

کتاب "مبانی احتمال" شلدون راس
کتاب "آمار مهندسی" لیبرمن
و کتاب‌های دکتر ایوزیان

خیلی مفیداند👌👌👌

#آمار_مقدماتی
@DataHobbies