کلاس
ssas
ssis
یادگیری زبان
mdx
Dax
در حال برگزاری
۴۴ ساعت
مرکز آموزش های آزاد دانشگاه تهران
مدرس:مهندس نیکزاد
@Datascienceie
ssas
ssis
یادگیری زبان
mdx
Dax
در حال برگزاری
۴۴ ساعت
مرکز آموزش های آزاد دانشگاه تهران
مدرس:مهندس نیکزاد
@Datascienceie
در رابطه با موسسات مهاجرتی
موسسات مهاجرتی (در زمینه گرفتن ویزای تحصیلی) بیشتر بر اساس یک استاندارد کار میکنن. به اینصورت که هدف اصلی اونها گرفتن پذیرش برای شماست. یعنی به این صورت که شما وارد این موسسات میشید. قدم اول هزینه هارو پرداخت میکنید که معمولا از 1000 تا 2000 یورو یا دلار هست. بعد از اون ازتون لیست اولویت میگیرن که کدوم رشته ها دوست دارید تو کدوم شهر و کشورها.
مزیت این موسسات این هست که احتمال زیاد براتون پذیرش میگیرن ولی بهتره از معایبشون بگیم که خود این موسسات عنوان نمیکنن.
اول، اونها عجله ای برای گرفتن پذیرش برای شما ندارن و بر اساس اینکه موسسه چقدر حجم کاری داره کار شما رو انجام میدن. (برای دوستانی که سرعت کار براشون مهمه)
دوم، این موسسات معمولا با اساتید مکاتبه نمیکنن و فقط برای دانشگاه ها اپلای میکنن و این کار خیلی ساده هست و نیازی به این همه خرج کردن نداره. و همچنین لزوما بر اساس اولویت های شما نمیرن و در نهایت از رزومه شما ایراد میگیرن و مقصر رو خودتون میدونن.
سوم، اونها حداکثر توانایی های شما رو در نظر نمیگیرن و معمولا راحت ترین موسسه و دانشگاه رو اپلای میکنن. اینطوری شاید احتمال فاند یا پذیرش با یک استاد خوب رو از دست میدهید.
برای اینکه پذیرش بگیرید بهتره که با اساتید اون دانشگاه ها مکاتبه کنید، خودتون مطالعه کنید راجع به اینکار و حرفه ای بشید. چون در این صورت احتمال گرفتن پذیرش بهتر بیشتره.
@Datascienceie
موسسات مهاجرتی (در زمینه گرفتن ویزای تحصیلی) بیشتر بر اساس یک استاندارد کار میکنن. به اینصورت که هدف اصلی اونها گرفتن پذیرش برای شماست. یعنی به این صورت که شما وارد این موسسات میشید. قدم اول هزینه هارو پرداخت میکنید که معمولا از 1000 تا 2000 یورو یا دلار هست. بعد از اون ازتون لیست اولویت میگیرن که کدوم رشته ها دوست دارید تو کدوم شهر و کشورها.
مزیت این موسسات این هست که احتمال زیاد براتون پذیرش میگیرن ولی بهتره از معایبشون بگیم که خود این موسسات عنوان نمیکنن.
اول، اونها عجله ای برای گرفتن پذیرش برای شما ندارن و بر اساس اینکه موسسه چقدر حجم کاری داره کار شما رو انجام میدن. (برای دوستانی که سرعت کار براشون مهمه)
دوم، این موسسات معمولا با اساتید مکاتبه نمیکنن و فقط برای دانشگاه ها اپلای میکنن و این کار خیلی ساده هست و نیازی به این همه خرج کردن نداره. و همچنین لزوما بر اساس اولویت های شما نمیرن و در نهایت از رزومه شما ایراد میگیرن و مقصر رو خودتون میدونن.
سوم، اونها حداکثر توانایی های شما رو در نظر نمیگیرن و معمولا راحت ترین موسسه و دانشگاه رو اپلای میکنن. اینطوری شاید احتمال فاند یا پذیرش با یک استاد خوب رو از دست میدهید.
برای اینکه پذیرش بگیرید بهتره که با اساتید اون دانشگاه ها مکاتبه کنید، خودتون مطالعه کنید راجع به اینکار و حرفه ای بشید. چون در این صورت احتمال گرفتن پذیرش بهتر بیشتره.
@Datascienceie
تجربیات تغییر سرور
یکی از زیرساخت های اصلی انبار داده سرور و مشخصات آن است. گاها سخت افزار سرور یا سیستم عامل آن قدیمی است. مثلا در صورتی که بخواهیم از نسخه های جدید اس کیو ال مثلا 2017 استفاده کنیم نیاز به ویندوز سرور 2012 به بالا داریم.
یکی از مزیت های اصلی اس کیو ال های جدید پشتیبانی از columnstore و جداول بر رویmemory هست که مزیت های فوق العاده ای دارد.
برای تغییر سرور نیاز است برنامه پشتیبان داشته باشید که در صورت به وجود آمدن مشکل بتوانید به سرعت سوئیچ نمایید. مثلا اگر از ویندوز مجاری استفاده می کنید. یک ویندوز مجازی موازی ایجاد کنید.
در انتقال دسترسی ها، جاب ها، لینک سرور ها دقت کنید و همچنین ممکن است پکیج های SSISدچار مشکل شوند که این موضوع را با تعریف دوباره کانکشن ها حل نمایید.
در صورت امکان از هارد دیسک های مجزا استفاده کنید تا از پردازش موازی بتوانید استفاده کنید.
همچنین برای موارد، Log، Page،data، Backupهارد های مجزا بگذارید.
ارادتمند شما
نیکزاد
@Datascienceie
یکی از زیرساخت های اصلی انبار داده سرور و مشخصات آن است. گاها سخت افزار سرور یا سیستم عامل آن قدیمی است. مثلا در صورتی که بخواهیم از نسخه های جدید اس کیو ال مثلا 2017 استفاده کنیم نیاز به ویندوز سرور 2012 به بالا داریم.
یکی از مزیت های اصلی اس کیو ال های جدید پشتیبانی از columnstore و جداول بر رویmemory هست که مزیت های فوق العاده ای دارد.
برای تغییر سرور نیاز است برنامه پشتیبان داشته باشید که در صورت به وجود آمدن مشکل بتوانید به سرعت سوئیچ نمایید. مثلا اگر از ویندوز مجاری استفاده می کنید. یک ویندوز مجازی موازی ایجاد کنید.
در انتقال دسترسی ها، جاب ها، لینک سرور ها دقت کنید و همچنین ممکن است پکیج های SSISدچار مشکل شوند که این موضوع را با تعریف دوباره کانکشن ها حل نمایید.
در صورت امکان از هارد دیسک های مجزا استفاده کنید تا از پردازش موازی بتوانید استفاده کنید.
همچنین برای موارد، Log، Page،data، Backupهارد های مجزا بگذارید.
ارادتمند شما
نیکزاد
@Datascienceie
تجربیاتی از طراحی فرایند ETL
فرآیند ETL که معادل Extract ، Transform وLoad است به منظور انتقال اطلاعات از OLTPهای مختلف برای ساخت انبار داده و یک پایگاهOLAP استفاده می گردد.
OLAP
پایگاهی است که برای تحلیل یا همانAnalytics استفاده می گردد.
در این فرایند باید هدف نهایی به کلی تعیین گردد. مشخص شود که پیچیده ترین تحلیل ها چیست و آنها به چه دیتایی نیاز دارند. در این فرایند باید موارد زیر به درستی در نظر گرفته شوند.
نوع طراحی star یا snow flake انبار داده. (این مورد با در نظر گرفتن بزرگی Dim ها تعیین میشود). نکته: انبار داده از dim و fact تشکیل میشود.
سرعت و کارایی فرایند ETL ، یعنی استفاده مناسب از ابزارها برای سرعت حداکثری
فیلتر کردن دیتای اضافه از مبدا تا دیتای اضافه وارد fact نشود.
ایجاد یک Log برای ذخیره اطلاعات کلی فرایندETL مثلا حجم داده انتقال یافته، تعداد رکورد، زمان انتقال و سایر شاخص ها.
ماژولار طراحی کردن فرایند ETL در صورت نیاز به تغییر دوباره کاری ها حداقل شود.
تعیین شاخص های مغایرت.
ارادتمند شما
نیکزاد
@Datascienceie
فرآیند ETL که معادل Extract ، Transform وLoad است به منظور انتقال اطلاعات از OLTPهای مختلف برای ساخت انبار داده و یک پایگاهOLAP استفاده می گردد.
OLAP
پایگاهی است که برای تحلیل یا همانAnalytics استفاده می گردد.
در این فرایند باید هدف نهایی به کلی تعیین گردد. مشخص شود که پیچیده ترین تحلیل ها چیست و آنها به چه دیتایی نیاز دارند. در این فرایند باید موارد زیر به درستی در نظر گرفته شوند.
نوع طراحی star یا snow flake انبار داده. (این مورد با در نظر گرفتن بزرگی Dim ها تعیین میشود). نکته: انبار داده از dim و fact تشکیل میشود.
سرعت و کارایی فرایند ETL ، یعنی استفاده مناسب از ابزارها برای سرعت حداکثری
فیلتر کردن دیتای اضافه از مبدا تا دیتای اضافه وارد fact نشود.
ایجاد یک Log برای ذخیره اطلاعات کلی فرایندETL مثلا حجم داده انتقال یافته، تعداد رکورد، زمان انتقال و سایر شاخص ها.
ماژولار طراحی کردن فرایند ETL در صورت نیاز به تغییر دوباره کاری ها حداقل شود.
تعیین شاخص های مغایرت.
ارادتمند شما
نیکزاد
@Datascienceie
DATA SCIENCE IE
Getting Your First Data Science Job.pdf
تشریح کامل وظایف و ابزارهای مورد استفاده در حوزه علم داده
هدوپ
برنامه هدوپ مجموعه ای از برنامه های open source است که امکان انجام محاسبات به صورت پخش شده یا Distributed را برای حجم زیادی از دیتا میدهد. این شبکه میتواند شامل هزاران کامپیوتر و فضای ذخیره سازی باشد که بدین صورت قابلیت اطمینان شبکه را به شدت افزایش میدهد.
برنامه در زبان جاوا نوشته شده است و از قسمت های اصلی Map Reduce ، Haddop Distributed file system و Hadoop common استفاده میکند. این فضا از پردازش موازی و پخش شده استفاده میکند. برنامه map reduce بدین صورت کار میکند که پردازش ها و توابع را به قسمت های کوچکی تبدیل کرده که در یک فضای پخش شده محاسبه شده و در نهایت نتایج را با یکدیگر ترکیب میکند.
از ساختار این برنامه برای ماشین لرنینگ و داده کاوی میتوان استفاده کرد به دلیل اینکه قابلیت های بالایی برای پردازش روی داده های غیر ساختار یافته دارد.
@Datascienceie
برنامه هدوپ مجموعه ای از برنامه های open source است که امکان انجام محاسبات به صورت پخش شده یا Distributed را برای حجم زیادی از دیتا میدهد. این شبکه میتواند شامل هزاران کامپیوتر و فضای ذخیره سازی باشد که بدین صورت قابلیت اطمینان شبکه را به شدت افزایش میدهد.
برنامه در زبان جاوا نوشته شده است و از قسمت های اصلی Map Reduce ، Haddop Distributed file system و Hadoop common استفاده میکند. این فضا از پردازش موازی و پخش شده استفاده میکند. برنامه map reduce بدین صورت کار میکند که پردازش ها و توابع را به قسمت های کوچکی تبدیل کرده که در یک فضای پخش شده محاسبه شده و در نهایت نتایج را با یکدیگر ترکیب میکند.
از ساختار این برنامه برای ماشین لرنینگ و داده کاوی میتوان استفاده کرد به دلیل اینکه قابلیت های بالایی برای پردازش روی داده های غیر ساختار یافته دارد.
@Datascienceie
برنامه هایی که یک پژوهشگر داده باید به آنها مسلط باشد.
برای توسعه برنامه های داده کاوی
برای تحلیل کسب و کارها
برای ساخت داشبوردهای تحلیلی
برای توسعه انبار داده
برای ساخت مدل های داده
برای توسعه فرآیندهای ETL
کانال @datascienceie
برای توسعه برنامه های داده کاوی
برای تحلیل کسب و کارها
برای ساخت داشبوردهای تحلیلی
برای توسعه انبار داده
برای ساخت مدل های داده
برای توسعه فرآیندهای ETL
کانال @datascienceie
⁉️ مفهوم هرم DIKW چیست؟
به صورت کلی هرم DIKW حالت سلسله مراتبی دارد که مشخص می کند چگونه داده ها با اطلاعات، دانش و خِرد تکامل می یابند.
D stands for Data
I stands for Information
K stands for Knowledge
W stands for Wisdom
با یک مثال ساده این موضوع را شرح می دهیم.
در یک فروشگاه، در سبد خریدها که بررسی می کنیم می بینیم که محصولاتی که خریداری می شود به شکل زیر می باشند.
سبد خرید 1 : 🍌🍎🍆🍉
سبد خرید 2 : 🍒🍎🍌🥒
سبد خرید 3 : 🍑🍒🍎🍌
1️⃣ این سبدها بعنوان واقعیت خام یعنی Data به حساب می آیند.
2️⃣ سیب ها و موزها اغلب با یکدیگر همراه می شوند . یعنی تشخیص روابط و به معنی Information
3️⃣ بر این اساس اگر سیب را ببینم، موز را نیز خواهم دید یعنی یک نقش را بدست آوردیم هر نقش یک Knowledge
4️⃣ اگر سیب و موز را با هم بگذارم، می توانم فروش را افزایش دهم یعنی Wisdom
➕ #مثبت_داده
🌎 @datascienceIE
به صورت کلی هرم DIKW حالت سلسله مراتبی دارد که مشخص می کند چگونه داده ها با اطلاعات، دانش و خِرد تکامل می یابند.
D stands for Data
I stands for Information
K stands for Knowledge
W stands for Wisdom
با یک مثال ساده این موضوع را شرح می دهیم.
در یک فروشگاه، در سبد خریدها که بررسی می کنیم می بینیم که محصولاتی که خریداری می شود به شکل زیر می باشند.
سبد خرید 1 : 🍌🍎🍆🍉
سبد خرید 2 : 🍒🍎🍌🥒
سبد خرید 3 : 🍑🍒🍎🍌
1️⃣ این سبدها بعنوان واقعیت خام یعنی Data به حساب می آیند.
2️⃣ سیب ها و موزها اغلب با یکدیگر همراه می شوند . یعنی تشخیص روابط و به معنی Information
3️⃣ بر این اساس اگر سیب را ببینم، موز را نیز خواهم دید یعنی یک نقش را بدست آوردیم هر نقش یک Knowledge
4️⃣ اگر سیب و موز را با هم بگذارم، می توانم فروش را افزایش دهم یعنی Wisdom
➕ #مثبت_داده
🌎 @datascienceIE
⁉️ بررسی Microsoft Azure
🌐 یک مجموعه گسترده ای از سرویس های ابری است که به سازمان شما کمک می کند تا با چالش های کسب و کارتان روبرو شوید. این آزادی برای ساخت، مدیریت و اعمال برنامه ها در یک شبکه عظیم جهانی با استفاده از ابزار و فریمورک های مورد علاقه شماست.
🌐 مایکروسافت متعهد به بالاترین سطح اعتماد، شفافیت، انطباق استانداردها و انطباق با مقررات گسترده ترین مجموعه ای از پیشنهادات سازگاری هر ارائه دهنده خدمات ابری است.
✅ اگر تمایل دارید بیشتر اطلاعات کسب کنید در پست بعدی به #مثبت_تجربه گوش دهید.
➕ #مثبت_داده
🌎 @datascienceIE
🌐 یک مجموعه گسترده ای از سرویس های ابری است که به سازمان شما کمک می کند تا با چالش های کسب و کارتان روبرو شوید. این آزادی برای ساخت، مدیریت و اعمال برنامه ها در یک شبکه عظیم جهانی با استفاده از ابزار و فریمورک های مورد علاقه شماست.
🌐 مایکروسافت متعهد به بالاترین سطح اعتماد، شفافیت، انطباق استانداردها و انطباق با مقررات گسترده ترین مجموعه ای از پیشنهادات سازگاری هر ارائه دهنده خدمات ابری است.
✅ اگر تمایل دارید بیشتر اطلاعات کسب کنید در پست بعدی به #مثبت_تجربه گوش دهید.
➕ #مثبت_داده
🌎 @datascienceIE
Topic: Microsoft Azure
🎙 بررسی Microsoft Azure
🎚 نحوه استفاده آن چگونه است؟
🎚 مزایای استفاده چیست ؟
🎚 در چه حوزه هایی استفاده می شود؟
🎚 فضای کاری Microsoft Azure چگونه است؟
➕ #مثبت_تجربه
🌎 @datascienceIE
🎚 نحوه استفاده آن چگونه است؟
🎚 مزایای استفاده چیست ؟
🎚 در چه حوزه هایی استفاده می شود؟
🎚 فضای کاری Microsoft Azure چگونه است؟
➕ #مثبت_تجربه
🌎 @datascienceIE
دوره تابستانی مهندس داده
محل برگزاری, مرکز آموزش های دانشگاه تهران
شروع دوره ها از تیر ماه
پنج شنبه و جمعه ها
اطلاعات بیشتر
@Datascienceie
@Mrpouyannik
محل برگزاری, مرکز آموزش های دانشگاه تهران
شروع دوره ها از تیر ماه
پنج شنبه و جمعه ها
اطلاعات بیشتر
@Datascienceie
@Mrpouyannik