معرفی فیلم Margin Call
https://bit.ly/2Utvlwg
فیلم درخواست نهایی یک فیلمی در ژانر هیجانی با بازی کوین اسپیسی هست. داستان فیلم در سال ۲۰۰۸ و در اوج بحرانهای اقتصادی ایالات متحده آمریکا اتفاق میافتد. زمانی که بخشهای اقتصادی در حال ورشکستگی هستند. این فیلم برشی 24 ساعته از اتفاقات درون یک شرکت فعال در بازار بورس آمریکا است.
در فیلم Margin Call روند کشف یک بحران احتمالی، مراحل پیدا کردن راهحل و در نهایت اجرایی کردن آن به زیبایی نشان داده میشود.
بهرهگیری از تحلیلهای دادهمحور پیشگویانه در جهت شناسایی بحران از محورهای کلیدی این فیلم هست. مشاهده این فیلم جذاب رو بهتمامی علاقهمندان حوزههای بازارهای مالی، هوش مصنوعی، علمداده و... پیشنهاد میکنم.
پینوشت:
واژه Margin Call اصطلاحی اقتصادی و به معنی درخواست آخر کارگزار بورس از سرمایهگذار برای خرید سهام با هدف جلوگیری از ضرر مالی است.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2Utvlwg
فیلم درخواست نهایی یک فیلمی در ژانر هیجانی با بازی کوین اسپیسی هست. داستان فیلم در سال ۲۰۰۸ و در اوج بحرانهای اقتصادی ایالات متحده آمریکا اتفاق میافتد. زمانی که بخشهای اقتصادی در حال ورشکستگی هستند. این فیلم برشی 24 ساعته از اتفاقات درون یک شرکت فعال در بازار بورس آمریکا است.
در فیلم Margin Call روند کشف یک بحران احتمالی، مراحل پیدا کردن راهحل و در نهایت اجرایی کردن آن به زیبایی نشان داده میشود.
بهرهگیری از تحلیلهای دادهمحور پیشگویانه در جهت شناسایی بحران از محورهای کلیدی این فیلم هست. مشاهده این فیلم جذاب رو بهتمامی علاقهمندان حوزههای بازارهای مالی، هوش مصنوعی، علمداده و... پیشنهاد میکنم.
پینوشت:
واژه Margin Call اصطلاحی اقتصادی و به معنی درخواست آخر کارگزار بورس از سرمایهگذار برای خرید سهام با هدف جلوگیری از ضرر مالی است.
ارادتمند
محمدرضا محتاط
@DataAnalysis
سلام و عرض ادب
پیرو تجمیع تجربیات و محتواهای انتشاریافته در کانال علمداده به پاس همراهی 4 ساله شما عزیزان، برخی از مقالات این کانال در جهت دسترسی سریعتر به شبکه اجتماعی ویرگول نیز انتقال یافت. از طریق حساب کاربری زیر میتوانید تمامی محتواها را دنبال نمایید.
https://virgool.io/@mohtat
در ادامه برخی از مطالب انتشاریافته با رویکردهای توسعه دانش فردی و سازمانی در حوزههای علمداده، تحلیلداده و سازمان دادهمحور تقدیم حضور میگردد.
1- تبدیل شدن به یک متخصص کلان داده
http://vrgl.ir/HKOOE
2- مسیر تبدیل شدن به دانشمند علم داده
http://vrgl.ir/LF1n5
3-تبدیل شدن به یک متخصص یادگیری عمیق
http://vrgl.ir/s9bhJ
4-رشتههای دانشگاهی مرتبط با حوزه علمداده در ایران
http://vrgl.ir/4yFUM
5- سؤالات مصاحبه استخدامی متخصص علمداده
http://vrgl.ir/7V14c
6-اشتباهات رایج شرکتها در جذب تحلیلگران داده
http://vrgl.ir/5Gd0n
7-معرفی مشاغل و فرصتهای کاری جذاب در حوزه داده
http://vrgl.ir/lQNHD
8-پروژههای کلیدی حوزه علمداده در کسبوکار
http://vrgl.ir/K940c
9-انتخاب الگوریتم مناسب در پروژههای دادهکاوی
http://vrgl.ir/Sg1DE
10-ده مهارت کلیدی لازم در سال 2020
http://vrgl.ir/BRGdA
@DataAnalysis
پیرو تجمیع تجربیات و محتواهای انتشاریافته در کانال علمداده به پاس همراهی 4 ساله شما عزیزان، برخی از مقالات این کانال در جهت دسترسی سریعتر به شبکه اجتماعی ویرگول نیز انتقال یافت. از طریق حساب کاربری زیر میتوانید تمامی محتواها را دنبال نمایید.
https://virgool.io/@mohtat
در ادامه برخی از مطالب انتشاریافته با رویکردهای توسعه دانش فردی و سازمانی در حوزههای علمداده، تحلیلداده و سازمان دادهمحور تقدیم حضور میگردد.
1- تبدیل شدن به یک متخصص کلان داده
http://vrgl.ir/HKOOE
2- مسیر تبدیل شدن به دانشمند علم داده
http://vrgl.ir/LF1n5
3-تبدیل شدن به یک متخصص یادگیری عمیق
http://vrgl.ir/s9bhJ
4-رشتههای دانشگاهی مرتبط با حوزه علمداده در ایران
http://vrgl.ir/4yFUM
5- سؤالات مصاحبه استخدامی متخصص علمداده
http://vrgl.ir/7V14c
6-اشتباهات رایج شرکتها در جذب تحلیلگران داده
http://vrgl.ir/5Gd0n
7-معرفی مشاغل و فرصتهای کاری جذاب در حوزه داده
http://vrgl.ir/lQNHD
8-پروژههای کلیدی حوزه علمداده در کسبوکار
http://vrgl.ir/K940c
9-انتخاب الگوریتم مناسب در پروژههای دادهکاوی
http://vrgl.ir/Sg1DE
10-ده مهارت کلیدی لازم در سال 2020
http://vrgl.ir/BRGdA
@DataAnalysis
ویرگول
محمدرضا محتاط - Mohamadreza Mohtat
خواندن نوشتههای محمدرضا محتاط - Mohamadreza Mohtat در ویرگول. هر روز محمدرضا محتاط - Mohamadreza Mohtat و دیگر کاربران صدها مطلب خواندنی در موضوعات مختلف در ویرگول منتشر میکنند.
نشست سالانه هیات عمومی سازمان نظام صنفی رایانهای کشور با حضور محمدجواد آذری جهرمی، وزیر ارتباطات و ابوالحسن فیروزآبادی، دبیر شورای عالی فضای مجازی در حال برگزاری است.
در این نشست، برنامه هاي راهبردی سازمان نظام صنفي رایانهای(نصر) در ۲۰ محور، معرفی شد.
@DataAnalysis
در این نشست، برنامه هاي راهبردی سازمان نظام صنفي رایانهای(نصر) در ۲۰ محور، معرفی شد.
@DataAnalysis
برنامه دادههای باز دیجیکالا
https://bit.ly/2HgHTnI
شرکت دیجیکالا در اقدامی ارزشمند چندین دیتاست این فروشگاه اینترنتی را با رعایت حریم خصوصی مشتریان خود بهصورت رایگان در اختیار علاقهمندان قرار داده است. برنامه دادههای باز این شرکت بهتازگی با هدف ارائه بستر مناسب برای تحقیق و توسعه در حوزه علوم داده شروع به کار کرده است.
در ادامه برخی از دیتاستهای انتشاریافته و کارکردهای آن در حوزه علمداده معرفی شده است.
1- دیتاست نظرات کاربران:
این دادهها شامل یکصد هزار نمونه از نظرات کاربران است که شامل چندین نظر برای یک محصول میباشد. از موارد استفاده این دادهها میتوان به پردازش زبان طبیعی، تحلیل احساسات، طبقهبندی بر اساس کیفیت نظرات، شناسایی اسپم و تحلیلهای روانشناسی اشاره کرد.
2- دیتاست تاریخچه خرید مشتریان:
این دادهها، شامل یکصد هزار خرید توسط مشتریان است که همانند سایر دادههای دیجیکالا بینام شدهاند تا حریم شخصی مشتریان حفظ شود. این دادهها دارای زمان و موقعیت مکانی میباشد. از موارد پیشنهادی استفاده از این دادهها میتوان به تحلیل روندها در میان شهرها، پیشبینی خرید و سفارش مشتریان و دستهبندی مشتریان اشاره کرد.
3- دیتاست کیفیت نظرات محصولات:
این دادهها شامل تاریخچه بیش از یکصدهزار محصول میباشد. از موارد پیشنهادی تحقیقاتی شناسایی ناهنجاریها(anomaly detection)، پیشبینی قیمتهای آینده، تحلیل آماری قیمت و پایداری در میان طبقهبندیها و استفاده از یادگیری ماشین جهت شناسایی قیمتهای نادرست توسط فروشندهها میباشد.
4- دیتاست لیست محصولات:
این دادهها شامل یکصدهزار نمونه از محصولات و طبقهبندی آنها میباشد. کاربردهای پیشنهادی برای این دیتاست، پیشبینی طبقهبندی، شناسایی ناهنجاری(anomaly detection)، شناسایی اشتباهات در دستهبندی(Categorization) ، شناسایی موارد تکراری و دستهبندی پویا با استفاده از ویژگیهای دادهها میباشد.
پینوشت:
1- مخاطب اصلی این برنامه دانشجویان علاقهمند به انجام پژوهشهای تحقیقاتی یا پایاننامه بر اساس دادههای انتشاریافته میباشد. درخواست دسترسی به دادههای فوق از طریق ایمیل دانشگاهی مقدور میباشد.
2- از طریق لینک زیر میتوانید به این دادهها دسترسی داشته باشید.
http://opendata.digikala.com
@DataAnalysis
https://bit.ly/2HgHTnI
شرکت دیجیکالا در اقدامی ارزشمند چندین دیتاست این فروشگاه اینترنتی را با رعایت حریم خصوصی مشتریان خود بهصورت رایگان در اختیار علاقهمندان قرار داده است. برنامه دادههای باز این شرکت بهتازگی با هدف ارائه بستر مناسب برای تحقیق و توسعه در حوزه علوم داده شروع به کار کرده است.
در ادامه برخی از دیتاستهای انتشاریافته و کارکردهای آن در حوزه علمداده معرفی شده است.
1- دیتاست نظرات کاربران:
این دادهها شامل یکصد هزار نمونه از نظرات کاربران است که شامل چندین نظر برای یک محصول میباشد. از موارد استفاده این دادهها میتوان به پردازش زبان طبیعی، تحلیل احساسات، طبقهبندی بر اساس کیفیت نظرات، شناسایی اسپم و تحلیلهای روانشناسی اشاره کرد.
2- دیتاست تاریخچه خرید مشتریان:
این دادهها، شامل یکصد هزار خرید توسط مشتریان است که همانند سایر دادههای دیجیکالا بینام شدهاند تا حریم شخصی مشتریان حفظ شود. این دادهها دارای زمان و موقعیت مکانی میباشد. از موارد پیشنهادی استفاده از این دادهها میتوان به تحلیل روندها در میان شهرها، پیشبینی خرید و سفارش مشتریان و دستهبندی مشتریان اشاره کرد.
3- دیتاست کیفیت نظرات محصولات:
این دادهها شامل تاریخچه بیش از یکصدهزار محصول میباشد. از موارد پیشنهادی تحقیقاتی شناسایی ناهنجاریها(anomaly detection)، پیشبینی قیمتهای آینده، تحلیل آماری قیمت و پایداری در میان طبقهبندیها و استفاده از یادگیری ماشین جهت شناسایی قیمتهای نادرست توسط فروشندهها میباشد.
4- دیتاست لیست محصولات:
این دادهها شامل یکصدهزار نمونه از محصولات و طبقهبندی آنها میباشد. کاربردهای پیشنهادی برای این دیتاست، پیشبینی طبقهبندی، شناسایی ناهنجاری(anomaly detection)، شناسایی اشتباهات در دستهبندی(Categorization) ، شناسایی موارد تکراری و دستهبندی پویا با استفاده از ویژگیهای دادهها میباشد.
پینوشت:
1- مخاطب اصلی این برنامه دانشجویان علاقهمند به انجام پژوهشهای تحقیقاتی یا پایاننامه بر اساس دادههای انتشاریافته میباشد. درخواست دسترسی به دادههای فوق از طریق ایمیل دانشگاهی مقدور میباشد.
2- از طریق لینک زیر میتوانید به این دادهها دسترسی داشته باشید.
http://opendata.digikala.com
@DataAnalysis
جشنواره بزرگ ایده و محصول سکو
کنگره بینالمللی سیستمهای کلان مقیاس محاسباتی و تحلیل کلان داده (TopHPC) با حمایت و مشارکت حامی ویژه کنگره، شرکت مهندسی صنایع یاس ارغوانی، برگزار میکند:
«جشنواره بزرگ ایده و محصول سکو با محوریت کاربرد دادههای کلان در صنایع»
صاحبان ایده یا محصول در حوزه داده و تحلیل آن میتوانند با ثبتنام در سامانه سکو در این جشنواره شرکت نمایند.
برندگان میتواند از جوایز حمایتی برای محصولات، گواهی حضور بینالمللی و تخفیف تا 50 درصد برای حضور در کنگره TopHPC بهرهمند شوند.
لینک ثبتنام در جشنواره:
http://portal.sakuplatform.ir
وبسایت کنگره TopHPC:
www.tophpc.com
وبسایت شرکت مهندسی صنايع ياس ارغوانی:
www.yaasie.com
@DataAnalysis
کنگره بینالمللی سیستمهای کلان مقیاس محاسباتی و تحلیل کلان داده (TopHPC) با حمایت و مشارکت حامی ویژه کنگره، شرکت مهندسی صنایع یاس ارغوانی، برگزار میکند:
«جشنواره بزرگ ایده و محصول سکو با محوریت کاربرد دادههای کلان در صنایع»
صاحبان ایده یا محصول در حوزه داده و تحلیل آن میتوانند با ثبتنام در سامانه سکو در این جشنواره شرکت نمایند.
برندگان میتواند از جوایز حمایتی برای محصولات، گواهی حضور بینالمللی و تخفیف تا 50 درصد برای حضور در کنگره TopHPC بهرهمند شوند.
لینک ثبتنام در جشنواره:
http://portal.sakuplatform.ir
وبسایت کنگره TopHPC:
www.tophpc.com
وبسایت شرکت مهندسی صنايع ياس ارغوانی:
www.yaasie.com
@DataAnalysis
برترین مهارتهای موردنیاز در سال 2019
https://bit.ly/2OazeDK
در این جهان پرشتاب و رقابتی، توانایی یادگیری مهارتهای جدید یکی از رموز موفقیت است. تمرکز بر مهارتهای نرم(Soft Skill) در کنار مهارتهای فنی و تکنیکال(Hard Skill) سبب افزایش جایگاه شما در کسبوکارها خواهد شد.
در ادامه برترین مهارتهای مورد تقاضا در سال 2019 بر اساس گزارش شبکه اجتماعی لینکدین به شرح زیر است.
مهارتهای نرم:
1- خلاقیت (Creativity)
2- هنر متقاعد کردن افراد(Persuasion)
3- همکاری و مشارکت(Collaboration)
4- قابلیت انطباقپذیری(Adaptability)
5- مدیریت زمان(Time Management)
مهارتهای فنی و تکنیکال:
1- رایانش ابری(Cloud Computing)
2- هوش مصنوعی(Artificial Intelligence)
3- استدلال تحلیلی(Analytical Reasoning)
4- مدیریت افراد(People Management)
5- طراح UX
پینوشت:
یکی از جنبههای استدلال تحلیلی بهرهگیری از تصمیمگیریهای دادهمحور (Data-Driven Decision Making) در جهت اخذ تصمیمات بهینه خواهد بود.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2OazeDK
در این جهان پرشتاب و رقابتی، توانایی یادگیری مهارتهای جدید یکی از رموز موفقیت است. تمرکز بر مهارتهای نرم(Soft Skill) در کنار مهارتهای فنی و تکنیکال(Hard Skill) سبب افزایش جایگاه شما در کسبوکارها خواهد شد.
در ادامه برترین مهارتهای مورد تقاضا در سال 2019 بر اساس گزارش شبکه اجتماعی لینکدین به شرح زیر است.
مهارتهای نرم:
1- خلاقیت (Creativity)
2- هنر متقاعد کردن افراد(Persuasion)
3- همکاری و مشارکت(Collaboration)
4- قابلیت انطباقپذیری(Adaptability)
5- مدیریت زمان(Time Management)
مهارتهای فنی و تکنیکال:
1- رایانش ابری(Cloud Computing)
2- هوش مصنوعی(Artificial Intelligence)
3- استدلال تحلیلی(Analytical Reasoning)
4- مدیریت افراد(People Management)
5- طراح UX
پینوشت:
یکی از جنبههای استدلال تحلیلی بهرهگیری از تصمیمگیریهای دادهمحور (Data-Driven Decision Making) در جهت اخذ تصمیمات بهینه خواهد بود.
ارادتمند
محمدرضا محتاط
@DataAnalysis
با عرض سلام و احترام
سال جديد را خدمت همه بزرگوران و عزيزان تبريك عرض ميكنيم
از خداوند منان توفیقات روزافزون براي شما آرزومنديم
در سال ١٣٩٨ منتظر اخبار و برنامه هاي جديد در حوزه علم داده باشيد...
@DataAnalysis
سال جديد را خدمت همه بزرگوران و عزيزان تبريك عرض ميكنيم
از خداوند منان توفیقات روزافزون براي شما آرزومنديم
در سال ١٣٩٨ منتظر اخبار و برنامه هاي جديد در حوزه علم داده باشيد...
@DataAnalysis
مديريت بحران دادهمحور!
https://bit.ly/2U5OV4L
سازمان مدیریت بحران کشور یکی از سازمانهای دولتی ایران میباشد که زیرنظر وزارت کشور ایران فعالیت میکند و وظیفهٔ آمادگی و پیشگیری از بحرانها، مدیریت آنها و ارائه کمکهای اولیه به آسیبدیدگان و ساماندهی و بازسازی مناطق آسیبدیده را به عهده دارد.
با توجه به قابليتها و كاركردهاي متنوع حوزه تحليل داده، مديريت بحران دادهمحور به صورت كاملا نظاممند در كشورهاي توسعه يافته در حال بهرهبرداري مي باشد.این در حالی است که متاسفانه اين حوزه در كشور همچنان مغفول واقع شده و در حال حاضر رويكردهاي كاملا سنتي در مديريت بحرانها استفاده میشود.
در ادامه برخي از قابليتهاي حوزه علمداده در سازمان مديريت بحران كشور كه با اجرايي سازي آن قابليت مديريت بهتر برخي از بحرانهاي اخير كشور نیز در آن ميسر بود بيان ميشود.
١- پيشبيني بلاهاي طبيعي از قبيل سيل، طوفان، زلزله و...
٢- مديريت بهينه منابع در زمان وقوع بحران شامل تخصيص منابع، اعزام نيرو، مسيريابي بهينه و...
٣- پيشبيني و تشخيص شرايط جوي منتج به بحران
٤- پيشبيني مخاطرات زيست محيطي
٥- هشداردهي هوشمند به مردم بنا به موقعيت جغرافيايي و بحرانهاي پيشرو
٦- شناسايي نقاط حساس در جهت استقرار نیروهای امدادی
٧- پايش و تحليل شبكههاي اجتماعي در جهت شناسايي بحرانها
موارد فوق تنها بخشي از كاربردهاي حوزه علمداده در سازمان مديريت بحران كشور خواهد بود. در واقع بهرهگيري از قابليتهاي تحليلداده، راهكارهايي غيرقابل گريز در جهت تشخيص، پيش بيني و مديريت بحرانهاي آتی كشور ميباشد.
در همين راستا تشکیل كارگروه تحليل داده ذیل سازمان مديريت بحران كشور در كنار ساير كارگروههاي موجود پیشنهاد میشود. كارگروهي كه تاسيس آن ميتواند راهكار علاج بسياري از مشكلات اين سازمان باشد.
پي نوشت:
١- با توجه به منفعتهاي عام اين امر، امكان تدوين برنامه اجرايي، ماموريتها و فعاليتهاي اين كارگروه به همراه نيازسنجي تشكيل دپارتمان و بخشهاي مورد نياز به صورت كاملا خيرخواهانه برای سازمان مدیریت بحران وجود دارد.
٢- يكي از ماموريتهاي ساده و اما مهم اين كارگروه ميتواند متوليگري پژوهشهای مرتبط با بحرانهاي پيشرو كشور شامل حمايت از پژوهشهاي مرتبط، طرح صورت مسيلههاي روز، مطالعه مقالات انجام شده و... باشد.
در انتها وقوع حوادث و بلاهاي اخير را خدمت خانوادههاي مصيبت ديده تسليت عرض مينماييم.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2U5OV4L
سازمان مدیریت بحران کشور یکی از سازمانهای دولتی ایران میباشد که زیرنظر وزارت کشور ایران فعالیت میکند و وظیفهٔ آمادگی و پیشگیری از بحرانها، مدیریت آنها و ارائه کمکهای اولیه به آسیبدیدگان و ساماندهی و بازسازی مناطق آسیبدیده را به عهده دارد.
با توجه به قابليتها و كاركردهاي متنوع حوزه تحليل داده، مديريت بحران دادهمحور به صورت كاملا نظاممند در كشورهاي توسعه يافته در حال بهرهبرداري مي باشد.این در حالی است که متاسفانه اين حوزه در كشور همچنان مغفول واقع شده و در حال حاضر رويكردهاي كاملا سنتي در مديريت بحرانها استفاده میشود.
در ادامه برخي از قابليتهاي حوزه علمداده در سازمان مديريت بحران كشور كه با اجرايي سازي آن قابليت مديريت بهتر برخي از بحرانهاي اخير كشور نیز در آن ميسر بود بيان ميشود.
١- پيشبيني بلاهاي طبيعي از قبيل سيل، طوفان، زلزله و...
٢- مديريت بهينه منابع در زمان وقوع بحران شامل تخصيص منابع، اعزام نيرو، مسيريابي بهينه و...
٣- پيشبيني و تشخيص شرايط جوي منتج به بحران
٤- پيشبيني مخاطرات زيست محيطي
٥- هشداردهي هوشمند به مردم بنا به موقعيت جغرافيايي و بحرانهاي پيشرو
٦- شناسايي نقاط حساس در جهت استقرار نیروهای امدادی
٧- پايش و تحليل شبكههاي اجتماعي در جهت شناسايي بحرانها
موارد فوق تنها بخشي از كاربردهاي حوزه علمداده در سازمان مديريت بحران كشور خواهد بود. در واقع بهرهگيري از قابليتهاي تحليلداده، راهكارهايي غيرقابل گريز در جهت تشخيص، پيش بيني و مديريت بحرانهاي آتی كشور ميباشد.
در همين راستا تشکیل كارگروه تحليل داده ذیل سازمان مديريت بحران كشور در كنار ساير كارگروههاي موجود پیشنهاد میشود. كارگروهي كه تاسيس آن ميتواند راهكار علاج بسياري از مشكلات اين سازمان باشد.
پي نوشت:
١- با توجه به منفعتهاي عام اين امر، امكان تدوين برنامه اجرايي، ماموريتها و فعاليتهاي اين كارگروه به همراه نيازسنجي تشكيل دپارتمان و بخشهاي مورد نياز به صورت كاملا خيرخواهانه برای سازمان مدیریت بحران وجود دارد.
٢- يكي از ماموريتهاي ساده و اما مهم اين كارگروه ميتواند متوليگري پژوهشهای مرتبط با بحرانهاي پيشرو كشور شامل حمايت از پژوهشهاي مرتبط، طرح صورت مسيلههاي روز، مطالعه مقالات انجام شده و... باشد.
در انتها وقوع حوادث و بلاهاي اخير را خدمت خانوادههاي مصيبت ديده تسليت عرض مينماييم.
ارادتمند
محمدرضا محتاط
@DataAnalysis
كشف الگوی زندگی بزرگان با رهیافت علمداده!
https://bit.ly/2UXt9gG
بزرگمردان دير يا زود شبيه هم میشوند. آنها هرگز كار را متوقف نخواهند كرد. حتي لحظهای را هم از دست نمیدهند. آدم پاك سرخورده میشود!
جملات فوق جملاتي از مقدمه كتاب «آداب روزانه؛ روز بزرگان چگونه شب میشود» اثر مسين كاري میباشد. در این کتاب شرح احوال و عادات کاری یکصد و شصتویک شخصیت مشهور بیانشده است. در میان این شخصیتها، هم هنرمند و فیلسوف دیده میشود، هم موسیقیدان و نقاش و مجسمهساز، و هم کارگردان و دانشمند. هم میتوان از آدمهای معروف چند قرن گذشته ردی پیدا كرد.
شناسايي سبك زندگي آدمهای موفق و الگوبرداري از آنان يكي از راههای میانبر در كسب موفقيت میباشد. در ادامه با بهرهگیری از رهيافت تحليل داده، مهمترین ویژگیهای برنامههای روزانه اين افراد با پردازش متن صورت گرفته در کتاب آداب روزانه، برحسب ميزان اهميت و فراواني تقديم حضور میگردد.
١- نوشتن:
نوشتن برنامههای روزانه، خاطرات و كتاب جز یکی از برنامههای مستمر این افراد موفق بوده است.
٢- مطالعه:
مطالعه كتاب در ابعاد گوناگون مانند کتابهای رمان، تاريخي، روزنامه، مجلات و... در ساعات اولیه و پایانی روز نیز یکی از برنامههای کلیدی این افراد میباشد.
٣- نوشيدن قهوه:
نوشيدن مستمر قهوه در اوایل صبح در جهت کسب انرژی و خوردن صبحانه كامل یکی از نکات قابلتوجه در زندگی روزانه افراد بزرگ بوده هست.
٤- پیادهروی و ورزش:
پیادهرویهای طولانیمدت در جهت كسب خلاقيت و انجام فعالیتهای ورزشی در راستای کسب سلامتی جز یکی از اقداماتی هست که این افراد نیز بهصورت مستمر به آن پایبند بودند.
٥- سحرخيزي:
سحرخیزی و بیدار شدن در اوایل صبح یکی از مؤلفههای قابلتوجه این افراد هست. اکثر افراد فوق در ساعاتی بین 4 الی 7 صبح بهصورت کاملاً منظم بیدار میشدند. قابلذکر هست که بیشترین فراوانی پیرامون ساعت 6 صبح بوده است.
6- حمام:
کسب انرژی با دوش آبسرد یکی از کارهای مستمر برخی از اين افراد در صبح میباشد.
7- موسيقي:
شنیدن موسیقی، نواختن پیانو و... نیز توسط برخی از این افراد در جهت کسب آرامش دنبال میگردید.
8- مراقبه:
مراقبه یا مدیتیشن در اول صبح نیز یکی از فعالیتهای تأثیرگذار این افراد بوده است.
همه به شما میگویند:
"سال خوبی داشته باشید."
ولي ما به شما میگوییم: "سال خوبی را برای خودتان خلق کنید"
به فکر آمدن روزهای خوب نباشید!
آنها نخواهند آمد
به فکر ساختن باشید
روزهای خوب را باید ساخت
آرزو میکنیم
بهترین معمار سال جدید باشید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2UXt9gG
بزرگمردان دير يا زود شبيه هم میشوند. آنها هرگز كار را متوقف نخواهند كرد. حتي لحظهای را هم از دست نمیدهند. آدم پاك سرخورده میشود!
جملات فوق جملاتي از مقدمه كتاب «آداب روزانه؛ روز بزرگان چگونه شب میشود» اثر مسين كاري میباشد. در این کتاب شرح احوال و عادات کاری یکصد و شصتویک شخصیت مشهور بیانشده است. در میان این شخصیتها، هم هنرمند و فیلسوف دیده میشود، هم موسیقیدان و نقاش و مجسمهساز، و هم کارگردان و دانشمند. هم میتوان از آدمهای معروف چند قرن گذشته ردی پیدا كرد.
شناسايي سبك زندگي آدمهای موفق و الگوبرداري از آنان يكي از راههای میانبر در كسب موفقيت میباشد. در ادامه با بهرهگیری از رهيافت تحليل داده، مهمترین ویژگیهای برنامههای روزانه اين افراد با پردازش متن صورت گرفته در کتاب آداب روزانه، برحسب ميزان اهميت و فراواني تقديم حضور میگردد.
١- نوشتن:
نوشتن برنامههای روزانه، خاطرات و كتاب جز یکی از برنامههای مستمر این افراد موفق بوده است.
٢- مطالعه:
مطالعه كتاب در ابعاد گوناگون مانند کتابهای رمان، تاريخي، روزنامه، مجلات و... در ساعات اولیه و پایانی روز نیز یکی از برنامههای کلیدی این افراد میباشد.
٣- نوشيدن قهوه:
نوشيدن مستمر قهوه در اوایل صبح در جهت کسب انرژی و خوردن صبحانه كامل یکی از نکات قابلتوجه در زندگی روزانه افراد بزرگ بوده هست.
٤- پیادهروی و ورزش:
پیادهرویهای طولانیمدت در جهت كسب خلاقيت و انجام فعالیتهای ورزشی در راستای کسب سلامتی جز یکی از اقداماتی هست که این افراد نیز بهصورت مستمر به آن پایبند بودند.
٥- سحرخيزي:
سحرخیزی و بیدار شدن در اوایل صبح یکی از مؤلفههای قابلتوجه این افراد هست. اکثر افراد فوق در ساعاتی بین 4 الی 7 صبح بهصورت کاملاً منظم بیدار میشدند. قابلذکر هست که بیشترین فراوانی پیرامون ساعت 6 صبح بوده است.
6- حمام:
کسب انرژی با دوش آبسرد یکی از کارهای مستمر برخی از اين افراد در صبح میباشد.
7- موسيقي:
شنیدن موسیقی، نواختن پیانو و... نیز توسط برخی از این افراد در جهت کسب آرامش دنبال میگردید.
8- مراقبه:
مراقبه یا مدیتیشن در اول صبح نیز یکی از فعالیتهای تأثیرگذار این افراد بوده است.
همه به شما میگویند:
"سال خوبی داشته باشید."
ولي ما به شما میگوییم: "سال خوبی را برای خودتان خلق کنید"
به فکر آمدن روزهای خوب نباشید!
آنها نخواهند آمد
به فکر ساختن باشید
روزهای خوب را باید ساخت
آرزو میکنیم
بهترین معمار سال جدید باشید.
ارادتمند
محمدرضا محتاط
@DataAnalysis
به صورت تخصصی در چه حوزهای مشغول به فعالیت هستید؟
Anonymous Poll
32%
Data Science
3%
Big Data Developer
5%
Big Data Analytics
14%
Business Intelligence
5%
Text Mining
12%
Deep Learning
4%
Data Engineering
6%
Database Administration
19%
Software Engineering
کتاب مرجع مدیریت داده DAMA-DMBOK
https://bit.ly/2YVNW6z
یکی از مراجع اصلی در حوزه مدیریت داده و حاکمیت داده، چهارچوب DMBOK میباشد که توسط موسسه DAMA منتشر شده است.
در کتاب Data Management Body of Knowledge که در سال 2017 انتشار یافته است سرفصلهای زیر پوشش داده میشود.
▪️Data Management
▪️Data Handling Ethics
▪️Data Governance
▪️Data Architecture
▪️Data Modeling and Design
▪️Data Storage and Operations
▪️Data Security
▪️Data Integration and Interoperability
▪️Document and Content Management
▪️Reference and Master Data
▪️Data Warehousing and Business Intelligence
▪️Metadata Management
▪️Data Quality Management
▪️Big Data and Data Science
▪️Data Management Maturity Assessment
▪️Data Management Organization and Role Expectations
▪️Data Management and Organizational Change Management
مطالعه این کتاب ارزشمند را به تمامی متخصصین حوزههای مدیریت داده، علمداده، هوش تجاری و... پیشنهاد میکنیم.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2YVNW6z
یکی از مراجع اصلی در حوزه مدیریت داده و حاکمیت داده، چهارچوب DMBOK میباشد که توسط موسسه DAMA منتشر شده است.
در کتاب Data Management Body of Knowledge که در سال 2017 انتشار یافته است سرفصلهای زیر پوشش داده میشود.
▪️Data Management
▪️Data Handling Ethics
▪️Data Governance
▪️Data Architecture
▪️Data Modeling and Design
▪️Data Storage and Operations
▪️Data Security
▪️Data Integration and Interoperability
▪️Document and Content Management
▪️Reference and Master Data
▪️Data Warehousing and Business Intelligence
▪️Metadata Management
▪️Data Quality Management
▪️Big Data and Data Science
▪️Data Management Maturity Assessment
▪️Data Management Organization and Role Expectations
▪️Data Management and Organizational Change Management
مطالعه این کتاب ارزشمند را به تمامی متخصصین حوزههای مدیریت داده، علمداده، هوش تجاری و... پیشنهاد میکنیم.
ارادتمند
محمدرضا محتاط
@DataAnalysis
چرا به یک متخصص علمداده تبدیل شویم؟
همواره انتخاب حوزه کاری در میان فیلدهای کاری مختلف و متنوع یکی از موضوعات چالشی و البته بسیار مهم بوده است. در شکل فوق دلایل اصلی جهت تبدیل شدن به یک متخصص علمداده بیان گردیده است.
اگر در رشتههای مهندسی نرمافزار، هوش مصنوعی، آمار، مدیریت فناوری اطلاعات و... تحصیل میکنید انتخاب فیلد کاری Data Science با توجه به افزایش بسیار میزان تقاضا شرکتها جهت جذب متخصصین علمداده، میزان درآمد،تاثیرگذاری در سطوح سازمانی و ملی و... میتواند یکی از بهترین تصمیمات شما باشد.
پینوشت:
قابل ذکر است که جهت موفقیت در حوزه علمداده لزوما به تخصصهای آکادمیک در رشتههای مشخصی نیاز نیست. علاقهمندی، پشتکار، تمرین، پیادهسازیهای عملی و... سبب موفقیت شما در این فیلد کاری خواهد شد.
@DataAnalysis
همواره انتخاب حوزه کاری در میان فیلدهای کاری مختلف و متنوع یکی از موضوعات چالشی و البته بسیار مهم بوده است. در شکل فوق دلایل اصلی جهت تبدیل شدن به یک متخصص علمداده بیان گردیده است.
اگر در رشتههای مهندسی نرمافزار، هوش مصنوعی، آمار، مدیریت فناوری اطلاعات و... تحصیل میکنید انتخاب فیلد کاری Data Science با توجه به افزایش بسیار میزان تقاضا شرکتها جهت جذب متخصصین علمداده، میزان درآمد،تاثیرگذاری در سطوح سازمانی و ملی و... میتواند یکی از بهترین تصمیمات شما باشد.
پینوشت:
قابل ذکر است که جهت موفقیت در حوزه علمداده لزوما به تخصصهای آکادمیک در رشتههای مشخصی نیاز نیست. علاقهمندی، پشتکار، تمرین، پیادهسازیهای عملی و... سبب موفقیت شما در این فیلد کاری خواهد شد.
@DataAnalysis
مسیر یادگیری مهندسی داده!
https://bit.ly/2UAJ1cL
مهندسی داده یا Data Engineering یکی از مشاغل جذاب حوزه Data میباشد که بهتازگی نیز توجهات به آن بسیار افزایشیافته است. مدیریت جریان داده، استقرار فرایندهای ETL، طراحی معماری، پیادهسازی و نگهداری انبار داده، توسعه سیستمهای نرمافزاری مبتنی بر داده و... از فعالیتها اصلی یک مهندس داده میباشد.
در تصویر زیر مهارتها و گامهای تبدیلشدن به یک مهندس داده بیانشده است. بهصورت کلی جهت کسب تخصص در این فیلد کاری به مهارتهای زیر نیاز خواهد داشت:
1- دانش تخصصی برنامهنویسی:
کسب دانش پایه در حوزه سیستمعاملهای مبتنی بر لینوکس و زبانهای برنامهنویسی همانند Scala بنا به قابلیتهای آن در حوزه Big Data از مهارتهای پایهای ورود به این حوزه تخصصی میباشد.
2- استقرار فرایند ETL:
طراحی و پیادهسازی فرایند ETL بنا به دغدغهها و نیازمندیها، مدیریت جریان داده سازمان و توانایی کار با انواع پایگاه دادهها نیز در این فیلد کاری حائز اهمیت است.
3- موتورهای پردازشی کلان داده:
با توجه به افزایش حجم دادهها، دو حوزه مهندسی داده و توسعهدهنده کلان داده به یکدیگر بسیار نزدیک گردیدهاند. توانایی کار با موتور پردازشی کلان داده آپاچی Spark از مهارتهایی میباشد که اگر قصد فعالیت در این حوزه را دارید میبایست در خود تقویت نمایید.
4- مدیریت جریانهای بلادرنگ داده:
یکی از مؤلفههای کلان داده حوزه Velocity یا سرعت نرخ تولید دادهها میباشد. در صورت افزایش حجم دادگان ورودی به سیستمهای نرمافزاری با بهرهگیری از ابزارها و پلتفرمهایی از قبیل Kafka، آپاچی Storm یا Flink امکان مدیریت این دادگان فراهم خواهد گردید.
5- مهندسی یادگیری ماشین:
توسعه مدلهای مبتنی بر یادگیری ماشین از وظایف اصلی متخصصین داده یا Data Scientist میباشد. در حوزه مهندسی داده گام استقرار مدلهای توسعه دادهشده و خودکاری سازی این فرایندها صورت میپذیرد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
https://bit.ly/2UAJ1cL
مهندسی داده یا Data Engineering یکی از مشاغل جذاب حوزه Data میباشد که بهتازگی نیز توجهات به آن بسیار افزایشیافته است. مدیریت جریان داده، استقرار فرایندهای ETL، طراحی معماری، پیادهسازی و نگهداری انبار داده، توسعه سیستمهای نرمافزاری مبتنی بر داده و... از فعالیتها اصلی یک مهندس داده میباشد.
در تصویر زیر مهارتها و گامهای تبدیلشدن به یک مهندس داده بیانشده است. بهصورت کلی جهت کسب تخصص در این فیلد کاری به مهارتهای زیر نیاز خواهد داشت:
1- دانش تخصصی برنامهنویسی:
کسب دانش پایه در حوزه سیستمعاملهای مبتنی بر لینوکس و زبانهای برنامهنویسی همانند Scala بنا به قابلیتهای آن در حوزه Big Data از مهارتهای پایهای ورود به این حوزه تخصصی میباشد.
2- استقرار فرایند ETL:
طراحی و پیادهسازی فرایند ETL بنا به دغدغهها و نیازمندیها، مدیریت جریان داده سازمان و توانایی کار با انواع پایگاه دادهها نیز در این فیلد کاری حائز اهمیت است.
3- موتورهای پردازشی کلان داده:
با توجه به افزایش حجم دادهها، دو حوزه مهندسی داده و توسعهدهنده کلان داده به یکدیگر بسیار نزدیک گردیدهاند. توانایی کار با موتور پردازشی کلان داده آپاچی Spark از مهارتهایی میباشد که اگر قصد فعالیت در این حوزه را دارید میبایست در خود تقویت نمایید.
4- مدیریت جریانهای بلادرنگ داده:
یکی از مؤلفههای کلان داده حوزه Velocity یا سرعت نرخ تولید دادهها میباشد. در صورت افزایش حجم دادگان ورودی به سیستمهای نرمافزاری با بهرهگیری از ابزارها و پلتفرمهایی از قبیل Kafka، آپاچی Storm یا Flink امکان مدیریت این دادگان فراهم خواهد گردید.
5- مهندسی یادگیری ماشین:
توسعه مدلهای مبتنی بر یادگیری ماشین از وظایف اصلی متخصصین داده یا Data Scientist میباشد. در حوزه مهندسی داده گام استقرار مدلهای توسعه دادهشده و خودکاری سازی این فرایندها صورت میپذیرد.
ارادتمند
محمدرضا محتاط
@DataAnalysis
مدیریت نوین منابع انسانی!
http://tiny.cc/64694y
در دنیای امروز، سرمایههای انسانی بهعنوان با ارزشترین منابع سازمانی، به سازمان معنا و مفهوم میبخشند و زمینه تحقق اهداف سازمانی را فراهم میکنند. رشد و توسعه سازمانها و در پی آن جامعه و کشور، در گرو استفاده صحیح از سرمایههای انسانی است. اگر جامعهای از این مزیت رقابتی برخوردار نباشد بهطورقطع نمیتواند به هدفهای موردنظر خود دست یابد.
تصمیمگیری اثربخش و کارا در حوزه مدیریت منابع انسانی، مزایای رقابتی مهمی برای سازمانها در پی دارد. علیرغم وجود دادهها و اطلاعات فراوان در سازمانها در ارتباط با منابع انسانی بعضاً این دادهها به شیوهای اثربخش مورد تحلیل و استفاده قرار نمیگیرند.
در ادامه برخی از کارکردها و کاربردهای حوزه تحلیل داده در جهت استقرار مدیریت منابع انسانی داده محور تقدیم حضور میگردد.
1- پایش هوشمند شبکههای اجتماعی و گروههای تخصصی در جهت شناسایی متخصصین مورد نیاز
2- جذب و استخدام کارکنان اثربخش بر اساس عملکرد رفتاری گذشته کارکنان سازمان
3- ارزیابی مستمر میزان رضایت شغلی کارکنان
4- پیشبینی افت عملکرد کارکنان و بخشهای سازمان
5- مدیریت بهینه تعدیل ( اولویتبندی کارکنان جهت تعدیل )
6- تحلیل عملکرد کارکنان بر اساس شاخصهای عملیاتی
7- هوشمند سازی نظام پاداش و پرداخت
8- ارائه آموزشهای شخصیسازیشده بنا به نیازمندیهای کارکنان
افزایش بهرهوری، انگيزه، رضايت شغلي، بهبود کيفيت زندگي کاري، و تحقق اهداف سازمان تنها بخشی از دستاوردهای مدیریت بهینه و هوشمندانه منابع انسانی میباشد.
"مدیریت مؤثر نیروی کار از طریق تجزیهوتحلیل داده منابع انسانی نیاز به یک تغییر در طرز فکر دارد. "
پینوشت:
روز منابع انسانی را خدمت همه کارشناسان و مدیران منابع انسانی تبریک عرض میکنیم. افرادی که میتوانند شرکتها و به طبع جهان را بهجایی بهتر برای زندگی کردن تبدیل نمایند.
ارادتمند
محمدرضا محتاط
@DataAnalysis
http://tiny.cc/64694y
در دنیای امروز، سرمایههای انسانی بهعنوان با ارزشترین منابع سازمانی، به سازمان معنا و مفهوم میبخشند و زمینه تحقق اهداف سازمانی را فراهم میکنند. رشد و توسعه سازمانها و در پی آن جامعه و کشور، در گرو استفاده صحیح از سرمایههای انسانی است. اگر جامعهای از این مزیت رقابتی برخوردار نباشد بهطورقطع نمیتواند به هدفهای موردنظر خود دست یابد.
تصمیمگیری اثربخش و کارا در حوزه مدیریت منابع انسانی، مزایای رقابتی مهمی برای سازمانها در پی دارد. علیرغم وجود دادهها و اطلاعات فراوان در سازمانها در ارتباط با منابع انسانی بعضاً این دادهها به شیوهای اثربخش مورد تحلیل و استفاده قرار نمیگیرند.
در ادامه برخی از کارکردها و کاربردهای حوزه تحلیل داده در جهت استقرار مدیریت منابع انسانی داده محور تقدیم حضور میگردد.
1- پایش هوشمند شبکههای اجتماعی و گروههای تخصصی در جهت شناسایی متخصصین مورد نیاز
2- جذب و استخدام کارکنان اثربخش بر اساس عملکرد رفتاری گذشته کارکنان سازمان
3- ارزیابی مستمر میزان رضایت شغلی کارکنان
4- پیشبینی افت عملکرد کارکنان و بخشهای سازمان
5- مدیریت بهینه تعدیل ( اولویتبندی کارکنان جهت تعدیل )
6- تحلیل عملکرد کارکنان بر اساس شاخصهای عملیاتی
7- هوشمند سازی نظام پاداش و پرداخت
8- ارائه آموزشهای شخصیسازیشده بنا به نیازمندیهای کارکنان
افزایش بهرهوری، انگيزه، رضايت شغلي، بهبود کيفيت زندگي کاري، و تحقق اهداف سازمان تنها بخشی از دستاوردهای مدیریت بهینه و هوشمندانه منابع انسانی میباشد.
"مدیریت مؤثر نیروی کار از طریق تجزیهوتحلیل داده منابع انسانی نیاز به یک تغییر در طرز فکر دارد. "
پینوشت:
روز منابع انسانی را خدمت همه کارشناسان و مدیران منابع انسانی تبریک عرض میکنیم. افرادی که میتوانند شرکتها و به طبع جهان را بهجایی بهتر برای زندگی کردن تبدیل نمایند.
ارادتمند
محمدرضا محتاط
@DataAnalysis
برترین مهارتهای متخصصین علمداده!
http://bit.do/eP8ng
براساس گزارش Forbes در سال 2019، برترین مهارتها، ابزارها و پلتفرمهای حوزه علمداده براساس تحلیل فرصتهای شغلی شبکه اجتماعی لینکدین به شرح زیر است.
1- Python
2- R
3- SQL
4- Jupyter Notebooks
5- Unix shell
6- AWS
7- Tensorflow
8- Tableau
9- C/C++
10- Hadoop / Pig / Hive
@DataAnalysis
http://bit.do/eP8ng
براساس گزارش Forbes در سال 2019، برترین مهارتها، ابزارها و پلتفرمهای حوزه علمداده براساس تحلیل فرصتهای شغلی شبکه اجتماعی لینکدین به شرح زیر است.
1- Python
2- R
3- SQL
4- Jupyter Notebooks
5- Unix shell
6- AWS
7- Tensorflow
8- Tableau
9- C/C++
10- Hadoop / Pig / Hive
@DataAnalysis
پروژههای کلان داده؛ واقعیت تا شکست!
http://tiny.cc/big-data-architecture
کلان داده یا Big Data اصطلاحی برای مجموعه دادههای حجیم، متنوع و دارای نرخ تولید بسیار بالا میباشد که با ابزارهای سنتی امکان ذخیرهسازی، نگهداری و تحلیل آن وجود ندارد. بهعنوانمثال راهاندازی یک شبکه اجتماعی همانند تلگرام یا توییتر با توجه به میزان حجم دادگان، تنوع در دادهها(متن، تصویر، صوت و...) و نرخ تولید دادهها نیازمند بهرهگیری از پلتفرمها و ابزارهای کلان داده هست.
با توجه به کاربردها و قابلیتهای این حوزه در کشور، پروژههای متعددی با محوریت Big Data در شرکتها و سازمانهای مختلفی در صنایع بانکداری، تلکام، بیمه و... آغاز شده است. پروژههای که بعضاً با شکست مواجه شدهاند. شکستی که علاوه بر ایجاد مشکلات سازمانی و هدر رفتن منابع، سبب کاهش اعتماد شرکتها به قابلیتهای تحلیل داده و کلان داده نیز میشود.
مشکلاتی از قبیل توجه صرف به ابزارهای فنی، عدم تدوین استراتژیهای پروژه، عدم شناخت از نیازمندیهای کارفرما، خلأ تحلیل نیازمندیها و مهارتهای موردنیاز حین پروژه، مدیریت توقع و مشکلات سازمانی از رایجترین دلایل این شکستها هست.
در ادامه یک معماری منطبق با اکوسیستم آپاچی هدوپ(Hadoop) بهعنوان اکوسیستم مرجع کلان داده جهت مدیریت پروژههای کلان داده پیشنهاد میشود. معماری زیر از 10 لایه و در دو بخش فنی و کارکردی تشکیلشده است. لایههایی که تمامی مؤلفههای مؤثر در پروژههای Big Data شامل زیرساخت، مدیریت داده، تحلیل، امنیت و... را پوشش خواهد داد.
لایههای معماری کلان داده:
1- لایه منابع داده (Data Sources)
2- لایه فروبری داده (Ingestion Layer)
3- لایه زیرساخت هدوپ (Hadoop Infrastructure Layer)
4- لایه ذخیرهسازی هدوپ (Hadoop Storage Layer)
5- لایه مدیریت سکو هدوپ (Hadoop Platform Management Layer)
6- لایه انبار داده (Data Warehouses)
7- لایه موتورهای تحلیلی (Analytics Engines)
8- لایه مصورسازی (Visualization Layer)
9- لایه امنیت (Security Layer)
10- لایه نظارت (Monitoring Layer)
قابلذکر است که در تمامی لایههای فوق گامهای امکانسنجی، ارزیابی بلوغ، تحلیل نیازمندیها و... بهصورت کامل و جامع میبایست انجام پذیرد.
مؤلفههای مقیاسپذیری، میزان دسترسپذیری، قابلیت نگهداری، کارایی و... نیز بهعنوان کارکردهای غیرعملیاتی نیز بهصورت مجزا باید مورد تحلیل و بررسی قرار گیرند.
پینوشت:
طبق بررسی موسسه گارتنر بیش از 60 درصد پروژههای Big Data در سال 2017 نیز با شکست مواجه شدهاند. این عدد قابلتأمل نشان از پیچیدگیهای گسترده در اجرا و پیادهسازی پروژههای Big Data در سطح جهانی نیز هست. مشکلاتی که بعضاً علل آن را باید در حوزههای غیر تکنیکال جست.
ارادتمند
محمدرضا محتاط
@DataAnalysis
http://tiny.cc/big-data-architecture
کلان داده یا Big Data اصطلاحی برای مجموعه دادههای حجیم، متنوع و دارای نرخ تولید بسیار بالا میباشد که با ابزارهای سنتی امکان ذخیرهسازی، نگهداری و تحلیل آن وجود ندارد. بهعنوانمثال راهاندازی یک شبکه اجتماعی همانند تلگرام یا توییتر با توجه به میزان حجم دادگان، تنوع در دادهها(متن، تصویر، صوت و...) و نرخ تولید دادهها نیازمند بهرهگیری از پلتفرمها و ابزارهای کلان داده هست.
با توجه به کاربردها و قابلیتهای این حوزه در کشور، پروژههای متعددی با محوریت Big Data در شرکتها و سازمانهای مختلفی در صنایع بانکداری، تلکام، بیمه و... آغاز شده است. پروژههای که بعضاً با شکست مواجه شدهاند. شکستی که علاوه بر ایجاد مشکلات سازمانی و هدر رفتن منابع، سبب کاهش اعتماد شرکتها به قابلیتهای تحلیل داده و کلان داده نیز میشود.
مشکلاتی از قبیل توجه صرف به ابزارهای فنی، عدم تدوین استراتژیهای پروژه، عدم شناخت از نیازمندیهای کارفرما، خلأ تحلیل نیازمندیها و مهارتهای موردنیاز حین پروژه، مدیریت توقع و مشکلات سازمانی از رایجترین دلایل این شکستها هست.
در ادامه یک معماری منطبق با اکوسیستم آپاچی هدوپ(Hadoop) بهعنوان اکوسیستم مرجع کلان داده جهت مدیریت پروژههای کلان داده پیشنهاد میشود. معماری زیر از 10 لایه و در دو بخش فنی و کارکردی تشکیلشده است. لایههایی که تمامی مؤلفههای مؤثر در پروژههای Big Data شامل زیرساخت، مدیریت داده، تحلیل، امنیت و... را پوشش خواهد داد.
لایههای معماری کلان داده:
1- لایه منابع داده (Data Sources)
2- لایه فروبری داده (Ingestion Layer)
3- لایه زیرساخت هدوپ (Hadoop Infrastructure Layer)
4- لایه ذخیرهسازی هدوپ (Hadoop Storage Layer)
5- لایه مدیریت سکو هدوپ (Hadoop Platform Management Layer)
6- لایه انبار داده (Data Warehouses)
7- لایه موتورهای تحلیلی (Analytics Engines)
8- لایه مصورسازی (Visualization Layer)
9- لایه امنیت (Security Layer)
10- لایه نظارت (Monitoring Layer)
قابلذکر است که در تمامی لایههای فوق گامهای امکانسنجی، ارزیابی بلوغ، تحلیل نیازمندیها و... بهصورت کامل و جامع میبایست انجام پذیرد.
مؤلفههای مقیاسپذیری، میزان دسترسپذیری، قابلیت نگهداری، کارایی و... نیز بهعنوان کارکردهای غیرعملیاتی نیز بهصورت مجزا باید مورد تحلیل و بررسی قرار گیرند.
پینوشت:
طبق بررسی موسسه گارتنر بیش از 60 درصد پروژههای Big Data در سال 2017 نیز با شکست مواجه شدهاند. این عدد قابلتأمل نشان از پیچیدگیهای گسترده در اجرا و پیادهسازی پروژههای Big Data در سطح جهانی نیز هست. مشکلاتی که بعضاً علل آن را باید در حوزههای غیر تکنیکال جست.
ارادتمند
محمدرضا محتاط
@DataAnalysis