‍ 📚 معرفی کتاب

کاربردهای یادگیری ماشین در تحلیل عظیم داده و محاسبات ابری
“Applications of Machine Learning in Big-Data Analytics and Cloud Computing”


📍 این کتاب در سال ۲۰۲۱ و توسط انتشارات River Publisher منتشر شده است.

📍 محاسبات ابری و فناوری‌های عظیم داده به تعاریف جدیدی از عصر دیجیتال تبدیل شده‌اند. میزان داده‌های دیجیتال به سرعت در حال افزایش است و پیش‌بینی می‌شود تا سال ۲۰۳۰ از میزان ۶۵ تریلیون گیگابایت هم عبور کند. این انفجار داده به فرصت‌ها و تحولاتی در حوزه‌های مختلف مانند پزشکی، سازمان‌ها و صنایع منجر شده است. ابزارهای جدید محاسبات ابری و عظیم داده، به محققان و تحلیلگران کمک می‌کنند تا به جمع آوری و مدیریت و تحلیل این حجم از داده بپردازند. در حوزه کلاود و تحلیل عظیم داده نیز، یادگیری عمیق در حال توسعه دسته‌ای از تکنیک‌های یادگیری ماشین برای حل مساپل پیچیده کسب و کاری است. یادگیری عمیق، رایانه‌ها را قادر می‌سازد حجم زیادی از داده‌های بدون ساختار را تحلیل کنند.

📍این کتاب به معرفی پیشرفت‌های اخیر در استفاده از یادگیری ماشین در کلاود و تحلیل عظیم داده می‌پردازد و به عنوان یک مرجع برای محققان و دانش آموزان جدید در حوزه علوم داده و کامپیوتر می‌باشد. مفاهیم مورد نیاز برای درک چالش‌های حال حاضر یادگیری ماشین و راه حل‌های احتمالی به همراه روال‌های پیش رو در تحلیل عظیم داده، در این کتاب به تشریح درآمده‌اند.


این کتاب را می‌توانید از لینک زیر دریافت نمایید:


🔗 https://b2n.ir/g97558


#معرفی_کتاب
#تحلیل‌_عظیم‌داده_و_کسب‌وکار
#میثم_عسگری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📣 وبینار مجازی: محدودیت‌های فنی توسعه متاورس در دانشگاه‌ها

♦️ مدرس: پروفسور علی اکبر جلالی
رئیس کرسی یونسکو در آموزش و یادگیری الکترونیکی

📌تاریخ برگزاری: پنج شنبه 10 شهریور - ساعت 16 الی 17

🌐 لینک ثبت نام:
🔗 14dea.shahroodut.ac.ir


@BigData_BusinessAnalytics
www.bdbanalytics.ir

🔎 استفاده از هوش مصنوعی در خدمات مالی

🔻 مورد مطالعه: آمریکن اکسپرس

🔸 امریکن اکسپرس بیش از 25 درصد از موارد استفاده از کارت اعتباری در ایالات متحده را بر عهده دارد که در سال 2017 معادل 1.1 تریلیون دلار تراکنش در سال بوده است و بر اساس فوربس یکی از با ارزش‌ترین برندها در خدمات مالی است. این شرکت در محور هر کاری که انجام می‌دهد، داده‌ها و تحلیل‌گری را قرار داده است. با این حال، دو مورد از موارد استفاده کلیدی آن کشف تقلب و بهبود تجربه مشتری است.

🔹 بانک‌ها و موسسات مالی از جمله صادر کنندگان کارت اعتباری و بیمه‌ها، همواره از الگوهای به دست آمده در داده‌های تاریخی برای کشف تقلب استفاده می‌کنند. این موضوع به موسسات مالی امکان ایجاد مدل‌هایی را می‌دهد که می‌توانند برای پیش‌بینی قابل اعتماد بودن معاملات آتی مورد استفاده قرار دهند.

🔸 مطالعه موردی شرکت آمریکن اکسپرس در خصوص بهره‌گیری از سیستم‌های هوش مصنوعی نشان می‌دهد مدل‌های یادگیری ماشین برای کشف تقلب باید به طور مداوم و به صورت بلادرنگ تطبیق یافته و بروزرسانی شوند به این معنا که نیازمند جریان داده‌ای پیوسته برای یادگیری هستند. همچنین ذخیره سازی توزیع شده و میزان قابل توجه توان محاسباتی از الزامات استفاده از این حجم از داده جهت پیش‌بینی دقیق و بلادرنگ می‌باشد.

🔸 تعداد بالای تراکنش‌های پردازش شده توسط آمریکن اکسپرس به این معناست که افزایش کمی در کارایی می‌تواند بهبودهای بزرگی را در امنیت کلی ایجاد نماید.

🔹 علاوه بر کشف تقلب، کسب و کارهای ارائه دهنده خدمات مالی از هوش مصنوعی برای ایجاد ارزش افزوده برای مشتریان در راه تغییر در بهره‌گیری از خدمات خود استفاده می‌کنند. از جمله می‌توان از اپلیکیشن «دستیار سفر شخصی» مبتنی بر هوش مصنوعی آمریکن اکسپرس نام برد که در آن از هوش مصنوعی برای کمک به دارنده کارت با استفاده از توصیه‌های خرید شخصی‌سازی شده بر اساس عادات و سابقه خرید قبلی وی استفاده شده است.



🔺 برای خواندن این مطلب می‌توانید به لینک زیر مراجعه فرمایید:

🔗 https://b2n.ir/a95709

#نمونه_موردی
#عظیم_داده
#هوش_مصنوعی
#خدمات_مالی
#فاطمه_مظفری

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌 تحلیل‌گری عظیم داده
🔹 در این ویدئو به زبان ساده با مفهوم تحلیل‌گری عظیم داده آشنا می‌شویم.

🔸 همچنین شما می‌توانید این ویدئو را از لینک زیر تماشا نمایید.

🔗 https://b2n.ir/d47448

#ويدئو
#عظیم_داده
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

❇️مروری بر روند داده محور شدن DBS بانک سنگاپور

🔹همانطور که می‌دانیم Big Data بصورت بنیادین تمام صنایع و بخش­‌ها را دستخوش تغییراتی کرده و حوزه مالی نیز از این موضوع مستثناء نیست. با فراگیر شدن استفاده از موبایل و رشد حجم تراکنش­‌های دیجیتال، موسسات مالی شاهد رشد حجم داده­‌ها بوده که این امر می­‌تواند به ایشان در درک بهتر مشتریان و نیازهای آنها کمک شایانی نماید. در ادامه این مطلب خواهیم دید چگونه DBS بانک سنگاپور، یکی از پیشروترین بانک­‌های آسیایی، تبدیل به یک بانک داده­‌محور شد.

🔹بانک DBS پس از درک ضرورت بهره­‌گیری از پتانسیل بالای تحلیل عظیم داده­‌ها، از آنجاییکه بستر تکنولوژیک لازم برای این امر را نداشت، با مشارکت Cloudera و تشکیل یک تیم و هاب مرکزی، پلتفرمی چابک با قابلیت ذخیره و تحلیل میلیون‌ها تراکنش را ایجاد نمود. لذا این امکان را یافت تا به سوالات پیش از پرسیده شدن پاسخ دهد و در این راستا تجربه مشتری از خدمات را بهبود بخشید. بطور مثال از ماشین لرنینگ برای تحلیل احساسات مشتریان استفاده کرده به این صورت که تمام تعاملات مشتریان با مراکز تماس رکورد شده، پس از تبدیل به متن شدن توسط الگوریتم­‌های ML مورد تحلیل قرار می­‌گیرند. در نتیجه بسیاری از مشکلات برای بانک مشخص می‌شوند. به همین ترتیب اطلاعات رفتاری توسط الگوریتم­‌های ML در ترکیب با بیومتریک مورد تحلیل قرار گرفته و باعث بهبود فرآیند تشخیص هویت شده است که در نتیجه آن مشتری نیاز به فراهم آوردن مستندات یا استفاده از ابزارهای فیزیکی برای انجام تراکنش­‌ها ندارد.

🔹بطور کلی دو نوع تحلیل Predictive و Prenoscriptive در این بانک صورت می­‌گیرد. به عنوان نمونه از دسته تحلیل­‌های پیش‌بینی کننده می­‌توان به این مورد اشاره کرد که وقتی یکی از شعب بصورت موقت برای بازسازی تعطیل است، تیم با انجام تحلیل‌های دقیق پیش‌بینی می‌کند که ترافیک در کدام یک از شعب افزایش خواهد یافت، لذا با برنامه‌ریزی صحیح منابع از تداوم تجربه مطلوب مشتری از خدمات بانکی پشتیبانی می‌کند.

🔹در حوزه تحلیل‌های تجویزی بانک سعی دارد تا با اتخاذ استراتژی صحیح و مشارکت کارکنان، توصیه‌های مناسبی برای مشتریان داشته باشد. بعنوان نمونه یکی از پروژه‌های بانک به این صورت است که با استفاده از الگوریتم‌های ML زمان و پلن بیمه مناسب هر مشتری را به او توصیه کند. این پیشنهادات ثابت نبوده و با تغییر در شرایط زندگی افراد، تغییر می‌یابد.

🔹مدیر گروه تکنولوژی و عملیات DBS، آقای David Gledhill، توضیح می‌دهد که بهره‌گیری از تحلیل عظیم داده‌ها در این سازمان فراتر از حوزه مشتریان بوده و تحول سازمان به سمت یک کسب و کار داده‌محور، باعث پیشرفت عملیات در سراسر سازمان شده است. بعنوان نمونه بانک با پیش‌بینی جریان نقدینگی مشتریان و بار تراکنش‌های انجام شده روی ATM، به پیش‌بینی فواصل پر کردن وجوه نقد درون ATM ها می‌پردازد.

🔹در نهایت باید به این نکته اشاره کرد که DBS بانک به دنبال این بوده که توانایی تحلیل‌گری داده را منحصر به یک تیم نکرده و در کلیه افراد سازمان ایجاد کند. اگرچه در ابتدا مشکلاتی در این زمینه بوده اما به مرور با پیاده‌سازی موردهای کاربری کوچک در بخش‌های مختلف سازمان، شور و شوق زیادی نسبت به این موضوع در سازمان شکل گرفت که همراه با پیشرفت خدمات و کارایی عملیات، کاهش هزینه‌ها را برای سازمان در برداشت.

👈این مطلب را می‌توانید در لینک زیر نیز مطالعه فرمایید:

🔗 https://b2n.ir/r00791

#کسب_و_کار_داده_محور
#تحلیل_عظیم_داده
#DBSبانک
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

🌻 تابستان‌نامه

ماحصل بیستمین فصل از فعالیت‌های گروه تحلیلگری عظیم‌داده و کسب‌وکار، (تابستان 1401) در پست بعد قابل دریافت می‌باشد.

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

فایل بیستمین شماره فصلنامه گروه "تحلیلگری عظیم‌داده و کسب‌وکار"

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌معرفی ابزار Talend : ابزاری برای یکپارچه سازی داده


🖋این ابزار یک ابزار ETL برای یکپارچه سازی داده ها است. راه حل های نرم افزاری برای آماده سازی داده ها، کیفیت داده ها، یکپارچه سازی داده ها، یکپارچه سازی برنامه ها، مدیریت داده ها و داده های بزرگ ارائه می دهد. Talend برای همه این راه حل ها محصول جداگانه ای دارد. رویکرد منحصر به فرد Talend یکپارچه سازی داده ها را ساده می کند، نیازهای متخصصان داده و کاربران تجاری را با ابزارهای سلف سرویس و کیفیت داده که در هر مرحله تعبیه شده است، برآورده می کند.

یکپارچه سازی داده ها مزایای بسیاری را ارائه می دهد که در زیر توضیح داده شده است :
📍بهبود همکاری بین تیم های مختلف در سازمان که سعی در دسترسی به داده های سازمان دارند.
📍در زمان صرفه جویی می کند و تجزیه و تحلیل داده ها را آسان می کند، زیرا داده ها به طور مؤثر یکپارچه می شوند.
📍 فرآیند یکپارچه سازی خودکار داده ها، داده ها را همگام سازی می کند و گزارش های زمان واقعی و دوره ای را آسان می کند، که در غیر این صورت اگر به صورت دستی انجام شود زمان بر است.
📍 داده هایی که از چندین منبع ادغام شده اند با گذشت زمان بالغ می شوند و بهبود می یابند که در نهایت به کیفیت بهتر داده ها کمک می کند.

✅ متن کامل یادداشت را در لینک زیر بخوانید:
🔗https://b2n.ir/j31234

#معرفی_ابزار
#یکپارچه_سازی_داده
#فاطمه_مصلحی
#Talend

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚 فایل ترجمه خلاصه کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"

📌 ضمن تشکر بابت همراهی شما با کانال گروه تحلیلگری عظیم داده، فایل کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها" در قالب یک فایل جمع‌آوری شده است.

برای دریافت این فایل می‌توانید نسبت به تکمیل فرم زیر اقدام نمایید.

🔗 https://goo.gl/forms/4v4YGrI4x5RX5gnC3

لازم به ذکر است افرادی که برای فایلهای قبلی فرم را تکمیل کرده‌اند، نیازی به تکمیل فرم ندارند.

#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها



@BigData_BusinessAnalytics
www.bdbanalytics.ir

🔎کاربرد داده محوری در تصمیم گیری برای کسب و کار


💡مطالعه موردی: وبسایت Booking

♦️یک شرکت در دوراهی‌هایی که قرار می‌گیرد چگونه باید تصمیم گیری کند تا ریسک انتخاب خود را به حداقل برساند؟ در اینجا ما با هم به بررسی booking می‌پردازیم که چگونه با استفاده از داده تصمیمات خود را به بهترین نحو ممکن اخذ می‌کند و کسب و کار خود را نه بر اساس صرفا نظر مدیران بلکه با رفتار کاربر طراحی می‌کند

♦️اگر شما نیز به در کسب و کار خود برای تصمیم‌گیری و کاهش ریسک تصمیمات دچار تردید و ابهام هستید به شما پیشنهاد می‌کنم با ما همراه باشید...

🔗 https://b2n.ir/y64178

#محمدرضا_مرادی
#مورد_کاوی
#کسب_و_کار_داده_محور
#بوکینگ
#Booking
#بهینه_سازی


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌معرفی مقالات داغ حوزه عظیم داده­‌ها

❇️نام مقاله: تجزیه و تحلیل داده‌های عظیم برای سیستم­‌های تولید هوشمند

🖋نویسندگان مقاله:
Junliang Wang , Chuqiao Xu , Jie Zhang , Ray Zhong

📔ژورنال: Journal of Manufacturing Systems

🗓تاریخ انتشار: January 2022


🔹با توسعه اینترنت اشیا (IoT)، 5G و فناوری‌های رایانش ابری، میزان داده‌های سیستم‌های تولیدی به سرعت در حال افزایش است. با تولید داده‌های صنعتی عظیم، دستاوردهایی فراتر از انتظارات در طراحی، ساخت و نگهداری محصول حاصل شده است. در واقع در تولید هوشمند، استفاده از داده­‌های عظیم صنعتی نه‌تنها شرکت­‌ها را به درک دقیق تغییرات محیط داخلی و خارجی در سیستم ارتقا می­‌دهد، بلکه تجزیه و تحلیل علمی و تصمیم­‌گیری برای بهینه ‌سازی فرآیند تولید، کاهش هزینه­‌ها و بهبود کارایی عملیاتی را تسهیل می­‌کند.
می­‌توان گفت تجزیه و تحلیل داده­‌های عظیم (BDA) یک فناوری اصلی برای تقویت سیستم­‌های تولید هوشمند به حساب می­‌آید.

🔹به منظور گزارش کامل نقش BDA در بهینه­‌سازی سیستم‌های تولید هوشمند، این مقاله با استفاده از روش تحقیق مرور کتابخانه‌ای، به تجزیه و تحلیل مطالعات انجام شده از سال 2011 تا 2020 در رابطه با تولید هوشمند مبتنی بر داده­‌های عظیم، از پایگاه داده Web of Science می­‌پردازد.

🔹در این مرور جامع موضوعات مرتبط مانند مفهوم داده‌های عظیم، روش‌های مبتنی بر مدل و داده‌محور، چارچوب تولید هوشمند مبتنی بر داده­‌های عظیم، روش­‌های توسعه، انواع فناوری‌های کلیدی پردازش(محاسبات توزیعی، محاسبات لبه- ابر، پردازش دسته­‌ای، پردازش جریان، پردازش ترکیبی دسته‌ای و جریان) مورد بحث و بررسی قرار می­‌گیرند.

🔹🔹همچنین یکی از نکات قوت این مقاله بررسی کاربردهای BDA برای هر یک از فازهای مطرح در سیستم‌های تولید هوشمند اعم از طراحی محصول، برنامه­‌ریزی و زمان­بندی، مدیریت کیفیت و مدیریت سلامت فرآیندها و کشف ناهنجاری­‌های احتمالی در آنها است که می‌تواند راهنمای خوبی برای نحوه پیاده‌سازی تحلیل­‌گری عظیم داده‌ها در سیستم‌های تولید باشد.

🔹در پایان نیز این مقاله به بررسی چالش‌ها و فرصت‌ها برای تحقیقات آینده در این خصوص پرداخته که از طریق این کار ایده‌های جدیدی برای تحقق BDA برای سیستم‌های تولید هوشمند ارائه می شود.

👈درصورت تمایل، می‌توانید مقاله مذکور را در پست بعد دريافت و مطالعه نماييد.



#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

‍ ‍ 📚 معرفی کتاب

📌 پردازش زبان طبیعی با Spark NLP
"Natural Language Processing with Spark NLP: Learning to Understand Text at Scale”


📌 نویسنده: Alex Thomas
📌 این کتاب در سال 2020 و توسط انتشارات O'Reilly منتشر شده است.

📍این کتاب درباره به کارگیری Spark NLP برای ایجاد اپلیکیشن‌های پردازش زبان طبیعی (NLP) می‌باشد. Spark NLP یک کتابخانه NLP است که بر روی آپاچی اسپارک ساخته شده است. در این کتاب چگونگی به کارگیری Spark NLP و همچنین مبانی پردازش زبان طبیعی پوشش داده می‌شود. با مطالعه این کتاب یک ابزار نرم افزاری جدید برای کار با زبان طبیعی و Spark NLP را در اختیار خواهید داشت و همچنین با مجموعه‌ای از تکنیک‌ها و چگونگی کارکرد آنها در این حوزه آشنا می‌شوید.

📍در بخش اول کتاب فناوری‌ها و تکنیک‌هاي مورد نیاز جهت به کارگیری در Spark NLP نظیر مبانی زبان طبیعی، NLP بر روی آپاچی اسپارک و مبانی یادگیری عمیق معرفی شده‌اند. سپس در بخش دوم در مورد بلوک‌های سازنده NLP از جمله پردازش کلمات، بازیابی اطلاعات، دسته بندی و رگرسیون، مدلسازی توالی با Keras، استخراج اطلاعات، تاپیک مدلینگ و word embeddings بحث شده است. در نهایت در بخش سوم و چهارم کتاب به اپلیکیشن‌ها و سیستم‌های پردازش زبان طبیعی پرداخته شده است که شامل تحلیل احساسات و تشخیص احساس، ایجاد پایگاه‌های دانشی، موتور جستجو، چت بات، بازشناسی ویژگی آبجکت، پشتیبانی از چندین زبان، برچسب زدن توسط انسان، و تولید اپلیکیشن‌های NLP می‌باشد.

📍کار بر روی یک اپلیکیشنی که نیازمند پردازش زبان طبیعی است، توأم با سه رویکرد توسعه دهنده نرم افزار، زبان شناس، و دانشمند داده می‌باشد. رویکرد توسعه نرم افزار بر آنچه که اپلیکیشن باید انجام دهد تمرکز دارد و مبتنی بر محصولی است که می‌خواهیم ایجاد نماییم. رویکرد زبان شناسی بر آنچه که می‌خواهیم از داده‌ها استخراج کنیم متمرکز است و در نهایت رویکرد دانشمند داده بر چگونگی استخراج اطلاعات مورد نیاز ار داده‌ها تمرکز دارد.

📍در این کتاب علاوه بر Spark NLP، آپاچی اسپارک، و تنسورفلو، از سایر ابزار نظیر پایتون، آناکوندا، ژوپیتر نوت‌بوک و داکر نیز استفاده شده است و در هر بخش کدهای مربوطه ارائه شده است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#پردازش_زبان_طبیعی
#اسپارک
#Spark_NLP
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌 تحلیل‌گر عظیم‌داده

با توجه به دغدغه برخی از دانشجویان و دانش‌آموختگان دانشگاهی جهت ورود به بازار کار حوزه عظیم داده و رسیدن به تخصص بیشتر جهت تبدیل شدن به یک تحلیل گر عظیم‌داده توصیه می‌شود تا برای قرار گرفتن در مسیر شغلی مذکور فرآیند زیر را دنبال نمایند.

1. شرکت در دوره‌های آموزشی مرتبط با حوزه تحلیل‌گری عظیم‌داده با هدف دستیابی به درک کامل از موضوعات
2. مطالعه کتاب‌های مرجع مانند کتاب‌های تخصصی انتشارات‌ O'reilly و Packt
3. نصب و راه‌اندازی پلتفرم‌های مطرح عظیم‌داده مانند آپاچی هدوپ
4. آشنایی با پایگاه داده‌های Nosql
5. انتخاب زبان برنامه نویسی مناسب مانند پایتون، جاوا، اسکالا که از پرکاربردترین زبان‌های برنامه‌نویسی در حوزه عظیم‌داده هستند.

🔹 در این ویدئو به زبان ساده با شغل تحلیل‌گر عظیم‌داده آشنا می‌شویم.


#ويدئو
#عظیم_داده
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌مروری بر نحوه استفاده کمپانی H&M از عظیم داده‌ها در جهت بهبود کسب و کار

🖋یکی از حوزه­‌هایی که هوش مصنوعی تاثیر شگرفی بر روند کار آن داشته، حوزه خرده فروشان مد و پوشاک است. فعالان این بازار بطور فزاینده‌ای به هوش مصنوعی روی آورده‌اند تا بتوانند در برآورده‌سازی خواسته‌های مشتریان خود موفق عمل کرده و همچنان در عصر دیجیتال رقابتی باقی مانند.
در همین راستا نگاهی خواهیم داشت به عملکرد یکی از محبوب‌ترین برندهای این حوزه، گروه H&M، و خواهیم دید این کمپانی سوئدی چگونه از عظیم داده‌ها و هوش مصنوعی جهت ارائه خدمات به مشتریان خود استفاده می‌کند.

✳️هدف H&M از بهره‌گیری از عظیم داده‌ها، تحلیل دقیق خواسته‌های مشتریان است تا آنجا که بجای ذخیره‌سازی فروشگاه‌های سراسر دنیا با کالاهای مشابه، با استفاده از بینش حاصل از تحلیل عظیم داده‌ها، به سفارشی‌سازی محلی آنچه در فروشگاه‌ها می‌فروشد بپردازد.

✅در این کمپانی بیش از 200 دانشمند داده برای درک الگوها و روند خرید مشتریان مشغول به کار هستند. این تیم الگوریتم‌هایی برای تجزیه و تحلیل رسیدهای فروشگاهی و داده‌های کارتهای وفاداری ایجاد کرده‌اند تا خواسته‌های مشتریان را بهتر درک کنند. علاوه بر این، برای جمع‌آوری داده‌های بیشتر از پست‌های وبلاگها و نیز جستجوهای انجام شده در موتورهای جستجو استفاده می‌شود.

✳️به عنوان مثال، در یکی از فروشگاه‌های H&M در استکهلم وقتی از الگوریتم‌های هوش مصنوعی برای مطالعه ترجیحات مشتریان استفاده شد، نتایج نشان داده که خریداران کالا از این فروشگاه بیشتر خانم بوده و بیشتر خریدها متمرکز بر مد مثل دامن‌های گلدار بوده است. همچنین نتایج نشان داد در این فروشگاه خرید کالاهایی با قیمت بالا ترجیح داده می‌شود. لذا اکنون در این فروشگاه کیف‌های چرمی 118 دلاری و ژاکت‌های کشمیر 107 دلاری در کنار تی‌شرت‌های معمولی 6 دلاری به فروش می‌رسد. از دیگر نتایج تحلیل این بود که این فروشگاه به مجموعه خود یک کافی شاپ اضافه کرد و فروش گل را نیز در سبد خدمات خود قرار داد چراکه خروجی تحلیل‌ها حاکی از این بود که مشتریان در طول تجربه خرید خود به این خدمات تمایل دارند.
✅در واقع H&M بجای تصمیم‌گیری مبتنی بر شهود مدیران، رو به استفاده از الگوریتم‌هایی آورد که بطور مداوم با رفتار و انتظارات مشتریان تنظیم می‌شوند. H&M معتقد است استفاده از عظیم داده‌ها به آنها قدرتی می‌دهد تا دقیق‌تر و مرتبط‌تر به مشتریان خود به ارائه سرویس بپردازند.
✳️راهکارهایی که به لطف الگوریتم‌ها و هوش مصنوعی در H&M بکار گرفته می شوند عبارتند از:
⏺پیش بینی تقاضای بازار: خرده‌فروشان حوزه مد و پوشاک مانند H&M به محصولات تازه با قیمت‌های رقابتی متکی هستند. بینش حاصل از تحلیل داده‌ها به H&M کمک می‌کند تا آنچه را که بازار می‌خواهد پیش‌بینی کند و مجبور نباشد موجودی خود را برای فروش به تخفیف گذارد.
⏺نگهداری اقلام محبوب: بوسیله الگوریتم‌ها و تحلیل روند خریدهای هر فروشگاه، H&M می‌داند که کدام اقلام را در کجا و به چه صورت تبلیغ کند و به فروش رساند.
⏺انبارهای خودکار: گروه H&M روی انبارهای خودکار و تحویل سریع، که در اکثر بازارهای اروپایی یک روزه است، سرمایه گذاری کرده و این امر منحصر به مشتریان وفادار بوده که تحلیل و شناسایی آنها توسط الگوریتم‌ها انجام می‌شود.

👈حال نگاهی خواهیم داشت به زیرساخت فنی پشتیبان این تحلیل‌ها.
✅همانطور که گفته شد اتکاء اصلی H&M بر داده‌ها بعنوان هسته مرکزی کار بوده و از طرفی باز شدن سریع فروشگاه‌ها در سطح جهان، نیاز به بهبود زنجیره تامین را افزایش می‌دهد.
❇️در این شرایط سیستم Hadoop داخلی H&M ناتوان از تجزیه و تحلیل داده‌های تولید شده توسط میلیون‌ها مشتری بوده، لذا این شرکت به سمت‌ پلتفرم Databricks مهاجرت کرده است.
❇️این پلتفرم با ایجاد محیطی مقیاس پذیر و مشارکتی به مهندسان و دانشمندان داده اجازه می‌دهد تا مدل‌ها را به سرعت با هدف تسریع زنجیره تامین آموزش داده و عملیاتی کنند.
❇️یکپارچگی پلتفرم Databricks با Azure و سایر تکنولوژی‌ها مانند Apache Airflow و Kubernetes اجازه می‌دهد تا مدل‌ها در مقیاس عظیم آموزش ببینند.

👈بطور کلی در H&M حتی 0.1 درصد بهبود در دقت مدل، تاثیر شگرفی بر کسب و کار دارد. این کمپانی با بکارگیری Databricks داده‌ها را برای تصمیم گیرندگان قابل دسترس‌تر کرده و این امر باعث رشد سریع کسب و کار می‌شود.

👈 در مجموع Databricks با بهبود کارایی عملیاتی، بهبود تعاملات و همکاری‌های بین‌تیمی و تاثیرات شگرف بر کسب‌و‌کار با استفاده از بینش حاصل از تحلیل داده‌ها، باعث هوشمندسازی تصمیم‌گیری و نیز صرفه‌جویی چشم‌گیر 70 درصدی در هزینه‌های H&M شده است.


#نمونه_موردی
#عظیم_داده
#اچاندام
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BisinessAnalytics

📌📌معرفی ابزار HPCC: یک پلتفرم قدرتمند و منبع باز تجزیه و تحلیل عظیم داده

✅ پلتفرم HPCC (High-Performance Computing Cluster) یک پلتفرم سیستم محاسباتی منبع باز است که توسط LexisNexis Risk Solutions توسعه یافته است. پلت فرم HPCC که با نام DAS (Data Analytics Super Computer) نیز شناخته می شود، دارای یک معماری نرم افزاری است که بر روی خوشه های محاسباتی پیاده سازی شده است تا پردازش موازی داده با کارایی بالا را برای برنامه های کاربردی با استفاده از داده های بزرگ ارائه دهد. پلتفرم HPCC شامل پیکربندی‌های سیستمی برای پشتیبانی از پردازش داده‌های دسته‌ای موازی (Thor) و برنامه‌های درخواست آنلاین با کارایی بالا با استفاده از فایل‌های داده فهرست‌شده (Roxie) است. پلتفرم HPCC همچنین شامل یک زبان برنامه نویسی اعلامی داده محور برای پردازش داده های موازی به نام (ECL) Enterprise Control Language است.
انتشار عمومی HPCC در سال 2011 پس از ده سال توسعه داخلی (طبق گفته LexisNexis) اعلام شد. این پلتفرم یک جایگزین برای Hadoop و دیگر پلتفرم‌های Big Data است.
✅ پلتفرمHPCC هر دو نسخه Community و Enterprise Edition را ارائه می‌دهد. نسخه Community برای دانلود رایگان است، شامل کد منبع است و تحت مجوز آپاچی 2.0 منتشر شده است. نسخه Enterprise تحت مجوز تجاری در دسترس است و شامل آموزش، پشتیبانی، غرامت و ماژول های اضافی است.
دو خوشه یکپارچه، یک زبان برنامه نویسی اعلامی، و یک پلت فرم خدمات وب مبتنی بر استانداردها، اساس این راه حل کلان داده جامع و بسیار مقیاس پذیر را تشکیل می دهند.
✅ ویژگی های کلیدی:
🔹 عملکرد سریع
🔹 استقرار و استفاده آسان
🔹 مقیاس از داده های کوچک تا بزرگ
🔹 داشتن API غنی برای آماده سازی داده ها، یکپارچه سازی، بررسی کیفیت، بررسی تکراری و غیره.
🔹 الگوریتم های یادگیری ماشینی موازی برای داده های توزیع شده
🔹 جستجو و جستجوی بلادرنگ با پشتیبانی از SQL، JSON، SOAP و XML
🔹 پشتیبانی رایگان از طریق مستندات دقیق، آموزش های ویدئویی، انجمن ها و تماس مستقیم.
✅ معماری سیستم HPCC
معماری سیستم HPCC شامل دو محیط پردازش خوشه‌ای متمایز Thor و Roxie است که هر یک می‌توانند به طور مستقل برای هدف پردازش داده‌های موازی خود بهینه شوند.
✅اولین مورد از این پلتفرم ها Thor نام دارد، یک پالایشگاه داده که هدف کلی آن پردازش کلی حجم عظیمی از داده های خام از هر نوع برای هر منظوری است، اما معمولاً برای پاکسازی و بهداشت داده ها، پردازش ETL (استخراج، تبدیل، بارگذاری) استفاده می شود. داده‌های خام، پیوند رکورد و تفکیک موجودیت، تجزیه و تحلیل پیچیده ad hoc در مقیاس بزرگ، و ایجاد داده‌ها و فهرست‌های کلیدی برای پشتیبانی از پرس و جوهای ساختاریافته و برنامه‌های انبار داده با کارایی بالا. نام پالایشگاه داده Thor اشاره ای به خدای اسطوره ای اسکاندیناوی تندر با چکش بزرگ نماد خرد کردن مقادیر زیادی داده خام به اطلاعات مفید است. خوشه Thor از نظر عملکرد، محیط اجرا، سیستم فایل و قابلیت‌هایش مشابه پلتفرم‌های Google وHadoop MapReduce است.
خوشه پردازش فیزیکی Thor است که به عنوان یک موتور اجرای کار دسته ای برای برنامه های محاسباتی فشرده داده مقیاس پذیر عمل می کند. علاوه بر گره‌های اصلی Thor و Slave، اجزای کمکی و مشترک اضافی برای پیاده‌سازی یک محیط پردازش کامل HPCC مورد نیاز است.
✅دومین پلت فرم پردازش داده موازی Roxie نام دارد و به عنوان یک موتور تحویل سریع داده عمل می کند. این پلتفرم به عنوان یک پلتفرم پرس و جو و تجزیه و تحلیل ساختاریافته آنلاین با کارایی بالا یا انبار داده طراحی شده است که نیازمندی های پردازش دسترسی موازی به داده های برنامه های کاربردی آنلاین را از طریق رابط های خدمات وب ارائه می کند که از هزاران پرس و جو و کاربر همزمان با زمان پاسخ دهی زیر ثانیه پشتیبانی می‌کند. Roxie از یک سیستم فایل نمایه شده توزیع شده برای ارائه پردازش موازی پرس و جوها با استفاده از یک محیط اجرای بهینه و سیستم فایل برای پردازش آنلاین با کارایی بالا استفاده می کند. یک خوشه Roxie از نظر عملکرد و قابلیت‌هایش شبیه به ElasticSearch و Hadoop با قابلیت‌های HBase و Hive اضافه شده است و تأخیرهای جستجوی قابل پیش‌بینی تقریباً زمان واقعی را فراهم می‌کند. هر دو خوشه Thor و Roxie از زبان برنامه نویسی ECL برای پیاده سازی برنامه ها، افزایش تداوم و بهره وری برنامه نویس استفاده می کنند.
یک خوشه پردازش فیزیکی Roxie است که به عنوان یک موتور اجرای پرس و جو آنلاین برای برنامه های کاربردی پرس و جو و انبار داده با کارایی بالا عمل می کند. یک خوشه Roxie شامل چندین گره با فرآیندهای master و slave برای پردازش پرس و جوها است.

یک جزء کمکی اضافی به نام سرور ESP که رابط هایی را برای دسترسی مشتری خارجی به خوشه فراهم می‌کند. و اجزای مشترک اضافی که با یک خوشه Thor در یک محیط HPCC مشترک هستند. اگرچه یک خوشه پردازشی Thor را می توان بدون خوشه Roxie پیاده سازی و استفاده کرد، یک محیط HPCC که شامل یک خوشه Roxie است نیز باید شامل یک خوشه Thor باشد. خوشه Thor برای ساخت فایل های فهرست توزیع شده مورد استفاده توسط خوشه Roxie و توسعه پرس و جوهای آنلاین که با فایل های فهرست در خوشه Roxie مستقر خواهند شد استفاده می شود.

مشخصات پلتفرم:
🔹موتور ETL (Thor)
با استفاده از یک زبان برنامه نویسی قدرتمند (ECL) که به طور خاص برای کار با داده ها توسعه یافته است، داده ها ورودی را تبدیل و بارگذاری می کند.
🔹موتور جستجو (ROXIE)
یک موتور جستجوی مبتنی بر شاخص برای انجام پرس و جوهای بلادرنگ. SOAP، XML، REST و SQL همگی اینترفیس های پشتیبانی شده هستند.
🔹 ابزارهای مدیریت داده
پروفایل سازی داده ها، پاکسازی داده‌ها، به روز رسانی‌ها، زمان بندی کار و اتوماسیون برخی از ویژگی‌های کلیدی هستند.
🔹 ابزارهای مدل سازی پیش بینی کننده
مدل سازی پیش بینی برای انجام رگرسیون خطی، رگرسیون لجستیک، درختان تصمیم، و جنگل های تصادفی.
#معرفی_ابزار
#ابزار_HPCC
#تحلیلگری_عظیم_داده
#فاطمه_مصلحی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚 معرفی کتاب

📌 داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور

"Big Data for Big Decisions: Building a Data-Driven Organization”


📌 نویسنده: Krishna Pera
📌 این کتاب در سال 2023 و توسط CRC Press انتشار یافته است.

📍ایجاد یک سازمان داده محور (data-driven organization)، ابتکاری در سطح سازمانی است که می‌تواند منابع را برای مدت طولانی مصرف نماید. بنابراین هر سازمانی که به دنبال چنین ابتکاری است، بر اساس نقشه راه و مورد کسب و کاری که باید قبل از تصویب تهیه و ارزیابی شود، اصرار دارد. این کتاب یک متدولوژی گام به گام به منظور ایجاد نقشه راه و مورد کسب و کاری ارائه می‌دهد و روایتی از محدودیت‌ها و تجربیات مدیرانی است که برای راه اندازی سازمان‌های داده محور تلاش کرده‌اند. در این کتاب تأکید بر تصمیمات بزرگ است یعنی تصمیمات کلیدی که بر 90 درصد نتایج کسب و کار تأثیر می‌گذارند. این تصمیمات از ابتدا تصمیم‌گیری و مهندسی مجدد داده‌ها تا فرآیند-زنجیره تصمیم‌گیری و حاکمیت داده‌ها، به طوری که اطمینان حاصل شود که داده‌های درست همواره در زمان مناسب در دسترس هستند.

📍سرمایه گذاری در هوش مصنوعی و تصمیم گیری داده محور در حال حاضر به عنوان یک ضرورت بقا برای سازمان‌ها در نظر گرفته می‌شود تا بتوانند رقابتی باقی بمانند. در حالی که هر شرکتی آرزو دارد 100% داده محور شود و هر مدیر ارشد اطلاعات (CIO) بودجه ای دارد، گارتنر تخمین می زند که بیش از 80٪ از تمام پروژه های تحلیل‌گری در ارائه ارزش مورد نظر ناکام هستند. در این راستا این کتاب متدولوژی برای اطمینان از موفقیت در استخراج ارزش مورد نظر از سرمایه گذاری در تحلیل‌گری ارائه می‌دهد و راهنمایی برای ایجاد یک نقشه راه تحول گام به گام است که داده‌های عظیم را برای تصمیم‌های بزرگ، 10 درصد تصمیم‌هایی که بر 90 درصد نتایج کسب‌وکار تأثیر می‌گذارند، اولویت‌بندی می‌کند، و همچنین بهبودهای اساسی در کیفیت تصمیم‌ها و ارزش قابل اندازه گیری از سرمایه گذاری‌های تحلیلگری ارائه می‌نماید.

📍علاوه بر این، به برخی از موضوعات مهم که تاکنون در چارچوب سازمان داده محور پرداخته نشده است، مانند «اولویت‌بندی تصمیم‌گیری»، مفهوم «شناخته‌ها و ناشناخته‌ها» و ... در این کتاب پرداخته می‌شود. ارائه نقشه راه برای تحلیل‌گری، استراتژی فناوری اطلاعات داده محور، ایجاد استراتژی داده، ایجاد استراتژی بازاریابی داده محور و حکمرانی داده یکپارچه از دیگر موضوعات مورد بررسی در این کتاب است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#سازمان_داده_محور
#تصمیم‌گیری
#عظیم_داده

#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله: تجزیه و تحلیل احساسات چندوجهی: بررسی سیستماتیک تاریخچه، دیتاست­‌ها، روش‌های همجوشی چندوجهی، کاربردها، چالش­‌ها و جهت گیری­‌های آینده

🗓سال انتشار: 2022

📔ژورنال: Information Fusion

🖋نویسندگان:
Ankita Gandhi, Kinjal Adhvaryu, Soujanya Poria, Erik Cambria, Amir Hussain

🔹تحلیل احساسات (SA) در زمینه هوش مصنوعی (AI) و پردازش زبان طبیعی (NLP) جذابیت زیادی به دست آورده است. در همین راستا تقاضای فزاینده­‌ای برای تجزیه و تحلیل خودکار احساسات کاربر نسبت به محصولات یا خدمات وجود دارد. نظرات افراد نیز به طور گسترده­‌ای به صورت آنلاین در قالب ویدئو به جای/ در کنار متن به اشتراک گذاشته می­‌شوند.

🔹این مساله باعث شده است که SA با استفاده از بکارگیری وجوه متعدد، که آنالیز احساسات چندوجهی (MSA) نامیده می‌شود، به یک حوزه تحقیقاتی مهم تبدیل شود. در واقع تجزیه و تحلیل احساسات چندوجهی (MSA) افکار، احساسات و عواطف افراد را از مشاهدات رفتارهای آنها استخراج می­‌کند و در اینجا سرنخ­‌های رفتاری می­‌تواند به صورت نوشته­‌های مستند، حالات چهره، گفتار، علائم فیزیولوژیکی و حرکات بدنی باشد.

🔹در تحلیل احساسات چندوجهی، روش‌های مختلفی برای یافتن حالات عاطفی از تعاملات استفاده می‌شود. متداول­‌ترین وجوه استفاده شده عبارتند از: متن، صوت و تصویر. هر یک از این وجوه به پیش­‌بینی بهتر احساسات کمک می­‌کند و ادبیات موضوع در این حوزه تاکید دارد که سیستم دو وجهی و سه وجهی نتیجه را در مقایسه با سیستم تک وجهی بهبود می­‌بخشد. در واقع هر وجه سهم مهمی در بهبود دقت دارد.

🔹تحلیل احساسات چندوجهی از آخرین پیشرفت­‌های یادگیری ماشین و یادگیری عمیق در مراحل مختلف از جمله برای استخراج ویژگی چندوجهی و همجوشی و تشخیص قطبیت احساسات، با هدف به حداقل رساندن میزان خطا و بهبود عملکرد استفاده می­‌کند .

🔹در این مقاله 10 دیتاست برتر ، که در زمینه MSA می­‌توان بکارگرفت ، همراه با مشخصات آنها معرفی شده است. همچنین در ادامه، مقاله به بررسی طبقه‌بندی اولیه و معماری‌های همجوشی چندوجهی تازه منتشر شده می‌پردازد.

🔹ادغام وجوه مختلف در مرکز تحلیل احساسات با استفاده از روش­‌های متعدد صورت می­‌گیرد. فیوژن یا همجوشی چندوجهی فرآیند فیلتر کردن، استخراج و ترکیب ویژگی­‌های مورد نیاز از داده­‌های دریافتی از منابع مختلف است. سپس این داده­‌ها به منظور استخراج نظرات و ارزیابی نگرش­‌های بیشتر تجزیه و تحلیل می­‌شوند.

🔹پیشرفت‌های اخیر در معماری‌های MSA به ده دسته تقسیم می‌شوند که عبارتند از همجوشی اولیه، همجوشی دیررس، همجوشی هیبریدی، همجوشی سطح مدل، همجوشی تانسوری، همجوشی سلسله مراتبی، همجوشی دو وجهی، همجوشی مبتنی بر توجه، همجوشی کوانتومی و همجوشی سطح کلمه. مقاله ضمن تشریح هریک از دسته­‌های مذکور، به بررسی چندین تحول معماری از نظر مقوله­‌های همجوشی MSA و نقاط قوت و محدودیت­‌های نسبی آنها می­‌پردازد.

🔹 در نهایت، نویسندگان به ارائه تعدادی از کاربردهای بین رشته­‌ای اعم از : شناسایی اقدامات چندوجهی و کشف تقلب، پیش‌بینی بازار برای سیستم معاملاتی، تحلیل احساسات در زمینه گردشگری، تحلیل احساسات پست­‌های اینستاگرام، تحلیل احساسات در توئیتر، تعاملات انسان و کامپیوتر، سیستم بهداشت و سلامت، سیستم آموزش، سیستم­‌های توصیه­‌گر و احساسات نسبت به هر موضوع جاری، می­‌پردازند.

🔹 در خاتمه نیز به بررسی چالش­‌های پیشروی MSA و نیز جهت­‌گیری­‌های تحقیقاتی آینده در این زمینه پرداخته­‌اند

👈درصورت تمایل می‌توانید فایل مقاله را👇👇👇 دانلود فرمایید.

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics