📍 تا به اینجا در مورد تاثیر داده در پیشرفت نتفلیکس صحبت کردیم، با این حال اگرچه داده‌ها هسته اصلی دستیابی به این موفقیت فوق‌العاده بوده است، اما عوامل دیگری نیز برای رشد نتفلیکس حیاتی هستند، مانند تخصص صنعت که به پیش‌بینی آنچه مصرف‌کنندگان می‌خواهند تماشا کنند، برای ثبت رفتار مصرف‌کننده ارگانیک حیاتی بوده است. بعلاوه، فرهنگ سازمان برای حمایت از تجزیه و تحلیل داده در همه سطوح و القای روشی در سطح شرکت برای سنجش، آزمایش و ارزیابی شواهد کمی، که مستلزم تعهد تزلزل ناپذیر مدیریت ارشد است

♦️ به عنوان سخن پایانی، نتفلیکس ثابت می‌کند که یک برند می‌تواند از طریق تجزیه و تحلیل منظم و بهینه سازی به راحتی با مشتریان ارتباط برقرار کند. به بیان ساده، استراتژی تبلیغاتی نتفلیکس مملو از چابکی، جمع آوری داده‌ها، تمرکز بر کاربر، شخصی سازی و فداکاری است. برندهای بزرگ و کوچک می‌توانند از چنین استراتژی پیروی کنند و در سهم ذهنی مخاطب از برند و ارزش بازار خود را افزایش دهند.

#محمدرضا_مرادی
#نتفلیکس
#کسب_و_کار_داده_محور



@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌 معرفی ابزار: Apache Impala

🖌آپاچی ایمپالا (Apache Impala) یک پایگاه داده تحلیلی منبع باز و طراحی شده برای آپاچی هدوپ (Apache Hadoop) است.
✳️ ایمپالا با حفظ تجربه کاربری، عملکرد کوئری SQL را در آپاچی هدوپ بالا می‌برد. با استفاده از این ابزار می‌توانید کوئری‌های مختلف، از جمله SELECT، JOIN و توابع تجمیعی را به صورت بلادرنگ بر روی داده‌هایی که در HDFS یا Apache HBase ذخیره شده‌اند اجرا نمایید. علاوه بر این، ایمپالا با به کارگیری متادیتا، سینتکس SQL (Hive SQL)، درایور ODBC، و واسط کاربری (Hue Beeswax) مشابه آپاچی هایو، یک پلتفرم یکپارچه و آشنا برای کوئری‌های دسته‌ای و بلادرنگ را فراهم می‌نماید. به همین دلیل، کاربران آپاچی هایو می‌توانند به راحتی از ایمپالا استفاده نمایند.
♦️ معماری
برای جلوگیری از تأخیر، ایمپالا، MapReduce را دور می‌زند تا مستقیماً به داده‌ها از طریق یک موتور جستجوی توزیع شده تخصصی دسترسی پیدا کند که بسیار شبیه به موتورهایی است که در RDBMS های موازی تجاری یافت می‌شود. نتیجه، بسته به نوع کوئری و پیکربندی، عملکرد سریعتر نسبت به هایو است.
مزایای زیادی برای این رویکرد نسبت به روش‌های جایگزین برای کوئری بر روی داده‌های هدوپ وجود دارد، از جمله:
🔸به لطف پردازش محلی روی گره‌های داده، از گلوگاه‌های شبکه جلوگیری می‌شود.
🔹می‌توان از یک متادیتای واحد، باز و یکپارچه استفاده کرد.
🔸 تبدیل‌های پرهزینه در فرمت داده غیرضروری است و در نتیجه هزینه چندانی تحمیل نمی‌شود.
🔹به سرعت و بدون تاخیر بابت ETL، می‌توان بر روی تمام داده‌ها کوئری زد.
🔸تمام سخت افزار برای درخواست‌های ایمپالا و همچنین برای MapReduce استفاده می‌شود.
🔹برای افزایش مقیاس فقط به یک ماشین نیاز است.
به طور خلاصه ویژگی‌های ایمپالا عبارتند از:
📍کوئری‌های با سبک هوش کسب و کار بر روی هدوپ: ایمپالا کوئری‌های با تأخیر پایین و همزمان برای هدف هوش کسب و کار و تحلیلگری را بر روی هدوپ میسر می‌سازد (که توسط چارچوب‌های دسته‌ای مانند آپاچی هایو ارائه می‌شود). ایمپالا همچنین به صورت خطی مقیاس پذیر است، حتی در محیط‌های multi-tenant.
📍یکپارچه ساختن زیرساخت: به کارگیری فایل، فرمت داده، متادیتا، چارچوب‌های امنیت و مدیریت منابع مشابه با استقرار هدوپ که عدم نیاز به افزونگی در زیرساخت یا تبدیل داده و داده‌های تکراری را امکان‌پذیر می‌نماید.
📍پیاده‌سازی سریع: برای کاربران آپاچی هایو، ایمپالا همان متادیتا و درایور ODBC را مورد استفاده قرار می‌دهد. مشابه هایو، ایمپالا از SQL پشتیبانی می‌نماید بنابراین سرعت بالای پیاده‌سازی را به همراه خواهد داشت.
📍امنیت در کلاس سازمانی: ایمپالا با امنیت طراحی شده برای هدوپ و پروتکل‌های امنیتی آن یکپارچه شده است و با استفاده از ماژول Sentry می‌توان از تعریف دسترسی کاربران و اپلیکیشن‌ها به داده‌ها اطمینان حاصل نمود.
📍گسترش محدوده کاربری هدوپ: با استفاده از ایمپالا، کاربران بیشتری برای به کارگیری کوئری‌های SQL و یا اپلیکیشن‌های هوش کسب و کار، می‌توانند با داده‌های بیشتری از طریق مخزن داده و متادیتای واحد جهت تحلیل بهره مند شوند.


#معرفی_ابزار
#آپاچی_ایمپالا
#هدوپ
#Apache_Impala
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"

✳️ بخش سوم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور" به ارزش تحلیل عظیم داده برای مفاهیم شناخته شده و ناشناخته در سازمان می‌پردازد. برای بررسی این موضوع از مفهوم پنجره جوهری که یکی از الگوهای بسیار جالب و مورد توجه در تصویر کردن سطوح آگاهی در رفتار انسانی می‌باشد؛ استفاده می‌شود. سازمان‌هایی که به دنبال استفاده از عظیم داده برای تحلیل فرآیندهای کسب و کار و مشتریان می‌باشند با به کارگیری این مفهوم در دو بعد مشتریان و سایر ذینفعان می‌توانند استفاده بهتری از تحلیل داده‌ها داشته باشند.

🔹به طور مثال اگر دانسته‌های انسان را به دو دسته شناخته شده و ناشناخته تقسیم کنیم و همچین علم به اینکه آن موضوع را می دانیم یا خیر می‌توانیم یک ماتریس دو بعدی از این تلاقی تشکیل دهیم که شامل چهار گروه است:
1️⃣ گروه اول: نسبت به آنچه که می دانیم آگاه نیستیم.
2️⃣ گروه دوم: نسبت به آنچه نمی دانیم آگاه نیسیتم.
3️⃣ گروه سوم:نسبت به آنچه می دانیم آگاه هستیم.
4️⃣ گروه چهارم: نسبت به آنچه نمی دانیم آگاه هستیم.
تحلیل عظیم داده به نحوی می تواند در شناسایی هر یک از این چهار گروه به سازمان کمک کند.

🔸هر سازمان وابسته به اینکه چه تصمیمی در حال حاضر می‌گیرد و یا در آینده قصد دارد به آن سمت و سو برود و همچنین دسترسی و عدم دسترسی به داده می‌تواند کاربردهای عظیم داده را در چهار گروه قرار دهد که در صورت وجود داده شامل تحلیل عظیم داده برای شناسایی الگوها، تحلیل روندها و تحلیل آماری برای تصمیماتی است که در حال حاضر در دستور کار قرار ندارد. این کاربردها همچنین شامل تمرکز بر روی 10 درصد از تصمیماتی که 90 درصد تاثیر و نتایج را به دنبال دارند، مکانیزه کردن تمامی تصمیماتی که مبتنی بر قوانین می‌باشند و تصمیمات تجویزی در نقاط حیاتی برای تصمیمات کنونی که سازمان اتخاذ می‌کند، می‌باشد.


🔹همانطور که پیشتر ذکر شد یکی از الگوهای بسیار جالب و مورد توجه در تصویر کردن سطوح آگاهی در رفتار انسانی پنجره ی جوهری است. این مدل پیوند فرد با اشخاص دیگر را در چهار خانه نشان می‌دهد که این چهار خانه هریک خانه‌ای از یک پنجره ی بزرگ است. هر خانه نشان دهنده ی آگاهی - به‌وسیله ی خود فرد یا به‌وسیله ی دیگران - از رفتار، احساسات و انگیزه‌های خود است.همین مفهوم را در مورد تحلیل عظیم داده در یک سازمان در دو بعد مشتریان و سایر ذینفعان شامل کارکنان، سرمایه‌گذاران و جامعه در نظر گرفت.
از آنجاییکه سازمان‌ها در محیط ایستا عمل نمی‌کنند. همه چیز از مشتری الزامات مربوط به رقابت، مقررات دولتی و الزامات انطباق همه در طبیعت پویا هستند و می‌توانند به طور قابل توجهی یک شبه تغییر کنند. پاسخ به این سوال که چگونه یک سازمان اولویت‌های تحلیلی داده خود را به دست آورد جواب مشخصی ندارد و کاملا وابسته به سطح بلوغ سازمان در داده می‌باشد. همانطور که سازمان‌ها بالغ می‌شوند، تمایل دارند مناطق شناخته شده را پنجره جوهری چه از منظر مشتریان و سایر ذینفعان گشترس دهند. تا بدین ترتیب بتوانند؛ فرآیند محورتر شوند و داده‌های مرتبط ساختار یافته تری را کسب کنند و مهم‌تر از آن، تصمیم گیری ساختارمندتری دارند.

✅ پنجره جوهری از نگاه مشتریان:
هر سازمان که به دنبال تحلیل داده محور کسب و کار می‌باشد باید پنجره جوهری را از دیدگاه مشتری در نظر بگیرد. در میان خانه‌های این پنجره از دیدگاه مشتری، ناحیه کور نشان دهنده درک مشتریان از ارزش محصولات و خدمات سازمان‌ها در مقابل سازمان‌های رقیب می‌باشد. این نشان دهنده فرصتی برای کشف ویژگی‌های پنهان تأثیرگذار در رفتار مشتریان از طریق به کارگیری تحلیل داده‌های رفتاری مشتریان می‌باشد. به طور مشابه، منطقه ناشناخته، دلایل رفتارهای کاملا پنهان مشتری می‌باشد که نه مشتریان و نه سازمان نسبت به آن آگاه نمی‌باشند. از نظر فنی و تحلیلی، این منطقه ممکن است فرصت‌هایی برای پیشرفت‌های بزرگ از طریق تجزیه و تحلیل عظیم داده‌ها داشته باشد.
✅ پنجره جوهری از نگاه کارمندان:
پنجره جوهری از نگاه کارمندان می‌تواند برای سایر ذینفعان همچون سرمایه گذاران، جامعه و دولت نیز در نظر گرفته شود. مشارکت و حفظ کارکنان یکی از موضوعات کلیدی برای سازمان‌های پیشرو می‌باشد که در راس توجه به کیفیت زندگی افراد قرار دارد و از طریق این تحلیل این پنجره می‌توان کمک های شایانی را در این زمینه به سازمان کرد. به عنوان مثال چرا یک محصول یا جغرافیای سازمان از منظر شاخص‌های سنجش رضایت کارکنان بهتر از بقیه است؟




#کتاب_بخوانیم
#فصل_سوم
#علی_محمدی
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله:
 Issues and Challenges of Aspect-based
Sentiment Analysis: A Comprehensive Survey


🖋نویسندگان: 
Ambreen Nazir , Yuan Rao, Lianwei Wu , and Ling Sun


📔منتشر شده در : 
IEEE Transactions on Affective Computing

🔸این مقاله به حوزه تحلیل احساسات (SA) که به عنوان عقیده کاوی نیز نامیده می‌شود، بعنوان یک حوزه تحقیقاتی فعال برای نمایش احساسات و کشف خودکار احساسات بیان شده در متن می‌پردازد. هدف SA معمولاً محصول یا خدماتی است که در بین مردم مورد توجه است و افراد به بروز احساسات نسبت به آن اهمیت می­‌دهند. به طور سنتی، SA به عنوان یک قطبیت عقیده در نظر گرفته می‌شود که آیا شخصی در مورد یک رویداد احساسات مثبت، منفی یا خنثی ابراز کرده است.

🔸تحلیل احساسات  به طور کلی در سه سطح طبقه‌بندی شده است. سطح سند، سطح جمله و سطح جنبه به این معنا که آیا یک سند کامل، یک جمله (ذهنی یا عینی) و یک جنبه بیانگر یک احساس است، یعنی مثبت، منفی یا خنثی.

🔸حوزه تحلیل احساسات مبتنی بر جنبه(AbSA)، که در آن جنبه‌ها استخراج می‌شوند، احساسات مربوط به آن‌ها تحلیل می‌شوند و احساسات در طول زمان تکامل می‌یابند، با افزایش بازخورد عمومی و حضور مشتریان در رسانه‌های اجتماعی، بسیار مورد توجه قرار گرفته است. پیشرفت‌های عظیم در این زمینه، محققان را بر آن داشت تا تکنیک‌ها و رویکردهای جدیدی را ابداع کنند، که هر کدام متمرکز بر یک تحلیل/پرسش پژوهشی متفاوت بوده و با مسائل آتی و سناریوهای پیچیده تحلیل احساسات مبتنی بر جنبه کار می‌کند.
 
 🔸حوزه AbSA را می­‌توان بر اساس سه مرحله پردازش اصلی طبقه‌بندی کرد: استخراج جنبه (AE)، تجزیه و تحلیل احساسات جنبه (ASA) و تکامل احساسات (SE). فاز اول به استخراج جنبه‌ها می‌پردازد که می‌تواند جنبه‌های صریح، جنبه‌های ضمنی، اصطلاحات جنبه، موجودیت‌ها و هدف عبارات نظر (OTE) باشد. مرحله دوم قطبیت احساسات را برای یک جنبه، هدف یا موجودیت از پیش تعریف شده طبقه بندی می­‌کند. این مرحله همچنین تعاملات، وابستگی­‌ها و روابط معنایی زمینه­‌ای را بین اشیاء داده­‌ای مختلف، به عنوان مثال، جنبه، موجودیت، هدف، هدف چند کلمه­‌ای، کلمه احساس، برای دستیابی به دقت طبقه‌بندی احساسات، فرموله می­‌کند. مرحله سوم به پویایی احساسات افراد نسبت به جنبه­‌ها (رویدادها) در یک دوره زمانی مربوط می­‌شود. ویژگی­‌های اجتماعی و تجربه شخصی به عنوان علل اصلی SE در نظر گرفته می­‌شود.

🔸از سویی نویسندگان مقاله تاکید دارند که تمرکز پژوهش­‌های موجود به جزئیات فنی یا مراحل خاص AbSA محدود می­‌شود و در آنها مسائل مهم و چالش­‌های کلیدی AE، ASA، SE به طور دقیق بیان و خلاصه نشده است. همچنین به دلیل دستاوردها و نوآوری­‌های نمایی در سال­‌های اخیر، نتایج آن پژوهش‌ها در معرض منسوخ شدن قرار گرفته­‌اند. لذا برای پر کردن این شکاف، نویسندگان مقاله یک بررسی جامع مرتبط با AbSA را پیشنهاد می‌کنند.

 🔸در همین راستا این پژوهش بر مطالعه مسائل و چالش‌های مرتبط با استخراج جنبه‌های مختلف و احساسات مربوط به آن‌ها، نگاشت رابطه‌ای بین جنبه‌ها، تعاملات، وابستگی‌ها و روابط معنایی زمینه‌ای بین اشیاء داده‌ا­ی مختلف برای بهبود دقت احساسات و پیش‌بینی پویایی تحول احساسات تمرکز دارد.

🔸در نهایت یک مرور کلی دقیق از پیشرفت­‌های اخیر در این حوزه خواهد داشت بر اساس اینکه سهم هریک در برجسته کردن و کاهش موضوعات مربوط به استخراج جنبه، تحلیل احساسات جنبه یا تکامل احساسات چه بوده است. عملکرد گزارش شده برای هر مطالعه موشکافانه استخراج جنبه و تحلیل احساسات جنبه نیز ارائه شده است که ارزیابی کمی رویکرد پیشنهادی را نشان می‌دهد.  در انتها رویکردهای تحقیقاتی آتی با تحلیل انتقادی راه‌حل‌های اخیر ارائه شده پیشنهاد و مورد بحث قرار می‌گیرند که برای محققین مفید و برای بهبود طبقه‌بندی احساسات در سطح جنبه کارآمد خواهد بود.

👈در صورت تمایل، می‌توانید فایل مقاله را دانلود فرمایید👇👇

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BusinessAnalytics

🔎 معرفی کسب و کار داده محور

📌مک دونالد یک موسسه آمریکایی است، که در سال 1940 به عنوان رستورانی تحت مدیریت ریچارد و موریس مک دونالد در سن برناردینو، کالیفرنیا تأسیس شد که تحت رهبری ری کروک رشد کرد و به برند پیشرو رستوران خدمات سریع در جهان تبدیل شد که از طریق نزدیک به 40 هزار شعبه در بیش از 70 میلیون مشتری خدمات ارائه می‌دهد. امروزه در 100 کشور مک دونالد حضور دارد و یکی از نمادین‌ترین برندهای جهان است.

📍کریگ برابک (Craig Brabec) مدیر ارشد تجزیه و تحلیل داده‌ها (CDAO) در مک دونالد است، سمتی که او در پاییز 2020 به عهده گرفت. برابک پیش از این رهبر بینش و تجزیه و تحلیل اطلاعات در شرکت خودروسازی فورد بود و قبل از آن به مدت طولانی مدیر ارشد تجزیه و تحلیل کاترپیلار بود. برابک توضیح می‌دهد: «به‌عنوان CDAO مک‌دونالد، وظیفه من این است که داده‌ها را برای ارزش در سراسر سازمان جهانی القا کنم. در این مقام، من مسئول هدایت تحول داده‌های سازمانی، ایجاد بهترین استراتژی و مدیریت داده در کلاس، و بشارت دادن به این تغییرات در سراسر مک‌دونالد هستم.» او ادامه می‌دهد: «به عنوان بخشی از برنامه رشد استراتژیک مک‌دونالد، «شتاب دادن به قوس‌ها»، این شرکت متعهد به نوآوری در زمینه‌های «دیجیتال، تحویل و رانندگی» است. مک‌دونالد متعهد به ابتکاراتی است که تلاش‌ها را تسریع می‌کند تا تجربه مشتری و خدمه راحت‌تر و منحصربه‌فرد را تضمین کند.»

♦️به عنوان نمونه ای از نحوه استفاده مک دونالد از داده‌ها و تجزیه و تحلیل‌ها برای بهبود تجربه مشتری و خدمه، برابک به تلاشی اشاره می‌کند که مک دونالد با توسعه و استقرار فناوری سفارش خودکار (AOT) در رستوران‌های مک دونالد انجام می‌دهد. مک دونالد با ابتکار AOT با آی‌بی‌ام همکاری می‌کند و بر تخصص آن‌ها در ارائه راه‌حل‌های مراقبت از مشتری با هوش مصنوعی و پردازش زبان طبیعی تکیه می‌کند. AOT تعاملات مشتری را خودکار می‌کند، با استفاده از داده‌های مشتری و جزئیات سفارش برای تسریع دقت و انجام سفارش با حداقل دخالت انسانی. از طریق AOT، کارمندان می‌توانند موثرتر باشند. آنها می‌توانند به جای گرفتن و وارد کردن سفارشات، روی مسئولیت‌های دیگر تمرکز کنند. یک سیستم خودکار سفارش غذا اشتباهات در پذیرش سفارش‌ها را از بین می‌برد، زیرا اطلاعات مشتری و جزئیات سفارش بر روی تابلوهای منو دیجیتال نمایش داده می‌شود. AOT همچنین می‌تواند با ایجاد پایگاه‌داده‌ای از تجربه سفارش آنلاین که تصمیمات مبتنی بر داده‌ها و اتوماسیون ارتباطات مشتری از جمله شخصی‌سازی را امکان‌پذیر می‌سازد، از خدمات مشتری و فعالیت‌های بازاریابی پشتیبانی کند.

♦️توسعه و آزمایش فناوری AOT در رستوران‌های مک‌دونالد، مزایایی را به مشتریان ارائه می‌کند و در عین حال تجربه خدمه رستوران را افزایش می‌دهد. برابک خاطرنشان می‌کند: «تمرکز ما بر تجربه مشتری و خدمه ما را بر آن می‌دارد تا به دنبال استفاده از هوش مصنوعی در سراسر کسب‌وکار باشیم – در حوزه‌های مشتری با تماس بالا و همچنین زنجیره تأمین. عملیات رستوران، طراحی و توسعه؛ پایداری؛ و حتی عملکردهای شرکتی." تحقیقات نشان می‌دهد که استفاده از AOT برای ارائه خدمات مبتنی بر داده تأثیر مثبتی بر بهره وری کارگران و سودآوری کلی دارد. شش بازار برتر مک‌دونالد در سال 2021 شاهد بیش از یک چهارم فروش سیستمی خود (یا 18 میلیارد دلار) از کانال‌های دیجیتالی – متشکل از اپلیکیشن موبایل، تحویل و کیوسک‌های درون فروشگاهی – بودند که نسبت به سال 2020 ،60 درصد افزایش داشته است.

📍برابک خاطرنشان می‌کند که شرکت‌هایی مانند مک دونالد باید طیف وسیعی از مسائل را بر اساس داده‌های مشتری، مانند ردپای شهری در مقابل حومه، و مفاهیم جدید در نظر بگیرند. او اهمیت به کارگیری تفکر در صنایع دیگر، مانند کاهش موجودی کالا، کاهش پیچیدگی، و دیگر روش‌های «تولید همبرگر در حجم» را برجسته می‌کند. مک دونالد ارزش تجاری سرمایه گذاری خود در داده ها و تجزیه و تحلیل را با ردیابی عملکرد کلی کسب و کار و همچنین معیارهای تجربه مشتری می‌سنجد. برابک نتیجه گیری می‌کند: "مهم است که تلاش‌های ما مستقیماً با عملکرد تجاری مرتبط باشد - برای نشان دادن تأثیر واقعی آنها و اولویت بندی و هماهنگی با ابتکارات استراتژیک خود."

♦️از دیگر اقدامات مک دونالد برای حرکت به سوی داده محوری این است که چند وقت پیش مک‌دونالد استارت‌آپ «Dynamic Yield» را به قیمت 300 میلیون دلار خریداری کرد که آن را به یکی از بزرگترین خریدها در تاریخ خود تبدیل کرد. Dynamic Yield از یادگیری ماشینی استفاده می‌کند تا به خرده‌فروشانی مانند Ikea و Sephora را با فناوری «منطق تصمیم‌گیری» مبتنی بر الگوریتم ارائه دهد. «منطق تصمیم‌گیری» فناوری است که توصیه‌های آنلاین را تقویت می‌کند، به انگیزه «مشتریان نیز خریدند» فکر کنید که وقتی چیزی به سبد خود اضافه می‌کنید دریافت می‌کنید.
📍به عنوان صحبت آخر، مک دونالد در قسمت داده محوری اصول زیر را رعایت میکند :
1️⃣ در لحظه خرید داده‌های بهتری بگیرید:
آوردن لحظه خرید به یک رابط دیجیتال به شما یک نمای زنده از عادات خرید می‌دهد: افراد در حال مرور چه چیزی هستند، چه زمانی خریداری می‌کنند.
نقاط داده متنی همچنین می‌توانند این داده‌های خرید را غنی‌تر کنند: زمان روز/سال، مشغله‌ی فروشگاه، آب‌وهوا، گوش‌دادن اجتماعی، حتی افرادی که در آن زمان با آنها خرید می‌کنند.
2️⃣ تجزیه و تحلیل و استخراج الگوها از داده‌ها:
مشابه تجزیه و تحلیل تجزیه و تحلیل آنلاین، الگوها را می‌توان از طریق داده‌های داخل فروشگاه تشخیص داد که به شما بینشی در مورد رفتار خرید می‌دهد. با استفاده از این شواهد، تیم‌ها می‌توانند فرضیه‌هایی در مورد آنچه مشتریان می‌خواهند و به احتمال زیاد با آن درگیر هستند، تشکیل دهند.
به عنوان راهی برای اثبات یا رد این فرضیه‌ها، آزمایش‌های کوچک (A/B Testing) باید در داخل فروشگاه اجرا شوند تا مفروضات را تأیید کنند.
3️⃣ توصیه‌های سطحی به مشتریان در فروشگاه:
فرضیه‌های ساده انگارانه می‌توانند به عنوان قوانین وارد یک موتور توصیه شوند - یعنی اگر کاربر این کار را انجام داد، این را به آنها پیشنهاد دهید. با گذشت زمان، این موتور می‌تواند شروع به محاسبه پیشنهادات پیچیده‌تر و شخصی‌تر کند و آنها را مستقیماً از طریق رابط‌های دیجیتال به مشتریان ارائه دهد.
جمع‌آوری داده‌های بهتر و درک بینش‌های بهتر در نهایت به توصیه‌های مرتبط‌تر و حتی طرح‌بندی فروشگاه‌های جدید منجر می‌شود.


#محمدرضا_مرادی
#مک_دونالد
#کسب_و_کار_داده_محور



@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌 معرفی ابزار: Google BigQuery

🖌گوگل بیگ کوئری یک پلتفرم ذخیره‌سازی و تجزیه و تحلیل داده مبتنی بر ابر است که به کسب‌وکارها امکان می‌دهد تا مقادیر زیادی از داده‌ها را در زمان واقعی با استفاده از پرس‌وجوهای SQL مانند تجزیه و تحلیل کنند. این برای تجزیه و تحلیل و پردازش مجموعه داده های عظیم به سرعت و مقرون به صرفه طراحی شده است، و برای مشاغلی که نیاز به پردازش مقادیر زیادی داده دارند ایده آل است.

❇️ بیگ کوئری یک انبار داده سازمانی کاملاً مدیریت شده است که کمک می کند تا داده‌های سازمان با ویژگی‌های داخلی مانند یادگیری ماشینی، تجزیه و تحلیل جغرافیایی و هوش تجاری مدیریت و تجزیه و تحلیل شود. معماری بدون سرور BigQuery این امکان را می‌دهد از پرس و جوهای SQL برای پاسخ به بزرگترین سؤالات سازمان با مدیریت زیرساخت صفر استفاده شود.

🔹بیگ کوئری با جدا کردن موتور محاسباتی که داده‌ها را تجزیه و تحلیل می‌کند از گزینه‌های ذخیره‌سازی، انعطاف‌پذیری را به حداکثر می‌رساند.

🔹رابط‌های BigQuery شامل رابط کنسول Google Cloud و ابزار خط فرمان BigQuery است. توسعه دهندگان و دانشمندان داده می‌توانند از کتابخانه‌های سرویس گیرنده با برنامه نویسی آشنا از جمله پایتون، جاوا، جاوا اسکریپت و Go و همچنین REST API و RPC API BigQuery برای تبدیل و مدیریت داده‌ها استفاده کنند. درایورهای ODBC و JDBC با برنامه‌های موجود از جمله ابزارها و ابزارهای شخص ثالث تعامل برقرار می‌کنند.
مستندات BigQuery ML به یک تحلیلگر داده، مهندس داده، مدیر انبار داده یا دانشمند داده کمک می‌کند که ابزارهای داده را کشف، پیاده سازی و مدیریت کند تا تصمیمات تجاری اتخاذ و اطلاع رسانی شود.

🔹بیگ کوئری داده‌ها را در جداول ذخیره می‌کند که می‌توان با استفاده از نحو شبیه به SQL پرس و جو کرد، و این پلتفرم با سایر سرویس‌های Google Cloud Platform مانند Dataflow، Dataproc، و Cloud Storage یکپارچه می‌شود تا یک راه‌حل قدرتمند تجزیه و تحلیل سرتاسر ارائه دهد.

🔹یکی از مزایای کلیدی BigQuery مقیاس‌پذیری آن است – این پلتفرم می‌تواند مجموعه‌های داده در مقیاس پتابایت را بدون نیاز به مدیریت زیرساخت از جانب کاربر مدیریت کند. این امر آن را به گزینه ای جذاب برای مشاغلی تبدیل می کند که نیاز به پردازش حجم زیادی از داده ها دارند و می خواهند از هزینه ها و پیچیدگی های مرتبط با راه حل های انبار داده در محل جلوگیری کنند.

🔹علاوه بر این، BigQuery ویژگی هایی مانند پارتیشن بندی و اشتراک گذاری خودکار جداول، ادغام با ابزارهای یادگیری ماشینی مانند TensorFlow و پشتیبانی از تجزیه و تحلیل جریان داده در زمان واقعی را ارائه می دهد.

🔹بیگ کوئری یک راه حل ذخیره سازی داده و هوش تجاری مبتنی بر ابر است که توسط Google ارائه شده است. این به سازمان ها اجازه می دهد تا مجموعه داده های عظیم را با استفاده از پرس و جوهای SQL مانند تجزیه و تحلیل کنند.
در اینجا برخی از ویژگی ها و قابلیت های کلیدی بیگ کوئری آورده شده است
📍مقیاس پذیر: BigQuery برای مدیریت حجم عظیمی از داده ها طراحی شده است و پردازش پتابایت داده را در عرض چند ثانیه آسان می کند.
📍بدون سرور: BigQuery بدون سرور است، به این معنی که شما نیازی به تهیه یا مدیریت هیچ زیرساختی ندارید. کل تنظیمات توسط Google Cloud Platform مدیریت می شود.
تجزیه و تحلیل بلادرنگ: با BigQuery، می‌توانید آنالیز بی‌درنگ داده‌های خود را هنگامی که به سیستم منتقل می‌شوند، انجام دهید.
📍تجزیه و تحلیل پیشرفته: BigQuery طیف وسیعی از قابلیت های تجزیه و تحلیل پیشرفته مانند یادگیری ماشین، تجزیه و تحلیل جغرافیایی و اتصالات داده را برای ابزارهای محبوب BI ارائه می دهد.
مقرون به صرفه: BigQuery یک مدل قیمت گذاری منعطف را ارائه می دهد، که در آن شما فقط برای مقدار داده ای که درخواست می کنید پرداخت می کنید.
📍امنیت داده ها: BigQuery ویژگی های امنیتی در سطح سازمانی مانند رمزگذاری در حالت استراحت و در حال انتقال، نقش های IAM و گزارش های حسابرسی را ارائه می دهد.
📍یکپارچه سازی: BigQuery با سرویس های مختلف پلتفرم Google Cloud مانند Cloud Storage، Dataflow، Dataproc و غیره ادغام می شود.
✅ به طور کلی، BigQuery یک راه حل قدرتمند و انعطاف پذیر برای سازمان هایی است که به دنبال درک داده های خود هستند، و طیف گسترده ای از ویژگی ها را برای کمک به کاربران برای تجزیه و تحلیل و مدیریت کارآمد مجموعه داده‌های عظیم ارائه می‌دهد.

#معرفی_ابزار
#بیگ_کوئری
#گوگل
#عظیم_داده
#Google_Big_Query
#فاطمه_مصلحی


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"

✳️ فصل چهارم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور" به ارائه نقشه راه برای تحلیل‌گری در راستای ایجاد یک سازمان داده محور می‌پردازد.

📍بر این اساس هشت موضوع در این فصل مورد بررسی قرار می‌گیرد:
1️⃣ چالش کسب ارزش از تحلیل‌گری: هر چند ضرورت سرمایه گذاری بر روی تحلیل‌گری پیشرفته به عنوان یک ضرورت مطرح است، اما طبق گزارش گارتنر فقط بین 30 تا 40 درصد از ابتکارات تحلیل‌گری نوعی ارزش کسب و کاری را حاصل می‌نماید.
2️⃣ تحلیل‌گری تصمیم‌گرا: اهمیت شروع از تصمیم و کار کردن با داده‌های پشت تصمیمات
3️⃣ اهمیت شروع از پایان: مشکل شروع از داده. چه تضمینی وجود دارد که پس از پردازش داده‌های خام، بینش‌های ارزشمندی وجود داشته باشد؟
4️⃣ رمزگشایی از داده‌های پشت تصمیمات: بر خلاف رویکرد سنتی، این فرآیند به شناسایی شکاف‌های داده‌ای پشت تصمیم کمک کرده و استراتژی منبع یابی داده را برای داده‌های گمشده ایجاد می‌نماید.
5️⃣ با مدیر موقت ملاقات کنید: در حالی که مدیران موقت پیشرفت می‌کنند، آن عده معدودی که به دنبال راه‌حل‌های دائمی و جامع هستند ضرر می‌کنند، زیرا برداشت عمومی از «جستجوی راه‌حل دائمی سازمانی» عالی به نظر نمی‌رسد.
6️⃣ راه حل‌های محلی در مقابل عمومی: یک استدلال قانع کننده برای اینکه چرا سازمان‌ها باید اجرای یک تمرین تحولی داده-به-تصمیم در سطح سازمان را در نظر بگیرند.
7️⃣ طرز تفکر مشکل در مقابل فرصت: مفهوم حل نقطه ای راه‌حلی برای "مشکل خاص" بر اساس این پیش‌فرض است که سیستم با حل مشکل در اوج بهره‌وری خود است و از این رو نیازی نیست که به دنبال فرصت‌های بیشتری برای بهینه سازی هزینه و زمان چرخه، یا دستیابی به مشتریان بیشتر باشید.
8️⃣ نقشه راه برای سازمان داده محور: تصمیمات بزرگ کدامند؟ تصمیماتی که توسط CxO ها گرفته می‌شوند؟ تصمیمات راهبردی؟ تصمیمات مربوط به سرمایه‌های کلان؟
❇️ بنابراین با بررسی هر یک از موضوعات مذکور، اگر سازمانی بخواهد خارج از چارچوب فکر کند و بتواند تمام فرصت‌های "بزرگ" را که در آن تحلیل‌گری می‌تواند تفاوت ملموسی در کیفیت تصمیم‌ها ایجاد کند کشف نماید، نکات زیر می‌تواند راهگشا باشد:
✅ تصمیمات بزرگ را شناسایی کنید - 10٪ از تصمیماتی که 90٪ از نتایج کسب و کار را تحت تأثیر قرار می‌دهند.

✅ یک نقشه راه اولویت برای تحلیل‌گری پیشرفته، بر اساس حیاتی بودن تصمیمات کسب و کاری و اندازه ارزش مادی حاصل از آن ایجاد کنید.

✅ یک نقشه راه تحول آفرین و یک مورد کسب و کاری برای تحلیل‌گری ایجاد کنید.

✅ داده‌های پشت تصمیمات را برای هر یک از تصمیمات شناسایی شده درک نمایید.

✅ شکاف داده‌ها را شناسایی کنید. به عنوان مثال داده‌هایی که برای پشتیبانی از تصمیم نیاز دارید، اما در حال حاضر ندارید.

✅ کیفیت داده‌ها را بهبود بخشید.

✅ نهادینه کردن حاکمیت داده‌ها. استانداردهای داده و تعاریف داده و سایر موارد را معرفی کنید.

✅ پیاده سازی تحلیل‌گری مطابق با نقشه راه تحول.

✅ یک ممیزی ارزش به صورت دوره ای انجام دهید.


#کتاب_بخوانیم
#فصل_چهارم
#فاطمه_مظفری
#تصمیم_گیری
#سازمان_داده_محور
#Big_Data_for_Big_Decisions_Building_a_Data_Driven_Organization

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌 اهمیت تحلیل‌گری عظیم داده‌

🔹 در این ویدئو کوتاه، پنج ویژگی اهم تحلیل‌گری عظیم داده مرور می‌شود.

#ويدئوکوتاه
#عظیم_داده
#تحلیلگری
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

‍ 📌📌 معرفی ابزار: InfluxDB

🖌 پایگاه داده InfluxDB یک پایگاه داده سری زمانی متن باز (TSDB) است که توسط شرکت InfluxData توسعه یافته است. این پایگاه داده با استفاده از زبان برنامه نویسی Go برای ذخیره و بازیابی داده‌های سری زمانی با کاربردهایی مانند پایش عملیات، داده‌های حسگرهای اینترنت اشیا و تحلیل‌گری بلادرنگ نوشته شده است.

✳️ به طور کلی پایگاه داده‌های سری زمانی شامل اندازه‌گیری‌ها یا رویدادهایی است که تحت پایش، ردیابی و پالایش داده‌ها شامل نمونه‌برداری و جمع‌آوری در طول زمان قرار می‌گیرند و بنابراین می‌توانند شامل داده‌های نظارت بر اپلیکیشن‌ها، داده‌های مربوط به حسگرها، داده‌های معاملات بازار و بورس اوراق بهادار باشند. پایگاه داده سری زمانی قادر به دریافت میلیون‌ها نقطه داده در ثانیه است که بر این اساس عملکرد سطح بالایی را ارائه می‌دهد.

♦️ بنابراین با استفاده از InfluxDB، اپلیکیشن‌های بلادرنگ برای تحلیل‌گری، اینترنت اشیا و سرویس‌های ابری بومی (cloud-native) در زمان کمتر و با کد کمتر قابل دستیابی است. همچنین InfluxDB دارای یک زبان پرس و جو (کوئری) از نوع SQL است که به طور خاص برای داده‌های سری زمانی ایجاد شده است.

📍مفاهیم پایه در InfluxDB عبارتند از:

1️⃣ اندازه‌گیری (measurement): اندازه‌گیری تقریباً معادل مفهوم جدول در پایگاه‌های داده رابطه‌ای است. بنابراین داده‌ها در آن ذخیره می‌شود و پایگاه داده می‌تواند چندین اندازه‌گیری داشته باشد. یک اندازه گیری از 3 نوع ستون Time، Tags و Fields تشکیل شده است.

2️⃣ زمان: یکی دیگر از اجزای این پایگاه داده زمان است که به صورت timestamp جهت ردیابی ستون برای انجام عملیات سری زمانی به روشی بهتر مورد استفاده قرار می‌گیرد. به طور پیش‌فرض زمان مورد استفاده، زمان Influxdb است که بر حسب نانوثانیه می‌باشد، اما می‌توان آن را با زمان رویداد جایگزین کرد.

3️⃣ برچسب‌ها: یک برچسب شبیه به یک ستون ایندکس شده در یک پایگاه داده رابطه‌ای است. نکته مهمی که در این خصوص وجود دارد این است که عملیات رابطه‌ای مانند WHERE، GROUP BY و غیره را می‌توان بر روی یک ستون تنها در صورتی انجام داد که به عنوان یک برچسب مشخص شده باشد.

4️⃣ فیلدها: فیلدها ستون‌هایی هستند که عملیات ریاضی مانند مجموع، میانگین و غیره را می‌توان بر روی آنها انجام داد. با این حال، در نسخه های اخیر، مقادیر به صورت رشته را نیز می‌توان به عنوان یک فیلد ذخیره کرد.

5️⃣ سری‌ها: سری‌ها مهم‌ترین مفهوم Influxdb هستند. یک سری ترکیبی از برچسب‌ها، اندازه‌گیری و سیاست نگهداشت است. عملکرد پایگاه داده Influxdb به شدت به تعداد سری‌های منحصر به فرد آن بستگی دارد.

📍با توجه به اینکه Spark از متداول‌ترین ابزارهای متن باز در زمینه پردازش داده‌های عظیم است، پایگاه داده InfluxDB می‌تواند به همراه جریان با ساختار اسپارک برای پردازش، ذخیره و مصورسازی داده‌ها به صورت بلادرنگ مورد استفاده گیرد. در حال حاضر دو پیاده‌سازی متن باز از InfluxDb sink برای نوشتن داده‌ها از طریق جریان ساختاریافته، chronicler و reactive-influx وجود دارد. همچنین با ذخیره داده می‌توان از ابزارهای مختلفی مانند Grafana و Chronograph و غیره برای مصورسازی آن استفاده نمود.

❇️ برای دانلود می‌توانید به سایت زیر مراجعه فرمایید:
🔗 https://www.influxdata.com


#معرفی_ابزار
#InfluxDB
#سری_زمانی
#داده‌های_عظیم
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


🔹 فصل پنجم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور" به شناسایی تصمیمات مهم و تاثیرگذار در سازمان می‌پردازد. در فصل‌های گذشته، متوجه شدیم که ساختن یک سازمان مبتنی بر داده نیازمند شناسایی و اولویت‌بندی تصمیمات "عظیم" برای بینش‌های عملی مبتنی بر داده است. سوال بعدی این است: چگونه به دقت می‌توان تصمیمات "عظیم" را شناسایی کرد؟ چگونه می‌توان تصمیمات عظیم را از هزاران تصمیم روزانه دیگری که هر مدیر در سازمان می‌گیرد، تفکیک کرد؟
📍گام اول برای شناسایی این تصمیمات، لیست کردن و طبقه‌بندی تمام تصمیمات کلیدی در سازمان است. در مرحله بعد نیاز است تا ارزش تجاری مرتبط با هر یک از این تصمیمات تخمین زده شود.

🔸سرمایه فعلی سازمان در تحلیل‌گری داده
پیش از آنکه سازمان شروع به پیاده‌سازی ابزارهای تحلیلی عظیم داده کند، نیاز است تا سرمایه‌های فعلی خود در این راستا را شناسایی کند. در همین راستا در این بخش از کتاب توصیه می‌شود که انجام یک ارزیابی دقیق برای بررسی گزارش‌های هوش سازمانی و دارایی‌های تجزیه و تحلیل موجود در سازمان ضروری می‌باشد. هدف اصلی این مرحله دستیابی به شناختی جامع از چشم‌انداز تجزیه و تحلیل موجود و فرایند تصمیم‌گیری بر اساس داده‌ها می‌باشد.
در ابتدا ممکن است این فرضیه مطرح شود که پروژه‌های تجزیه و تحلیل معمولاً بر اساس تصمیمات خاصی که توسط مدیران گرفته می‌شوند، برنامه‌ریزی و طراحی می‌شوند. با این حال، ارزیابی دقیق بیشتر پروژه‌ها براساس نیازهای مشتریان داخلی و نه نیازهای صریح در تصمیم‌گیری آغاز می‌شوند. علاوه بر این، جمع‌آوری داده‌ها نقش محوری در پروژه‌های تحلیلگری عظیم داده داشته و شامل مرتب‌سازی، نرمال‌سازی و تجزیه و تحلیل حجم زیادی از داده‌ها با استفاده از الگوریتم‌های خوشه‌بندی و طبقه‌بندی می‌باشد.

🔹 هنر گمشده تصمیم گیری

این بخش از کتاب به طور خاص بر لیست کردن و مستند سازی تصمیم‌های سازمان‌ها را تاکید ویژه‌ای دارد. نویسنده کتاب به این نکته اشاره می‌کند که در حالی که استثناهایی برای تصمیمات مرتبط با هزینه‌های سرمایه بزرگ وجود دارد، به طور کلی، کمبودی در مستندسازی و طبقه‌بندی تصمیمات در سازمان‌ها وجود دارد. محققان دانشگاهی معمولاً مسئولیت طبقه‌بندی تصمیمات را بر عهده می‌گیرند و عواملی مانند تصمیمات برنامه‌ریزی شده در مقابل تصمیمات غیر برنامه‌ریزی شده، تصمیمات عمده در مقابل تصمیمات کوچک، تصمیمات عملیاتی در مقابل تصمیمات استراتژیکی و تصمیمات فردی در مقابل تصمیمات گروهی را مد نظر قرار می‌دهند. نویسنده کتاب در این بخش مطالعه موردی مورد بررسی قرار داده است اما ازآنجاییکه هیچ لیست مستندسازی شده از تصمیمات درون شرکت وجود ندارد؛ اطلاعات از طریق مصاحبه با مدیران جمع‌آوری شده است. در گفتگوهای اولیه با مدیران ارشد، موضوعات مشترک مشخص شدند:
1️⃣ مدیران باور داشتند که تعداد زیادی تصمیم می‌گیرند، اما در به یاد آوردن تصمیمات خاص سختی وجود داشت.
2️⃣ آنها اذعان کردند که کیفیت تصمیمات بر تاثیرات کسب و کار تأثیر می‌گذارد.
3️⃣ به طور غریزی، آنها تشخیص دادند که برخی تصمیمات اهمیت بیشتری دارند، اما زمانی برای شناسایی و لیست کردن آنها نگذاشته بودند.
4️⃣ هنگامی که از آنها خواسته شد تا یک تصمیم مهم از سال گذشته را شناسایی کنند، مدیران بیشتر به تصمیمات سرمایه‌گذاری مرتبط با هزینه‌های سرمایه بزرگ اشاره کردند.

🔸 اولویت‌بندی تصمیم گیری‌ها

بعد از مشخص شدن تصمیمات کلیدی برای یک سازمان نیاز است تا یک روش‌شناسی هدفمند برای امتیازدهی و اولویت‌بندی تصمیمات بر اساس تأثیر آنها بر نتایج تجاری ارائه شود. نویسنده کتاب مدعی است که در طی تحقیقات، با کمبود روش‌های اثبات‌شده برای اولویت‌بندی تصمیمات مواجه شد. بر همین اساس به اصل معروف آیزنهاور ارجاع می‌دهد که بر اساس ضرورت و اهمیت وظایف اولویت‌بندی می‌شود. این اصل، که به وسیله جعبه آیزنهاور نمایش داده می‌شود، به عنوان ابزاری مفید برای افزایش بهره‌وری شخصی عمل می‌کند. با این حال، برای اولویت‌بندی تصمیمات در سازمان به‌طور کلی، باید ارزیابی جامعی از تصمیمات به علاوه تأثیر آنها بر نتایج تجاری صورت بگیرد. به رغم تحقیقات گسترده، نویسنده فقط تعداد محدودی مقاله را پیدا کرد که بر اهمیت دسته‌بندی و اولویت‌بندی تصمیمات تأکید داشتند. این شامل مقالاتی است که تصمیمات استراتژیک را متمایز از تصمیمات روزمره شناسایی کرده و تصمیمات را بر اساس تعهد و دامنه شرکت ارزیابی می‌کنند. یکی دیگر از مدل هایی که در این فصل به آن اشاره شده است مدل باین می باشد. این مدل در درجه اول بر ارزش در خطر و توجه مدیریت مورد نیاز به عنوان عواملی برای اولویت‌بندی تصمیم‌ها تمرکز می‌کند.
یکی از چالش‌های اصلی در اولویت بندی تصمیمات این می باشد که کمی کردن توجه مدیریت چالش برانگیز است، زیرا می‌تواند در بین افراد و سطوح تصمیم گیری متفاوت باشد. علاوه بر این، تصمیماتی که نیاز به توجه نقش‌های مختلف مدیریتی دارند یا شامل تصمیم‌گیری جمعی هستند، نباید دارای وزن یکسانی باشند. تصمیمات مبتنی بر قانون تنها در صورتی می‌توانند خودکار شوند که داده‌های لازم جمع‌آوری شده باشد و زیرساخت اتوماسیون وجود داشته باشد. بدون پشتیبان داده‌ها، همه تصمیمات به صلاحدید مدیریتی نیاز دارند.




#کتاب_بخوانیم
#فصل_پنجم
#علی_محمدی
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله:
 How can organizations leverage big data to innovate their business models? A systematic literature review

🖋نویسندگان:
 Chiara Acciarini , Francesco Cappa , Paolo Boccardelli , Raffaele Oriani

🗓سال انتشار: 2023

📔ژورنال:
 Technovation

🔸حجم جهانی داده­‌ها به سرعت در حال گسترش است و شرکت‌ها به دنبال درک چگونگی ایجاد، جذب و ارائه ارزش از این منبع ارزشمند هستند.
🔸در سال 2017، اکونومیست بیان کرد که "با ارزش ترین منبع جهان دیگر نفت نیست، بلکه داده است". در حال حاضر، بازار داده­‌های عظیم بیش از 55 میلیارد دلار درآمد دارد و انتظار می­‌رود تا سال 2027 به 103 میلیارد دلار افزایش یابد. در واقع، در سال‌های اخیر، شاهد افزایش انفجاری در میزان اطلاعات در دسترس بوده‌ایم و مدیران و سیاست‌گذاران به طور فزاینده‌ای به مزایای حاصل از داده­‌های عظیم پی‌برده‌اند. با این حال، معایب مرتبط با آنها، مانند مسائل مربوط به حریم خصوصی و امنیتی، نیز در حال ظهور هستند.

🔸مطالعات موجود عمدتاً به مزایایی می‌پردازد که داده­‌های عظیم می‌توانند فراهم کنند، که برای مثال شامل عملیات پایدارتر و مدیریت زنجیره تأمین، بودجه‌بندی بهتر و تصمیم‌گیری و نوآوری بهبودیافته است. با این حال، هنوز تعداد کمی از نویسندگان جنبه تاریک داده‌های عظیم را بررسی کرده‌اند.

🔸بنابراین، برای اطمینان از اینکه مزایا نسبت به  چالش­‌های داده­‌های عظیم بیشتر است، و برای باز کردن پتانسیل کامل داده­‌های عظیم از نظر نوآوری در مدل کسب‌وکار، نویسندگان این مقاله استدلال می‌کنند که شرکت‌ها باید نقشه واضحی از تمام کاربردهای احتمالی آن داشته باشند.

🔸در این مطالعه که به روش مروری سیستماتیک ادبیات انجام شده است و نهایتا 311 مقاله مورد بررسی قرار گرفته­­‌اند،  یک نمای کلی جامع از موارد زیر ارائه می‌شود:

 الف) اثرات تولید شده توسط داده­‌های عظیم، از جمله مزایا و همچنین معایب 
ب) حوزه‌های کسب و کاری که در آنها داده‌های عظیم استفاده می‌شوند
 ج) روش­‌های تحقیقاتی که تاکنون توسط مطالعات قبلی اتخاذ شده است (کمی، کیفی، مفهومی و میکس)
د)نوع شرکتی که تاکنون در نظر گرفته شده است و بین کسب و کارهای خصوصی و عمومی(دولتی) تمایز قائل شده است.

🔸در نهایت نتایج این مطالعه به افزایش درک علمی از پدیده داده­‌های عظیم کمک کرده و توصیه‌های نظری و عملی در مورد استفاده‌های احتمالی از آنها ارائه می­‌کند که ممکن است به شرکت‌ها اجازه دهد مدل‌های کسب و کار خود را مورد بازبینی و نوآوری قرار دهند.

👈در صورت تمایل، می‌توانید فایل مقاله را در ادامه دانلود فرمایید👇

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BusinessAnalytics

🔎 معرفی کسب و کار داده محور

🔹 اوبر یک شرکت حمل و نقل اشتراکی است که در سال 2009 توسط تراویس کالانیک و گرت کمپ در سانفرانسیسکو تأسیس شد. این شرکت یک پلتفرم آنلاین ارائه می‌دهد که کاربران را به رانندگان خصوصی متصل می‌کند. اوبر در بیش از 1000 شهر در 70 کشور جهان فعالیت دارد. هدف اصلی اوبر، ایجاد یک پلتفرم جهانی برای ارتباط بین مسافران و رانندگان خصوصی بوده است. با استفاده از اپلیکیشن تلفن همراه اوبر، مسافران می‌توانند درخواست سفر خود را ثبت کرده و رانندگانی که در نزدیکی آنها هستند را پیدا کنند.
🔸اوبر یک شرکت بسیار موفق بوده است و ارزش بازار آن بیش از 80 میلیارد دلار است. این شرکت با انتقادات زیادی از جمله اتهاماتی مبنی بر تخلف از قوانین کار، ایمنی و مالیات مواجه بوده است. با این حال، اوبر همچنان در حال رشد و گسترش است و تأثیر قابل توجهی بر صنعت حمل و نقل داشته است. این شرکت به طور گسترده ای به تغییر نحوه سفر مردم در سراسر جهان شناخته شده است. علاوه بر خدمات حمل و نقل معمولی، اوبر خدمات متنوعی را نیز ارائه می‌دهد. به عنوان مثال، "اوبر ایکس" که یک خدمت تاکسی لوکس است، "اوبر پول" که امکان سفر با اتومبیل مجهز به صندوق نقد را فراهم می‌کند و "اوبر اکسپرس پول" که یک خدمت تاکسی سریع‌تر است. همچنین، اوبر در برخی شهرها خدمت "اوبر ایت" را ارائه می‌دهد که با استفاده از اسب بخار، دوچرخه و موتورسیکلت، امکان حمل و نقل در شهر را فراهم می‌کند.

❇️ اوبر یک شرکت داده محور است و از داده‌ها برای بهبود تجربه کاربر، افزایش بهره وری و گسترش به بازارهای جدید استفاده می‌کند. این شرکت از داده‌ها برای پیش بینی تقاضا برای سفرها، شناسایی مناطقی که می‌توانند خدمات خود را بهبود بخشند و توسعه ویژگی‌های جدید استفاده می‌کند.

🔹اوبر در زمینه داده محوری انواع فعالیت‌ها و کارها را انجام می‌دهد. به عنوان مثال:

1️⃣ تحلیل داده‌ها: اوبر داده‌های زیادی را جمع‌آوری می‌کند و از طریق تحلیل این داده‌ها الگوها، روندها و رفتارهای مختلف را در سفرها و رانندگان تشخیص می‌دهد. این تحلیل‌ها می‌توانند بهبود عملکرد سیستم، بهینه‌سازی مسیرها، افزایش ایمنی و کارایی و بهبود تجربه کاربران منجر شوند.
2️⃣ پیش‌بینی و تحلیل تقاضا: اوبر از طریق تحلیل داده‌های سفرهای قبلی، الگوهای تقاضای مسافران را شناسایی می‌کند. این شناسایی به شرکت امکان می‌دهد تا برنامه‌ریزی بهتری را برای تأمین خدمات ارائه دهد و در نتیجه زمان انتظار را کاهش دهد و تجربه کاربری را بهبود بخشد.
3️⃣ بهینه‌سازی مسیر: با استفاده از داده‌های جمع‌آوری شده، اوبر می‌تواند بهینه‌سازی مسیرهای رانندگی را انجام دهد. این بهینه‌سازی می‌تواند به رانندگان کمک کند تا به سرعت و بهینه‌تر به مقصد برسند و در نتیجه زمان و هزینه را کاهش دهند.
4️⃣ تحلیل ایمنی: اوبر به داده‌های مربوط به سفرها، رانندگان و خودروها دسترسی دارد و می‌تواند به تحلیل ایمنی پرداخته و مشکلات ایمنی را شناسایی کند. این اطلاعات می‌توانند در بهبود ایمنی سفرها و پیشگیری از تصادفات مفید باشند.
5️⃣ تحلیل رفتار مشتریان: با تجزیه و تحلیل داده‌های مشتریان، اوبر می‌تواند الگوها و رفتارهای مشتریان را درک کند. این اطلاعات می‌توانند به شرکت در ارائه خدمات و تجربه بهتر برای مشتریان کمک کنند.

🔸اوبر به طور مداوم در حال یافتن راه‌های جدید برای استفاده از داده‌ها برای بهبود تجربه کاربر است. داده‌ها نقش کلیدی در موفقیت اوبر دارند و به آنها کمک می‌کنند تا به یک شرکت پیشرو در صنعت حمل و نقل اشتراکی تبدیل شوند. به طور کلی، اوبر از داده‌ها برای بهبود فرآیندها، بهینه‌سازی سرویس‌ها، افزایش ایمنی و بهبود تجربه کاربری استفاده می‌کند.


#محمدرضا_مرادی
#اوبر
#Uber
#کسب_و_کار_داده_محور



@BigData_BusinessAnalytics
www.bdbanalytics.ir

📚معرفی کتاب

📌کتابچه راهنمای پژوهشگر در تجزیه و تحلیل عظیم­‌داده

"Research Practitioner's Handbook on Big Data Analytics"


📌نویسندگان: S. Sasikala, Renuka Devi D
📌این کتاب در سال 2023 و توسط Apple Academic Press انتشار یافته است.


📍 این کتاب با معرفی مفهوم عظیم­‌داده بر مفاهیم اصلی تجزیه و تحلیل داده‌های عظیم، ابزارها، تکنیک‌ها و روش‌شناسی از دیدگاه‌های پژوهشی تمرکز دارد و می­‌تواند راهنمایی جامع با ترکیبی از بینش‌های نظری و رویکردهای عملی را ارائه ‌دهد که طیف وسیعی از خوانندگان را پوشش می­‌دهد. این کتاب همچنین توضیح می‌دهد که چگونه می‌توان از تجزیه و تحلیل عظیم­­‌داده‌ها برای استخراج بینش‌های ارزشمند از مجموعه داده‌های بزرگ و تصمیم­‌گیری آگاهانه استفاده کرد.

📍نویسندگان جنبه‌های مختلف تجزیه و تحلیل عظیم­‌داده، از جمله؛ جمع‌آوری، پیش‌پردازش، ذخیره‌سازی، تکنیک‌های تجزیه و تحلیل‌ و نیز تصویرسازی‌داده‌ها را پوشش می‌دهند. آن‌ها درباره ابزارها و فناوری‌های رایج مورد استفاده در تجزیه و تحلیل داده‌های عظیم مانند Hadoop ،Apache Spark و الگوریتم‌های یادگیری ماشین بحث می‌کنند. یکی از تاکیدهای اصلی کتاب بر روی روش تحقیق در تجزیه و تحلیل داده‌های عظیم است. این کتاب همچنین، راهنمایی در مورد فرمول‌بندی سؤالات پژوهش، طراحی آزمایش‌ها، انتخاب تکنیک‌های مناسب تجزیه و تحلیل داده‌ها و تفسیر نتایج ارائه می‌کند. در ادامه نویسندگان بر اهمیت اخلاق و ملاحظات حریم خصوصی در پژوهش­‌های عظیم­‌داده تاکید می‌کنند.

📍در این کتاب، مطالعات موردی و نمونه‌هایی در دنیای واقعی برای نشان دادن مفاهیم و تکنیک‌های مورد بحث ارائه شده‌اند. این مطالعات موردی نشان می‌دهد که چگونه تجزیه و تحلیل عظیم­‌داده‌ها با موفقیت در حوزه‌های مختلف مانند مراقبت‌های بهداشتی، کسب و کار، اجتماعی و آموزشی به کار گرفته شده است. علاوه بر این، کتاب حاضر به چالش‌ها و محدودیت‌های مرتبط با تجزیه و تحلیل عظیم­‌داده‌ها، مانند مسائل مربوط به کیفیت داده، نگرانی‌های مقیاس پذیری، و پیامدهای اخلاقی می‌پردازد. برای غلبه بر این چالش‌ها و نیز به حداکثر رساندن ارزش عظیم­‌داده، استراتژی‌ها و به روش‌هایی را ارائه می‌دهد.

📍به طور کلی، این کتاب به عنوان یک راهنمای عملی برای پژوهشگران و متخصصانی عمل می­‌کند که می‌خواهند از قدرت تجزیه و تحلیل داده‌های عظیم استفاده کنند و آن‌ها را با دانش و مهارت‌های لازم برای انجام پژوهش­‌های مؤثر و استفاده از این نوع داده­‌ها برای بینش و تصمیم­‌گیری معنادار مجهز می‌کند.


این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#عظیم_داده
#زهرا_رفیعی‌پور


@BigData_BusinessAnalytics
http://www.bdbanalytics.ir

📌📌معرفی ابزار Apache Sqoop

🖌 ابزار Apache Sqoop ابزاری است که برای انتقال کارآمد داده های انبوه بین Apache Hadoop و داده‌های ساختار یافته، مانند پایگاه‌های داده رابطه ای طراحی شده است. این یک رابط خط فرمان را فراهم می‌کند که به کاربران اجازه می‌دهد داده‌های مورد نظر را برای انتقال و مکان مورد نظر برای داده‌ها مشخص کنند.

🖌ابزار Sqoop می‌تواند با تولید کد Java MapReduce که می‌تواند روی خوشه Hadoop اجرا شود، داده‌ها را از یک پایگاه داده به Hadoop وارد کند. برعکس، همچنین می‌تواند داده‌ها را از Hadoop به یک پایگاه داده بازگرداند. این برنامه از وارد کردن داده‌ها و استخراج داده‌ها به سیستم‌های پایگاه داده مختلف، از جمله MySQL، Oracle، PostgreSQL و Microsoft SQL Server پشتیبانی می‌کند.

🖌 یکی از ویژگی‌های کلیدی Sqoop این است که از ورود افزایشی پشتیبانی می‌کند و به کاربران اجازه می‌دهد فقط داده‌های جدیدتر را از یک پایگاه داده از زمان آخرین ورود داده وارد کنند. این به به روز نگه داشتن خوشه Hadoop با تغییراتی که در پایگاه داده رخ می‌دهد کمک می‌کند.

🖌همچنین Sqoop از موازی سازی و تحمل خطا پشتیبانی می‌کند و امکان انتقال سریع و مطمئن داده‌ها را فراهم می‌کند. از قابلیت‌های پردازش توزیع شده Hadoop برای اجرای عملیات واردات و ارسال به صورت موازی در چندین ماشین در خوشه استفاده می‌کند.

🖌 برخی از ویژگی‌های کلیدی Sqoop عبارتند از:

📍یکپارچه سازی داده‌ها: Sqoop امکان یکپارچه سازی و انتقال یکپارچه داده‌ها را بین Hadoop و پایگاه‌های داده رابطه ای مختلف، انبارهای داده و سایر منابع داده ساختاریافته فراهم می‌کند.

📍واردات و صادرات: Sqoop قابلیت‌هایی را برای وارد کردن داده‌ها از منابع داده‌های ساخت یافته به Hadoop و همچنین استخراج داده‌ها از Hadoop به فروشگاه‌های داده ساخت یافته را فراهم می‌کند.

📍انتقال موازی: Sqoop داده‌ها را به صورت موازی انتقال می‌دهد، به این معنی که می‌تواند به طور موثر مجموعه داده‌های بزرگ را انتقال دهد و عملکرد کلی را با استفاده از چندین نقشه نگار در Hadoop بهبود بخشد.

📍واردات افزایشی: Sqoop از واردات افزایشی پشتیبانی می‌کند و استخراج و انتقال تنها ردیف‌های تغییر یافته یا جدید در پایگاه داده منبع را از زمان آخرین واردات امکان‌پذیر می‌سازد. این ویژگی به به روز رسانی موثر داده‌ها در Hadoop کمک می‌کند.

📍تبدیل داده: Sqoop از تبدیل‌های اساسی در حین انتقال داده پشتیبانی می‌کند و به کاربران اجازه می‌دهد ستون‌های خاص، ردیف‌های فیلتر، داده‌ها را جمع‌آوری کنند و سایر تبدیل‌ها را در طول فرآیند ورود یا استخراج انجام دهند.

📍ادغام با اکوسیستم Hadoop : به طور یکپارچه با سایر ابزارهای اکوسیستم Hadoop مانند Hive، که به کاربران اجازه می‌دهد داده‌ها را مستقیماً به جداول Hive وارد کنند و Apache Flume، امکان انتقال داده‌ها از منابع مختلف به Hadoop را با استفاده از Sqoop فراهم می‌کند.

📍احراز هویت و امنیت: Sqoop از روش‌های مختلف احراز هویت، از جمله احراز هویت مبتنی بر رمز عبور، Kerberos و LDAP پشتیبانی می کند. همچنین برای حفظ امنیت داده‌ها رمزگذاری داده‌ها را در حین انتقال ارائه می‌دهد.

📍توسعه پذیری: Sqoop توسعه پذیری را از طریق معماری پلاگین خود فراهم می‌کند و به کاربران امکان می‌دهد اتصالات سفارشی را برای پایگاه‌های داده یا منابع داده خاص ایجاد و ادغام کنند.


🖌به طور کلی، Apache Sqoop فرآیند یکپارچه سازی داده‌ها بین Hadoop و پایگاه داده‌های رابطه ای را ساده می‌کند و استفاده از قدرت Hadoop را برای تجزیه و تحلیل و پردازش مجموعه داده‌های عظیم برای کاربران آسان‌تر می‌کند، و آن را به ابزاری ضروری برای مهندسان داده و تحلیلگرانی تبدیل می‌کند که با مجموعه داده‌های بزرگ کار می‌کنند.

#معرفی_ابزار
#عظیم_داده
#فاطمه_مصلحی
#Apache_Sqoop

@BigData_BusinessAnalytics
http://www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


🔹 فصل ششم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور،" عوامل موثر و شرایط بالقوه‌ای که منجر به شکست پروژه‌های تحلیل‌گری می‌شود را مورد بررسی قرار می‌دهد.

📍در سال 2019، گارتنر پیش‌بینی کرد که بیش از 80 درصد از پروژه‌های تحلیل‌گری احتمالاً با شکست مواجه خواهند شد و تا سال 2022 نتایج تجاری مورد نظر را به دست نمی‌آورند. بنابراین قبل از ایجاد یک نقشه راه برای یک سازمان داده محور، درک محدودیت‌های حل نشده و شرایط بالقوه منجر به شکست حائز اهمیت است.

📍در واقع هدف ما موفقیت یک یا دو پروژه تحلیل‌گری جداگانه نیست، بلکه در واقع ایجاد یک سازمان داده‌محور است که نیازمند آن است که تمام تصمیمات کلیدی (اگر نگوییم تمام تصمیمات) بر مبنای داده‌ها اتخاذ شود، و در جایی که ممکن است در ادامه مورد حسابرسی قرار گیرد.

🔹نقشه راه تحلیل‌گری اساساً مجموعه‌ای از پروژه‌ها است که به ترتیب نزولی بر اساس ارزش نسبی خالص برنامه‌ریزی‌ برای آنها صورت می‌گیرد. به این معنی که پروژه ای که بالاترین ارزش نسبی را در برخواهد داشت اولویت بالاتری را به خود اختصاص می‌دهد و پس از آن به همین ترتیب سایر پروژه‌ها اولویت بندی می‌شوند. ارزش نسبی مورد بحث در اینجا به ارزش دلاری نتایج تجاری اشاره دارد که بهبود کیفیت تصمیم‌گیری منجر به آن می‌شود. از آنجایی که ما فقط پروژه‌هایی را انتخاب می‌کنیم که بالاترین پتانسیل را برای تحویل ارزش دارند، انتظار می‌رود ریسک شکست پروژه‌ها حداقل باشد.

❓اما آیا این برای تضمین موفقیت پروژه‌های تحلیل‌گری کافی است؟ چه عوامل دیگری اولویت نسبی تصمیمات «بزرگ» را در شرکت تعیین می‌کند؟ چه زمانی می‌توانیم بگوییم یک پروژه تحلیل‌گری را به انجام رسانده‌ایم که در واقع ارزشی را ارائه می‌دهد؟ دقیقا چه چیزی باعث موفقیت پروژه‌های تحلیل‌گری می‌شود؟ مهم‌تر از آن چه چیزی می‌تواند به طور بالقوه مانع از ارائه ارزش مورد نظر پروژه‌های تحلیل‌گری شود؟ برای شناسایی تصمیمات «بزرگ» و ایجاد یک نقشه راه اولویت‌بندی، چه نوع بررسی لازم است؟ ارزش در معرض خطر را چگونه برآورد می‌کنید؟ چگونه می‌توان یک مورد تجاری برای تحلیل‌گری ایجاد کرد؟

📍جهت پاسخگویی به سوالات مطرح شده موضوعاتی که در بخش ششم کتاب به آن پرداخته شده است عبارتند از:

✅ ایجاد نقشه راه برای تصمیمات بزرگ شامل شناسایی و اولویت بندی تصمیمات و همچنین نقشه راهی برای سازمان داده محور: یک چارچوب فرآیندی با جزئیات برای شناسایی و اولویت‌بندی تصمیمات بزرگ جهت ایجاد نقشه راه سازمان داده محور

✅ رمزگشایی از داده‌هایی که در پشت تصمیمات قرار دارند، مدلسازی و تحلیل تصمیمات: نیاز به مدلسازی و تحلیل تصمیمات پیش از تلاش جهت تبدیل نقشه راه تصمیمات بزرگ به یک طرح پروژه تمام عیار، با رویدادهای «راه‌حل‌های تحلیلی» به عنوان نقاط عطف پروژه

✅ ایجاد یک مورد کسب و کاری با تحلیل‌گری و منابع ارزش (پیشران‌های ارزش)، تخمین بازده و مقایسه شاخص‌های کلیدی عملکرد با معیارهای صنعت و برآورد سرمایه‌گذاری‌ها: از هر CDO (یا CIO) خواسته می‌شود که یک مورد کسب و کاری برای سرمایه‌گذاری‌های تحلیلی پیشرفته ایجاد نماید. ارزش افزایشی تولید شده از طریق تحلیل‌گری لزوماً باید بیش از سرمایه‌گذاری انجام شده باشد.

✅ از داده تا تصمیم: خلاصه سازی گام‌های دخیل در ایجاد نقشه راه و مورد کسب و کاری برای یک سازمان داده محور

✅ داده‌ها، اعتماد و تصمیم گیرنده: در اینجا موردی بررسی می‌شود که همه چیز به طور صحیح انجام شده است؛ تصمیم درست، مدل تحلیل‌گری صحیح، و داده‌های درست، با این حال مدیران در مقابل استفاده از تحلیل‌گری مقاومت می‌کنند. درک این موضوع که دقیقا چه چیزی بر روی چنین رفتاری تاثیر می‌گذارد حائز اهمیت است چرا که برای پاسخگویی به این سوال کمک می‌کند که چه چیز دیگری به طور بالقوه می‌تواند منجر به شکست پروژه‌های تحلیل‌گری و عدم تحویل ارزش‌های مورد نظر شود؟


#کتاب_بخوانیم
#فصل_ششم
#فاطمه_مظفری
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📶تبدیل بیگ دیتا به مزیت بزرگ برای خدمات مالی

#اینفوگرافی
#عظیم_داده
#BigData
#Oracle
#حمید_جمالی

www.bdbanalytics.ir
@BigData_BusinessAnalytics