متخصصان علم داده ها data scientists – Telegram
متخصصان علم داده ها data scientists
1.42K subscribers
924 photos
165 videos
167 files
381 links
ارتباط با ادمین @IDataScientist
صفحه لینکدین
https://www.linkedin.com/groups/6728779/
Download Telegram
اتصال به منابع داده مختلف در آریاویژن
@aryavisions
اتصال به منابع داده مختلف در آریاویژن:

• ترکیب و پیوند بر روی پایگاه های داده مختلف
• پشتیبانی کامل از تقویم هجری شمسی
• پشتیانی کامل از دریل دان و رول آپ داده های زمانمند
• اتصال به پایگاه های داده Oracle ،Microsoft SQL Server ، MySQL ، PostgreSQL
• دسترسی به فایل های Excel ، CSV ، JSON و XML استخراج و نرمال سازی هوشمند اطلاعات از فایل های اکسل
• اتصال به سرویس آنالیز داده مایکروسافت SSAS
• تشخیص خودکار نوع داده های غیر ساخت یافته ورودی
• نمایه سازی خودکار جدول ها
• سیستم نگهداری موقت پاسخ درخواست های پر تکرار

@aryavisions
ساخت و طراحی نمودار های مختلف
@aryavisions
طراحی داشبوردهای متنوع
رابط کاربری کاملا فارسی
طراحی تجربه کاربری متناسب با کاربران غیر متخصص
محیط تحت وب و واکنشگرا

@aryavisions
سه راه بیشتر نداری...
با آریاویژن باشی
آریاویژن با تو باشه
یا توافق کنیم که با هم باشیم 😎

@aryavisions
واو... آریاویژن ETL هم داره!
چی میگی...! مگه داریم...!؟

@aryavisions
طراحی نمودارها و ایجاد داشبورد ها

• ایجاد انواع جداول و نمودار های آماری : نمودار خطی ، نمودار میله ای ، نمودار دایره ای ، نمودار حلقه ای و نمودار پشته ای
• محاسبات متنوع آماری بر روی داده ها: میانگین، واریانس، انحراف معیار و ...
• فیلتر داده ها و ایجاد گزارش های اختصاصی در بازه های مختلف
• فیلتر های متنوع بر اساس انواع داده ی ستون
• فیلتر در لحظه داده ها به صورت تعاملی روی نمودار ها
• ذخیره نمودارها در داشبورد و نمایش سفارشی شده
• چاپ نمودار ها و تهیه خروجی به انواع فرمت های رایج
• سیستم چند کاربره با امکان مدیریت پویای نحوه ی دسترسی کاربران به داشبوردها
• تغییر اندازه و مکان نمودارها در صفحه داشبورد
@aryavisions
طراحی نمودارها و ایجاد داشبورد ها
@aryavisions
این همه ویژگی در آریاویژن محاله ...! 😉
@aryavisions
آریاویژن و
apache spark

@aryavisions
کاربرد چارچوب محاسباتی Apache Spark در بیگ دیتا

در سال‌های اخیر، Apache Spark که قبلاً یکی از اجزاء موجود در چارچوب نرم‌افزاری Hadoop بود، به یک بستر محبوب برای شرکت‌ها در زمینه کلان داده تبدیل شده است. طبق گفته‌های Matei Zaharia ایده‌پرداز پروژه Spark، چارچوب محاسباتی Spark سرعت پردازش داده‌ ها را نسبت به Hadoop افزایش داده و در حال حاضر بزرگ‌ترین پروژه متن باز در حوزه کار با کلان داده یا بیگ دیتا‌ محسوب می‌شود. هم اکنون موارد زیادی از عملیاتی سازی کاربردهای Spark در شرکت‌هایی چون Goldman Sache دیده می‌شود. در تمامی این نمونه‌ها، چارچوب Spark همچون یک زبان واحد برای تجزیه و تحلیل بیگ دیتا مورد استفاده قرار گرفته است.

آریاویژن هم از apache spark برای بیگ دیتا استفاده میکند


@aryavisions
آشنایی با مزایا و نحوه بکارگیری سیستم BI

هوش تجاری (Business intelligence یا همان BI) یک اصطلاح کلی است که به تعداد زیادی برنامه و نرم‌افزار مورد استفاده برای پردازش و تحلیل اطلاعات خام یک شرکت اطلاق می‌شود. هوش کسب و کار در واقع از نظام به هم پیوسته‌ی فعالیت‌های مرتبط با همی چون داده کاوی، پردازش تحلیلی آنلاین، تحقیق و گزارش تشکیل شده است. این مقاله را بخوانید تا بیشتر با این مفهوم آشنا شوید.
شرکت‌ها از BI برای بهبود تصمیم‌گیری‌ها، صرفه‌جویی در هزینه‌ها و کشف فرصت‌های تجاری جدید استفاده می‌کنند. BI چیزی فراتر از جمع‌آوری گزارشات و چیزی بیشتر از مجموعه‌ای از ابزارها برای به‌کارگیری هوشمندانه‌ی سیستم‌های تجاری است. مدیران فناوری شرکت‌ها از هوش کسب و کار برای شناسایی عملیات تجاریِ ناقصی که می‌توانند بستر خوبی برای باز‌مهندسی باشند استفاده می‌کنند.

با وجود ابزارهای امروزیِ هوش کسب‌‌ و‌ کار، بهتر است افرادی که در کار تجارت هستند خودشان دست به کار شده و داده‌ها را تحلیل کنند و منتظر گزارش‌های پیچیده‌ی سیستم‌های فناوری اطلاعات نمانند. آزادسازی اطلاعات این امکان را به کاربران می‌دهد که تصمیمات تجاری‌ِشان را با پشتوانه‌ی اعداد قطعی و مشخص بگیرند؛ که در غیر این صورت مجبور می‌شدند تصمیمات‌شان را تنها بر اساس احساس درونی و شایعات اتخاذ کنند.
هر چند هوش تجاری امکانات زیادی فراهم می‌کند اما این محاسبات ممکن است بر اثر چالش‌های تکنیکی یا فرهنگی منحرف شوند. مدیران اجرایی باید از صحیح و کامل بودن داده‌هایی که به برنامه‌های BI وارد می‌شوند اطمینان داشته باشند تا کاربران بتوانند به آن اعتماد کنند.


@aryavisions
هوش تجاری یا Business intelligence
@aryavisions
چه نوع شرکت‌هایی از سیستم‌های هوش کسب‌ و‌ کار استفاده می‌کنند؟

رستوران‌های زنجیره‌ای از مهم‌ترین کاربران نرم‌افزار BI هستند. آنها از BI برای گرفتن تصمیمات راهبردی استفاده می‌کنند؛ تصمیماتی نظیر این که چه محصولات جدیدی را در منو قرار دهند، چه غذاهایی را حذف کنند و کدام شعبه‌های کم درآمد را تعطیل کنند. همچنین از BI برای مسائل تاکتیکی نیز استفاده می‌کنند، مثلا بررسی دوباره‌ی قراردادهایی که با شرکت‌های تأمین‌کننده‌ی مواد اولیه‌ی غذایی دارند یا برای بهبود شیوه‌های ناکارآمدی که تا الان به کار برده می‌شد. با توجه به شیوه‌ی کار عملیاتی رستوران‌های زنجیره‌ای و خاصیت مرکزی بودن سیستم BI برای کمک به آنها در اداره‌ی این کسب و کار، رستوران‌های زنجیره‌ای در صدر لیست همه‌ی صنایعی هستند که از ارزش واقعی این سیستم بهره‌مند می‌شوند.

یکی از اجزای اصلی هوش کسب و کار، تجزیه و تحلیل تجاری است. این عامل برای موفقیت بسیاری از شرکت‌ها در صنایع مختلف از جمله موفقیت تیم‌های ورزشیِ حرفه‌ای مهم است.

@aryavisions
چه نوع شرکت‌هایی از سیستم‌های هوش کسب‌ و‌ کار استفاده می‌کنند؟
@aryavisions
هفت قدم برای راه‌اندازی یک سیستم BI

۱. اطمینان از اینکه پاک‌سازی داده‌ها انجام شده است (حذف داده‌های پِرت، برطرف کردن ناسازگاری‌ها، حذف داده‌های تکراری و…)
۲. آموزش مؤثر کاربران
۳. همه چیز را سریع پیش ببرید و به تدریج تعادل ایجاد کنید. برای تهیه‌ی یک گزارش بی‌نقص وقت‌تان را تلف نکنید. همان طور که کسب و کار به سمت تکامل پیش می‌رود، نیازها هم پیش می‌روند. گزارش‌هایی را که باارزش‌ترین اطلاعات را در اختیار می‌گذارند به سرعت انتخاب کنید و روی آنها کار کنید‌.
۴. تمام تلاش‌تان را انجام دهید تا منبع داده‌های‌تان را از همان اول بسازید. خودتان را با یک استراتژی ناکارآمد برای به دست آوردن داده محدود نکنید.
۵. قبل از شروع کار معنای نرخ بازگشت سرمایه‌گذاری (ROI) را برای خودتان مشخص کنید. میزان سودی که انتظار دارید به دست بیاورید را تعیین کنید و هر فصل یا هر شش ماه یک بار بررسی کنید که تا چه حد این مقدار با واقعیت مطابقت دارد.
۶. بر اهداف کسب‌ و کار تمرکز کنید.
۷. به این دلیل که فکر می‌کنید به نرم‌افزار هوش کسب‌وکار احتیاج دارید آن را نخرید. هوش کسب‌‌وکار را با این ایده راه‌اندازی کنید که اعدادی وجود دارند که شما باید از آنها اطلاع داشته باشید ولی نمی‌دانید کجا باید دنبال آنها بگردید.

@aryavisions
پایگاه داده آپاچی کاساندرا(Apache Cassandra) چیست؟

کاساندرا یک پایگاه داده توزیع شده است. برای اینکه بدانید توزیع شدگی چیست، بهتر است درس سیستم توزیع شده چیست را مطالعه ای داده داشته باشید. این پایگاه داده برای مدیریت کلان داده یا مه داده کاربرد فراوانی دارد. کاساندرا هیچ نقطه خاص خرابی ندارد و به راحتی میتواند بر روی چندین کامپیوتر توزیع شود. این پایگاه داده توسعه پذیر خطی است و دسترس پذیری بالایی دارد. برای درک مفهوم توسعه پذیر خطی میتوانید این درس را مطالعه کنید. کاساندرا برای کار با داده های بسیار بزرگ طراحی شده است تا کاربران بتوانند این داده ها را به راحتی و با سرعت بالا دریافت کنند.در کاساندرا از معماری مستر/اسلیو استفاده نشده است. زیرا در این معماری معمولا گره (سرپرست) به دلیل کارکرد زیاد به گلوگاه سیستم تبدیل می شود. یعنی در صورتی که مستر از کار بیفتد یا کند شود، کل سیستم از کار می افتد یا کند می شود. برای همین در کاساندرا چیزی به نام مستر وجود ندارد و تمامی گره ها(کامپیوترها)ی متصل به هم، مانند یکدیگر رفتار می کنند. داده ها در گره های مختلف تکرارمی شوند. ساختار تکرار و تکثیر در آپاچی کاساندرا مانند شکل زیر است:

در درس آشنایی انواع با پایگاه داده NoSQL بحث کردیم که Cassandra از دسته Column Family Database ها است. این پایگاه داده ها که داده ها را به جای اینکه به صورت سطر به سطر مشاهده کنند، به صورت ستون به ستون مشاهده و ذخیره سازی میکنند، مناسب برای کاربردهایی مانند پردازش داده های بزرگ و BigData هستند. Cassandra از زبان پرس و جویی به نام CQL استفاده میکند که بسیار شبیه SQL است و برنامه نویسانی که میخواهند از SQL به Cassandra مهاجرت کنند، کار زیاد سختی در پیش ندارند.
@aryavisions
آریا ویژن از آپاچی کاساندرا هم استفاده می کند
@aryavisions
مشکلات سیستم bi

خودداری کاربران یکی از موانع بزرگ بر سر راه موفقیت BI است. مشکلات دیگر شامل ناچار شدن به غربال حجم زیادی از داده‌های نامربوط و کیفیت پایین داده‌هاست.
کلید به دست آوردن بینش دقیق از طریق سیستم BI، داده‌های استاندارد است. در هر بررسی BI، داده‌ها مهم‌ترین نقش را دارند. داده‌ها مثل آجرهایی هستند که بینش تجاری را می‌سازند. شرکت‌ها قبل از اینکه شروع به تجزیه و تحلیل کنند و بر اساس بینشی که به دست می‌آورند تصمیم‌گیری کنند، باید منابع داده‌های‌شان را به ترتیبی درست سازماندهی کنند. در غیر این صورت عملکرد آنها برپایه‌ی اطلاعات نادرستی خواهد بود.
مشکل دیگری که ممکن است با آن رو به رو شوید خودِ ابزار‌های BI هستند. هر چند این ابزارها امروزه جای بیشتری برای پیشرفت دارند و کار با آنها برای کاربران آسان‌تر از قبل شده است. هسته‌ی اصلی BI به جای آن که مدیریت روند باشد، هنوز بر پایه‌ی گزارش است؛ البته این وضعیت کم‌کم شروع به تغییر کرده‌ است. مراقب باشید مفهوم هوش کسب‌وکار را با تجزیه‌ و تحلیل تجاری اشتباه نگیرید.
سومین مانعی که بر سر راه استفاده از BI برای دگرگون کردن روند کسب و کار وجود دارد عدم شناخت بیشتر شرکت‌ها از روند کسب و کارشان است. (یا حداقل آن قدر نیست که بتواند به آنها در بهبود این روند کمک کند) شرکت‌ها باید در مورد روندی که انتخاب می‌کنند احتیاط زیادی به خرج دهند. اگر این روند تأثیر مستقیمی بر درآمد نداشته باشد یا کسب‌وکار در جهت استاندارد کردن این روند در شرکت نباشد، ممکن است کل کار BI مختل شود. شرکت‌ها باید همه‌ی فعالیت‌هایی که روند یک کسب و کار مشخص را شکل می‌دهند درک کنند، چگونگی انتقال داده در روندهای مختلف و چگونگی انتقال داده بین کاربران مختلف را درک کنند و بدانند که هر فرد چطور از آنها استفاده می‌کند تا نقش خود را در این روند ایفا کند. اگر آنها می‌خواهند از طریق BI نحوه‌ی کار افراد را بهبود ببخشند باید همه‌ی این موضوعات را قبل از شروع پروژه‌ی BI شناسایی و تحلیل کنند.


@aryavisions