اولین رویداد تخصصی مشترک آسیا،اروپا،آمریکا در حوزه ی HPC و BigData در ایران در حال برگزاری....
کنگره بین المللی #TopHPC2017
twitter.com/TopHPCCongress
کنگره بین المللی #TopHPC2017
twitter.com/TopHPCCongress
Forwarded from Hadoop.ir
وبینار آنلاین "آشنایی با هدوپ + اسپارک"
24 اردیبهشت 96 ساعت 19 تا 21
لینک ثبت نام : http://hadoop.ir/webinars/spark
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
24 اردیبهشت 96 ساعت 19 تا 21
لینک ثبت نام : http://hadoop.ir/webinars/spark
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
Forwarded from Hadoop.ir
همراهان گرامی مرجع هدوپ ایران
ویدیوهای کارگاه آموزش هدوپ تهران را می توانید از بخش دانلود خریداری و دانلود نمایید.
لینک بخش دانلود: http://download.hadoop.ir
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
ویدیوهای کارگاه آموزش هدوپ تهران را می توانید از بخش دانلود خریداری و دانلود نمایید.
لینک بخش دانلود: http://download.hadoop.ir
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
دومین کارگاه عملی آموزش هدوپ (به همراه اسپارک) به زودی در شهر شیراز برگزار می شود.
با تکمیل فرم پیش ثبت نام، به ما در برنامه ریزی هرچه بهتر این دوره یاری رسانید : http://hadoop.ir/shiraz/
@hadoop
با تکمیل فرم پیش ثبت نام، به ما در برنامه ریزی هرچه بهتر این دوره یاری رسانید : http://hadoop.ir/shiraz/
@hadoop
Forwarded from Hadoop.ir
This media is not supported in your browser
VIEW IN TELEGRAM
ویدیو وبینار آشنایی با اسپارک در بخش دانلود مرجع هدوپ ایران قرار گرفت.
برای تهیه این ویدیو به لینک روبرو مراجعه فرمایید: http://download.hadoop.ir
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
برای تهیه این ویدیو به لینک روبرو مراجعه فرمایید: http://download.hadoop.ir
مرجع هدوپ ایران
www.hadoop.ir
@hadoop
با سلام خدمت همراهان کانال بیگ دیتا
مفتخرم به نمایندگی از شرکت فرافکر (مرجع هدوپ ایران) در شهر زیبای شیراز مهد فرهنگ و تمدن، با همکاری اداره کل ارتباطات و فناوری اطلاعات استان فارس کارگاه عملی کلان داده ها و هدوپ را برای دومین بار در ایران برگزار کنیم.
افتخار برگزاری این کارگاه را تقدیم میکنم به شهرم که مکان نیست، منش است.
به روا داری ارجمند مردمان شهرم که غریب گداز نبوده اند ونیستند،
به فلسفه ی زندگی مردمان اصیلش که میدانند عطر بهار نارنج اردیبهشت شیراز ابدی نیست. لذت لحظه را میفهمند. به اندک کوچه باغهای مانده ی قصرالدشت،
به آن بنگاه محصور در سروناز باغ ارم،
به حوض سعدیه که در آن سکه می اندازیم،
به حافظیه در پاییز،
به خیابان وصال که قدمگاه عشاق نسل قبل من بود،
به سینما سعدی و ملاصدرا،
به قلب دنیا چهارراه زند، تقدیم میکنم.
گلناز اردشیری
@BigDataTechnology
مفتخرم به نمایندگی از شرکت فرافکر (مرجع هدوپ ایران) در شهر زیبای شیراز مهد فرهنگ و تمدن، با همکاری اداره کل ارتباطات و فناوری اطلاعات استان فارس کارگاه عملی کلان داده ها و هدوپ را برای دومین بار در ایران برگزار کنیم.
افتخار برگزاری این کارگاه را تقدیم میکنم به شهرم که مکان نیست، منش است.
به روا داری ارجمند مردمان شهرم که غریب گداز نبوده اند ونیستند،
به فلسفه ی زندگی مردمان اصیلش که میدانند عطر بهار نارنج اردیبهشت شیراز ابدی نیست. لذت لحظه را میفهمند. به اندک کوچه باغهای مانده ی قصرالدشت،
به آن بنگاه محصور در سروناز باغ ارم،
به حوض سعدیه که در آن سکه می اندازیم،
به حافظیه در پاییز،
به خیابان وصال که قدمگاه عشاق نسل قبل من بود،
به سینما سعدی و ملاصدرا،
به قلب دنیا چهارراه زند، تقدیم میکنم.
گلناز اردشیری
@BigDataTechnology
Forwarded from BigData (Golnaz Ardeshiri)
با سلام خدمت همراهان کانال بیگ دیتا
مفتخرم به نمایندگی از شرکت فرافکر (مرجع هدوپ ایران) در شهر زیبای شیراز مهد فرهنگ و تمدن، با همکاری اداره کل ارتباطات و فناوری اطلاعات استان فارس کارگاه عملی کلان داده ها و هدوپ را برای دومین بار در ایران برگزار کنیم.
افتخار برگزاری این کارگاه را تقدیم میکنم به شهرم که مکان نیست، منش است.
به روا داری ارجمند مردمان شهرم که غریب گداز نبوده اند ونیستند،
به فلسفه ی زندگی مردمان اصیلش که میدانند عطر بهار نارنج اردیبهشت شیراز ابدی نیست. لذت لحظه را میفهمند. به اندک کوچه باغهای مانده ی قصرالدشت،
به آن بنگاه محصور در سروناز باغ ارم،
به حوض سعدیه که در آن سکه می اندازیم،
به حافظیه در پاییز،
به خیابان وصال که قدمگاه عشاق نسل قبل من بود،
به سینما سعدی و ملاصدرا،
به قلب دنیا چهارراه زند، تقدیم میکنم.
گلناز اردشیری
@BigDataTechnology
مفتخرم به نمایندگی از شرکت فرافکر (مرجع هدوپ ایران) در شهر زیبای شیراز مهد فرهنگ و تمدن، با همکاری اداره کل ارتباطات و فناوری اطلاعات استان فارس کارگاه عملی کلان داده ها و هدوپ را برای دومین بار در ایران برگزار کنیم.
افتخار برگزاری این کارگاه را تقدیم میکنم به شهرم که مکان نیست، منش است.
به روا داری ارجمند مردمان شهرم که غریب گداز نبوده اند ونیستند،
به فلسفه ی زندگی مردمان اصیلش که میدانند عطر بهار نارنج اردیبهشت شیراز ابدی نیست. لذت لحظه را میفهمند. به اندک کوچه باغهای مانده ی قصرالدشت،
به آن بنگاه محصور در سروناز باغ ارم،
به حوض سعدیه که در آن سکه می اندازیم،
به حافظیه در پاییز،
به خیابان وصال که قدمگاه عشاق نسل قبل من بود،
به سینما سعدی و ملاصدرا،
به قلب دنیا چهارراه زند، تقدیم میکنم.
گلناز اردشیری
@BigDataTechnology
Forwarded from BigData (Golnaz Ardeshiri)
دومین کارگاه عملی کلان داده و هدوپ - شیراز
اطلاعات بیشتر و ثبت نام : https://hadoop.ir/shiraz
www.hadoop.ir
@hadoop
اطلاعات بیشتر و ثبت نام : https://hadoop.ir/shiraz
www.hadoop.ir
@hadoop
با تشکر از حمایت های بی دریغ وزارت ارتباطات و فناوری اطلاعات در برگزاری دومین کارگاه عملی کلان داده و هدوپ
https://fars.ict.gov.ir/fa/news/24620/برگزاری-دومین-کارگاه-عملی-کلان-داده-و-هدوپ-در-شیراز
https://fars.ict.gov.ir/fa/news/24620/برگزاری-دومین-کارگاه-عملی-کلان-داده-و-هدوپ-در-شیراز
Big Data Analytics Tutorial:
➡Overview
➡Data Life Cycle
➡Methodology
➡Core Deliverables
➡Key Stakeholders
➡Data Analyst
➡Data Scientist
➡Data Collection
➡Cleansing Data
➡Summarizing Data
➡Data Exploration
➡Data Visualization
Download PDF 👆
➡Overview
➡Data Life Cycle
➡Methodology
➡Core Deliverables
➡Key Stakeholders
➡Data Analyst
➡Data Scientist
➡Data Collection
➡Cleansing Data
➡Summarizing Data
➡Data Exploration
➡Data Visualization
Download PDF 👆
Facilitating Big Data Analysis Using Limited Computing Resources
By:
➡️ Reda Alhajj
Department of Computer Science,
the University of Calgary
CANADA
➡️ Close collaboration with the industry:
— RBC Royal Bank of Canada: Web mining, social media analysis, data allocation
— Dexterity: Charity management
— ABC FOREX: FOREX tracking and management
— GoMentor: Knowledge transfer
— Zayife & ACM: Risk and Safety
— Matching and recommendation
— Chaordix: Crowdsourcing
— Rainmaker: Saving the environment
➡️ Research driven tool development
— NetDriller
— VIREX
— AskFuzzy
— QueryBuilder
— DIMA
👇👇👇👇
By:
➡️ Reda Alhajj
Department of Computer Science,
the University of Calgary
CANADA
➡️ Close collaboration with the industry:
— RBC Royal Bank of Canada: Web mining, social media analysis, data allocation
— Dexterity: Charity management
— ABC FOREX: FOREX tracking and management
— GoMentor: Knowledge transfer
— Zayife & ACM: Risk and Safety
— Matching and recommendation
— Chaordix: Crowdsourcing
— Rainmaker: Saving the environment
➡️ Research driven tool development
— NetDriller
— VIREX
— AskFuzzy
— QueryBuilder
— DIMA
👇👇👇👇
«صنعت آیتی بیش از دنیای مد زنان مدام با تغییر ذائقهها متحول میشود.» شاید همین جمله ریچارد استالمن پدر دنیای متنباز کافی باشد تا بفهمیم چرا زنان به مباحث مد و سطوح بالاتر فناوری، بیش از حوزههای زیرساختی آن علاقه نشان میدهند. مبحث کلاندادهها هم از این وضعیت مستثنی نیست و به دلیل تحولات سریع آن، زنان تمایل بیشتری برای فعالیت در آن دارند. این موضوع به وضوح در ترکیب میزگرد ما با برخی از صاحبنظران و فعالان این حوزه هم نمایان بود، میزگردی که در آن سعی کردیم وضعیت بازار کلاندادها را از زبان کسانی بشنویم که در کوره کار و عمل این حوزه پختهاند و به خوبی با نقاط ضعف و قوت آن آشنایی دارند.
مقوله کلاندادهها در بسیاری از سازمانهای بزرگ کشور بیشتر در حد یک اسم یا یک ژست باقی مانده است. سازمانهایی نیز که قدری جدیتر در این حوزه فعالیت کردهاند به ندرت از فاز تحقیق و توسعه پیش رفتهاند. به نظر شما چرا چنین جهشی در ایران رخ نداده است؟
لیلی میرطاهری: در ایران بسیاری از دانشگاهها و صنایع از کلاندادهها صحبت میکنند، اما نتیجه قابل توجهی که برای افراد کارایی داشته باشد چندان به چشم نمیخورد. همانگونه که در دورههای مختلفی مبحث محاسبات ابری، محاسبات گرید، اَبَر رایانش ملی و سیستمعامل ملی را مطرح کردند، حالا از کلاندادهها سخن میگویند. علت این نوع رویکرد به خصوص از سمت دولتیها این است که بتوانند برای یک پروژه جدید بودجهای تامین کنند، اما در نهایت همین بودجه یا صرف پروژههای نیمهتمام قبلی میشود یا در سیستم به هدر میرود. یکی از دلایل این وضعیت سوءمدیریت است و دلیل دیگر ناآشنایی و بینیازی. اساساً باید ببینیم آیا در ایران به کلاندادهها نیاز داریم؟ در ایران هنوز نمیدانیم چه خروجی خاصی را در هر پروژه جدید دنبال میکنیم و قصد داریم چه مسالهای را حل کنیم. اگر اینها را بدانیم میتوانیم هدفگذاری درستی انجام دهیم و در نهایت با یک برنامهریزی مدون و مشخص به آن هدف برسیم.
به نظر میرسد اهمیتی برای داده و پردازش آن قائل نیستم و به آن نیازی نداریم تا بر اساس آن پروژه را تعریف و بودجه را تامین کنیم، به همین دلیل در همین سطح باقی مانده است. آیا این پیشفرض درستی است؟
قربان خردمندیان: وقتی صحبت کلاندادهها پیش میآید بحث گرفتن و مدیریت داده و بعد تحلیل آن مطرح میشود. من بیشتر از جنبه تحلیل آن صحبت میکنم. تجربه ما در دادهکاوان هوشمند نشان میدهد این نیاز به تحلیل کلاندادهها حس میشود. ما با بانکها کار میکنیم و اطلاعات خیلی خوبی دارند. آنها در مقولههایی همچون نرمافزارهای تشخیص تقلب، مبارزه با پولشویی و هوش تجاری به این تحلیلها نیاز دارند. اما هنوز نمیدانند این موارد نیاز به کلاندادهها دارد یا نه. به نظر ما در برخی موارد کلاندادهها میتواند برایشان کارآمد باشد، هرچند حجم دادههای آنها شاید در حد چند ۱۰ ترابایت باشد، در حالی که در بحث کلاندادهها ۴۲V مطرح میشود. در دادهکاوی برای تشخیص تقلب، یادگیریهای ناظر و غیرناظر داریم که پیچیدگی محاسباتی بالایی دارند. برای پردازشهای حجیم روی هفت میلیون داده غیر تکبعدی، الگوریتمها و سختافزارهای فعلی پاسخگوی نیستند. اگر الگوریتمهای ما توزیع شده باشند، خوشهبندی ساده در مراحل ابتدایی تحلیل دادهها بهتر انجام میشود. با این حال مهاجرت به سمت کلاندادهها به خاطر این قبیل نیازها پیشنهادی نیست که ما به آنها بدهیم.
طاهره صاحب:
در ایران مقوله کلاندادهها به تازگی مطرح شده است. طبق مقالات نشریههایی همچون هاروارد بیزینس، کلاندادهها برخلاف سایر فناوریها رشد میکنند، چون به شرکتها کمک میکنند تا درکی از مشتریان خود داشته باشند. توجه به کلاندادهها تا حدی به سیستم اقتصادی کشورها بستگی دارد که آیا اساساً مشتری در بازار وجود دارد یا نه. با وجود اینکه داده در ایران زیاد وجود دارد و بانکها تاحدود زیادی داده تولید میکنند، اما در ایران رقابت قابل توجهی در بازار وجود ندارد. در آمریکا کسبوکار جدیدی راهاندازی شده تحت عنوان کلاندادهها به مثابه خدمات BDAS (Big Data As a Service)، بسیاری از سازمانها دادههایی تولید میکنند و آنها را میفروشند. علاوه بر این، نیاز زمانی مشخص میشود که طراحی مفهومی وجود داشته باشد. در آمریکا هر شرکتی برای اینکه بفهمد آیا به مقوله کلاندادهها در یک پروژه نیاز دارد یا نه، معماری مفهومی آن را ایجاد میکند. معماری مفهومی به آنها نشان میدهد چه فرایندهای کسبوکاری دارند و آیا با کمک کلاندادهها میتوانند به اهداف کسبوکاری خود برسند یا نه. یکی دیگر
مقوله کلاندادهها در بسیاری از سازمانهای بزرگ کشور بیشتر در حد یک اسم یا یک ژست باقی مانده است. سازمانهایی نیز که قدری جدیتر در این حوزه فعالیت کردهاند به ندرت از فاز تحقیق و توسعه پیش رفتهاند. به نظر شما چرا چنین جهشی در ایران رخ نداده است؟
لیلی میرطاهری: در ایران بسیاری از دانشگاهها و صنایع از کلاندادهها صحبت میکنند، اما نتیجه قابل توجهی که برای افراد کارایی داشته باشد چندان به چشم نمیخورد. همانگونه که در دورههای مختلفی مبحث محاسبات ابری، محاسبات گرید، اَبَر رایانش ملی و سیستمعامل ملی را مطرح کردند، حالا از کلاندادهها سخن میگویند. علت این نوع رویکرد به خصوص از سمت دولتیها این است که بتوانند برای یک پروژه جدید بودجهای تامین کنند، اما در نهایت همین بودجه یا صرف پروژههای نیمهتمام قبلی میشود یا در سیستم به هدر میرود. یکی از دلایل این وضعیت سوءمدیریت است و دلیل دیگر ناآشنایی و بینیازی. اساساً باید ببینیم آیا در ایران به کلاندادهها نیاز داریم؟ در ایران هنوز نمیدانیم چه خروجی خاصی را در هر پروژه جدید دنبال میکنیم و قصد داریم چه مسالهای را حل کنیم. اگر اینها را بدانیم میتوانیم هدفگذاری درستی انجام دهیم و در نهایت با یک برنامهریزی مدون و مشخص به آن هدف برسیم.
به نظر میرسد اهمیتی برای داده و پردازش آن قائل نیستم و به آن نیازی نداریم تا بر اساس آن پروژه را تعریف و بودجه را تامین کنیم، به همین دلیل در همین سطح باقی مانده است. آیا این پیشفرض درستی است؟
قربان خردمندیان: وقتی صحبت کلاندادهها پیش میآید بحث گرفتن و مدیریت داده و بعد تحلیل آن مطرح میشود. من بیشتر از جنبه تحلیل آن صحبت میکنم. تجربه ما در دادهکاوان هوشمند نشان میدهد این نیاز به تحلیل کلاندادهها حس میشود. ما با بانکها کار میکنیم و اطلاعات خیلی خوبی دارند. آنها در مقولههایی همچون نرمافزارهای تشخیص تقلب، مبارزه با پولشویی و هوش تجاری به این تحلیلها نیاز دارند. اما هنوز نمیدانند این موارد نیاز به کلاندادهها دارد یا نه. به نظر ما در برخی موارد کلاندادهها میتواند برایشان کارآمد باشد، هرچند حجم دادههای آنها شاید در حد چند ۱۰ ترابایت باشد، در حالی که در بحث کلاندادهها ۴۲V مطرح میشود. در دادهکاوی برای تشخیص تقلب، یادگیریهای ناظر و غیرناظر داریم که پیچیدگی محاسباتی بالایی دارند. برای پردازشهای حجیم روی هفت میلیون داده غیر تکبعدی، الگوریتمها و سختافزارهای فعلی پاسخگوی نیستند. اگر الگوریتمهای ما توزیع شده باشند، خوشهبندی ساده در مراحل ابتدایی تحلیل دادهها بهتر انجام میشود. با این حال مهاجرت به سمت کلاندادهها به خاطر این قبیل نیازها پیشنهادی نیست که ما به آنها بدهیم.
طاهره صاحب:
در ایران مقوله کلاندادهها به تازگی مطرح شده است. طبق مقالات نشریههایی همچون هاروارد بیزینس، کلاندادهها برخلاف سایر فناوریها رشد میکنند، چون به شرکتها کمک میکنند تا درکی از مشتریان خود داشته باشند. توجه به کلاندادهها تا حدی به سیستم اقتصادی کشورها بستگی دارد که آیا اساساً مشتری در بازار وجود دارد یا نه. با وجود اینکه داده در ایران زیاد وجود دارد و بانکها تاحدود زیادی داده تولید میکنند، اما در ایران رقابت قابل توجهی در بازار وجود ندارد. در آمریکا کسبوکار جدیدی راهاندازی شده تحت عنوان کلاندادهها به مثابه خدمات BDAS (Big Data As a Service)، بسیاری از سازمانها دادههایی تولید میکنند و آنها را میفروشند. علاوه بر این، نیاز زمانی مشخص میشود که طراحی مفهومی وجود داشته باشد. در آمریکا هر شرکتی برای اینکه بفهمد آیا به مقوله کلاندادهها در یک پروژه نیاز دارد یا نه، معماری مفهومی آن را ایجاد میکند. معماری مفهومی به آنها نشان میدهد چه فرایندهای کسبوکاری دارند و آیا با کمک کلاندادهها میتوانند به اهداف کسبوکاری خود برسند یا نه. یکی دیگر