دلیل استفاده اسپارک برای یادگیری ماشین

Why you should use Spark for machine learning
http://www.infoworld.com/article/3031690/analytics/why-you-should-use-spark-for-machine-learning.html

@BigDataTechnology

فوربس
در مقیاس جهانی، اکثر مدیران ارشد دنیا، توانایی تحلیل‌ها و اطلاعات داده ای بزرگ را برای نوآوریِ موفق شرکت‌ها، ضروری می‌دانند.
تحلیل‌های پیشِ رو برای ۲۳ کشوری که در مطالعه موسسه جی‌ای و ادلمن برلند آمده است، نشان‌دهنده‌ی ارزشِ تغییر مسیر به سمت تحلیل‌ها و اطلاعات داده ای بزرگ از سال ۲۰۱۴ تا ۲۰۱۵ است.
🆔: @mfta_ir

✅ ترفندهای هدوپ ✅
در محیط واقعی برای حفظ امنیت سرورها هیچ وقت هدوپ را با شماره پورت های استاندارد راه اندازی نکنید و همیشه یک دفترچه از شماره های حیاتی کلاستر همراه خود داشته باشید.

مرجع هدوپ ایران
http://www.hadoop.ir
@hadoop

تفاوت های علم آمار، داده کاوی و کلان داده ها

✅ نکته های هدوپ ✅
یکی از اشتباهاتی که در استفاده از هدوپ رخ می دهد این است که هدوپ در همه شرایط بهترین نتیجه را خواهد داشت. در طراحی الگوریتم ها معمولا گفته می شود یک فایل حجیم را تبدیل به فایل های کوچک تر کنید تا پردازش آن سریع تر و به صورت موازی انجام شود. در هدوپ این نکته دقیقا برعکس است. هدوپ در هنگام کار با فایل های کوچک نتیجه ای مطلوب نخواهد داشت. اتفاقا اگر به هدوپ یک فایل حجیم بدهید بهتر از آن است که چند فایل کوچیک تکه تکه شده از یک فایل حجیم را بدهید. به دلیل ایجاد سربار بالا در خواندن فایل های کوچک،زمان اجرا و میزان مصرف حافظه افزایش چشمگیری خواهد داشت. راه حل جلوگیری از اینکار تبدیل فایل های کوچک به SequenceFile ها است که به جای وجود چند فایل کوچک،یک فایل حجیم داشته باشید. درست انتخاب کنید.

مرجع هدوپ ایران
http://www.hadoop.ir
@hadoop

مقاله کوتاهی در مورد کیفیت داده و اهمیت آن در حوزه های مختلف
http://www.infernotions.com/importance-clean-data/

IBM data scientists break big data into four dimensions: volume, variety, velocity and veracity. This infographic explains and gives examples of each 👇👇👇

Explore the IBM Analytics Technology Platform

http://www.ibm.com/analytics/us/en/technology/?S_TACT=M161089W&iio=panalytics&cmp=m1610&ct=m161089w&cr=newsroom&cm=h&csot=-&ccy=-&cpb=-&cd=-

Cloud Data Servicesis Open for DataWhere unstructured data goes to be understood

http://www.ibm.com/analytics/us/en/technology/cloud-data-services/open-for-data/

تفاوت متخصص علم داده و مهندس کلان داده @dataanalysis

به سلامتی تمام کسانی که مهندسی را درک کردند، به سلامتی تمام کسانی که پلی ساختند از انتهای بن بست کوچه ی رفاه تا بیکران، به سلامتی  تمام کسانی که خود را شبانه روز وقف کردند تا همگان شبانه روزی روشن داشته باشند، به سلامتی تمام کسانی که لذتش را فهمیدند نه آنان که تنها به نامش خوانده شدند…

روز مهندس مبارک🌷

@BigDataTechnology

درود فراوان به تمام دوستان و همراهان بیگ دیتا.

امروز فایل تصویری آموزش :
👈 "ذخیره دیتا در فایل سیستم هدوپ "👉
برای علاقمندان در کانال قرار می گیرد.

در ضمن بنا به درخواست دوستان طی چند روز آینده معرفی پایگاه داد های nosql و آموزش تخصصی کاساندرا همراه با فایل های تصویری در کانال بیگ دیتا انجام می شود.
با ما همراه باشید.
به دوستان و علاقمندان اطلاع دهید.

با تشکر از توجه شما
گلناز اردشیری

@BigDataTechnology

Internet of Things
معرفی اینترنت اشیاء و فناوری های مرتبط

 📞ارتباط با ادمین :
@Golnazardeshiri
-
https://telegram.me/IoTTechnology

فایل آموزشی
Write data into the Hadoop File System

دیتا فلگ
تکنیک های جلوگیری از مشکلات امنیتی توسط داده های عظیم: توجه به خطر امنیتی نقص، استفاده کردن از تکنیک رمز نگاره داده ها، برخورد سریع و امن ، استفاده از داده های عظیم برای امنیت بیشتر
🆔: @mfta_ir

ونچربیت
گوگل سرویس ابری خود موسوم به Cloud Dataproc را در دسترس عموم قرار داد. Cloud Dataproc یک ابزار مدیریتی ابری بر اساس زبان متن‌باز Hadoop (هدوپ) و Spark (اسپارک) است.
🆔: @mfta_ir

🆔: @mfta_ir

ونچربیت
سرویس Cloud Dataproc گوگل، قابلیت‌های متعددی دارد که پشتیبانی از موتور MapReduce، پشتیبانی از پلتفرم Pig برای برنامه‌نویسی و پشتیبانی از ابزار متن‌باز انبار داده‌ای Hive از آن جمله است.
🆔: @mfta_ir

ونچربیت
سرویس Cloud Dataproc گوگل، تکمیل‌کننده یک ابزار جداگانه گوگل به نام Google Cloud Dataflow است که در تجزیه و تحلیل انبوه اطلاعات زنده کاربرد دارد.
🆔: @mfta_ir

🆔: @mfta_ir