شماره 285 ماهنامه شبکه با پرونده ویژه آپاچی هدوپ منتشر شد

پرونده ویژه

• آپاچی هدوپ، کلید تسلط بر کلان‌داده‌ها و پردازش توزیع‌شده 
• آپاچی فلینک، موتور پردازش داده‌های جریانی با کارایی بالا 
• آپاچی اسپارک؛ ابزاری قدرتمند در اختیار تحلیلگران داده 
• آپاچی پولسار، پلتفرمی که داده‌ها و پیام‌ها را  در مقیاس بزرگ در لحظه پردازش می‌کند 
• آپاچی آیسبرگ، یک لایه ابرداده باز برای دریاچه‌های داده 
• Apache ShardingSphere، پل ارتباطی میان پایگاه‌های داده برای دستیابی به مقیاس‌پذیری بی‌نهایت 
• آپاچی کاساندرا (Apache Cassandra)، پایگاه داده‌ای برای مدیریت داده‌های حجیم و توزیع‌شده 

برای خرید و دانلود نسخه PDF ماهنامه شبکه 285 اینجا کلیک کنید

هوش مصنوعی

• مدل‌های مبنا در دنیای هوش مصنوعی چیستند؟ 
• هوش مصنوعی پایدار چیست و چه اهدافی را دنبال می‌کند؟

فناوری شبکه

• سرور مجازی و سرور ابری در میزبانی وب چه تفاوتی با یک‌دیگر دارند؟ 
• «ترجمه آدرس شبکه» چیست و چه انواعی دارد؟ 

امنیت

• سامانه پیشگیری از نفوذ (IPS) چیست و چه ویژگی‌هایی دارد؟  
• هکرها چگونه از حملات هیبریدی برای شکستن رمز‌های عبور استفاده می‌کنند؟

عصر شبکه

• چگونه دکتر سو در مدت 10 سال،AMD  را از یک شرکت در سایه، به یک پیشگام تبدیل کرد؟ 
• هوش مصنوعی و هوش انسانی؛ تفاوت‌ها در چیست؟ 

کارگاه

• فناوری WebGL چیست و چگونه گرافیک‌ وب را متحول خواهد کرد؟ 
• راهنمای آشنایی با تکنیک‌های مدیریت حافظه در PostgreSQL  

آپاچی هدوپ، کلید تسلط بر کلان‌داده‌ها و پردازش توزیع‌شده

گزارشی که موسسه Marketwatch منتشر کرده نشان می‌دهد بازار ابزارهای تحلیل داده و مرتبط با آپاچی هدوپ بین سال‌های 2019 تا 2025 رشد چشمگیری خواهد داشت. آن‌چه مسلم است، این واقعیت است که کلان‌داده‌ها در حال گسترش هستند، بنابراین تقاضا برای هدوپ نیز افزایش می‌یابد و این به معنای افزایش مشاغل مرتبط با هدوپ به‌ویژه توسعه‌دهندگان هدوپ است. هدوپ چیست؟ آپاچی هدوپ، چارچوب یا به عبارت دقیق‌تر، اکوسیستمی از ابزارها است که با استفاده از مدل‌های ساده برنامه‌نویسی، امکان پردازش توزیع‌شده مجموعه‌ای گسترده از داده‌ها را در قالب کلاسترها، فراهم می‌کنند. اکوسیستم مذکور، توانایی پشتیبانی از یک سرور تا هزاران ماشینی را دارد که هر کدام محاسبات و مکانیزم‌های ذخیره‌سازی محلی خاص خود را دارند. به بیان دقیق‌تر، آپاچی هدوپ، مجموعه‌ای از نرم‌افزارهای کاربردی منبع‌باز است که به‌گونه‌ای طراحی شده‌اند تا از طریق شبکه‌ای متصل از سرورها یا کامپیوترها، فرآیند پردازش حجم عظیمی‌ از داده‌ها و محاسبات مرتبط را انجام دهند. به عبارت ديگر، هدوپ یک اکوسیستم عالی برای مدیریت کلان‌داده‌ها و ایجاد استراتژی‌ها و راه‌حل‌های عملی بر اساس این داده‌ها است.

یکی از مشاغل دنیای داده‌محور که استفاده گسترده‌ای از ابزارهای هدوپ دارد، متخصصان تحلیل‌ داده‌ها هستند. تمرکز اصلی این متخصصان بر کشف و تجزیه‌و‌تحلیل داده‌های مفید درباره روندها و الگوهای پنهان است که اجازه می‌دهد شرکت‌ها بر مبنای بینش دقیق‌تر، تصمیمات مهم تجاری را اتخاذ کنند و مزیت رقابتی بزرگی نسبت به رقبا به دست آورند. در چنین شرایطی، این وظیفه تحلیل‌گر کلان‌داده‌ها است که با شناسایی‌، جمع‌آوری، تجزیه‌و‌تحلیل، مصور‌سازی و مرتبط کردن داده‌ها با فرآیندهای بازاریابی به سازمان‌ها در اتخاذ تصمیمات مهم کمک کند. یک تحلیل‌گر کلان‌داده‌ها باید به‌طور مستمر داده‌هایی را که از منابع مختلف دریافت می‌کند تحلیل کند تا بتواند نوسانات ناگهانی داده‌ها را کشف کرده و داده‌های پالایش‌شده‌ای در اختیار مدیران ارشد سازمان قرار دهد. تطبیق‌پذیری، فرموله کردن و حل مسئله، تفکر انتقادی و منطقی از مهارت‌هایی هستند که یک تحلیل‌گر کلان‌داده‌ها باید داشته باشد. با این حساب مشاهده می‌کنیم که تحلیل‌گران کلان‌داده‌ها باید در مورد داده‌کاوی و حسابرسی اطلاعات کافی داشته باشند. 

هنگامی که با کلان‌داده‌ها کار می‌کنید بسته به وظیفه خاصی که دارید و این‌که دقیقا چه کاری انجام می‌دهید مجبور هستید با ابزارهای مختلف کار کنید. به همین دلیل مهم است درباره ابزارهای ضروری که باید از آن‌ها استفاده کنید اطلاعات کافی داشته باشید و بر مبنای یک برنامه‌ریزی دقیق به‌فکر یادگیری آن‌ها باشید تا بتوانید در بازار کار موفق ظاهر شوید. خوشبختانه، ابزارهای مختلفی در دسترس افرادی قرار دارد که وظیفه کار با داده‌ها را دارند که از آن جمله باید به  MapReduce، Hive، Sqoop، Hadoop، Impala، Pig، HBase، Apache Spark، HDFS، YARAN  و Flume اشاره کرد.

با توجه به دستمزدهایی که متخصصان هدوپ دریافت می‌کنند، ممکن است تصور کنید که یادگیری ابزارهای مورد استفاده در این حوزه کار سختی است، اما لزوما این‌گونه نیست. اول این‌که از نظر تحصیلات دانشگاهی برای تبدیل شدن به یک توسعه‌دهنده هدوپ به مدارک مرتبط با علوم کامپیوتر نیازی ندارید. به لحاظ نظری شما می‌توانید هر مدرکی (روزنامه نگاری، تاریخ هنر، صنایع دستی) داشته باشید! اما باید با حوزه فناوری اطلاعات آشنا باشید. در مرحله دوم، باید برخی از مهارت‌های ذکرشده در این پرونده ویژه را کسب کنید. این مهارت‌ها را می‌توانید از طریق مطالعه کتاب‌ها یا مشاهده فیلم‌ها یا گذراندن کلاس‌های واقعی کسب کنید. طبیعتا آشنایی با اصول هدوپ یک امر ضروری است. از آن‌جایی که اکوسیستم هدوپ مبتنی بر الگوهای منبع‌باز است، یادگیری و کار با آن‌ها به کمک منابع آموزشی نسبتا ساده‌ است. مرحله بعد شامل انجام تمرینات و وظایف مرتبط با ابزارهای هدوپ است. به عبارت ديگر، کار نیکو کردن از پر کردن است. فراموش نکنید که برای به دست آوردن نتیجه خوب و موفق در هر کاری باید تلاش، کوشش و تمرین زیاد داشت. با تمرین زیاد خود را با شیوه کار با داده‌ها وفق می‌دهید و در رمزگشایی، تجزیه‌و‌تحلیل و تبدیل داده‌ها تجربه کسب می‌کنید. آیا بازار ابزارهای هدوپ آینده درخشانی دارند؟ طبق گزارش Allied Market Research

بازار جهانی هدوپ تا سال 2025 به رقم 85 میلیارد دلار خواهد رسید. در فهرست 20 مهارت فناوری برتر در حوزه علوم داده‌ها، هدوپ در رتبه چهارم قرار دارد و کمبود نیروی کار واجد شرایط در این حرفه آن را به یک فرصت شغلی استثنایی تبدیل کرده است. این حجم از تقاضا به این دلیل است که شرکت‌ها به این نتیجه رسیده‌اند که ارج نهادن به خواسته‌های مشتريان، یک مزيت رقابتی جدی برای آن‌ها به‌همراه خواهد داشت. درست است که مصرف‌کننده به دنبال کالای مناسب با قیمتی قابل قبول است، اما از طرف دیگر مشتریان دوست دارند شرکت‌ها برای آن‌ها ارزش قائل شوند و به نیازهای آن‌ها پاسخ دهند. چگونه یک شرکت تلاش می‌کند تا بفهمد مردم چه می‌خواهند؟ پاسخ مشخص است، با انجام تحقیقات میدانی که مشخص می‌کند مشتریان چه درخواست‌هایی دارند. این تحقیقات میدانی با تحلیل و پردازش حجم عظیمی از داده‌ها که درون بانک‌های اطلاعاتی یک سازمان یا شبکه‌های اجتماعی ذخیره‌سازی شده‌اند انجام می‌شود. به همین دلیل است که تقاضا برای توسعه‌دهندگان هدوپ بسیار بالا است و بیشتر هم خواهد شد. کسب‌و‌کارها به افرادی نیاز دارند که بتوانند با استفاده از هدوپ، داده‌ها را غربال‌گری کرده و با تبلیغات، ارائه ایده‌ها و سیاست‌گذاری‌های مناسب مشتريان را به‌سمت خود جلب کنند. این روشی است که امروزه تجارت بر مبنای آن انجام می‌شود و اگر در انجام آن کوتاهی کنید، کسب‌و‌کار شما نابود خواهد شد. با توجه به توضیحاتی که ارائه کردیم حدس زده‌اید که پرونده ویژه این شماره اختصاص به هدوپ و ابزارهای پرکاربرد آن دارد. ابزارهایی که اجازه می‌دهند فرآیند ذخیره‌سازی، پردازش و استریم کردن داده‌ها را به‌شکل کم‌دردسرتری انجام دهید.