پرونده ویژه

در پرونده ویژه شماره 248 ماهنامه شبکه درباره سیر تکوینی کلان داده‌ها، تاثیر و جایگاه کلان داده‌ها در علم تحقیق در عملیات، چگونگی استفاده از کلان داده‌ها برای حل مشکلات امروز ایران، معرفی مشاغل مرتبط با کلان داده‌ها و ابزارهایی که برای تحلیل کلان داده‌ها در اختیار داریم، اطلاعات جالبی به‌دست خواهید آورد.

• اطلاعاتی در مقیاس کوینتیلیون 
• برای ورود به عصر کلان داده‌ها آماده هستید؟ 
• برای موفقیت در دنیای کلان داده‌ها باید با اصطلاحات تخصصی این حوزه آشنا باشید 
• چرا بزرگ‌داده‌ها خاستگاه‌ تحقیق در عملیات هستند؟ 
• چه ابزارهای کارآمدی برای تحلیل کلان داده‌ها در دسترس قرار دارند؟ 
• اگر مهارت کار با کلان داده‌ها را  دارید به سراغ این مشاغل بروید 
• چگونه از کلان داده‌ها در دنیای واقعی استفاده کنیم؟

دیدگاه

• سرمقاله؛ ده‌ مهارت مهم نرم در سه سالِ بسیار سخت
• در آینده، روان‌شناسی و هوش مصنوعی دو مفهوم جدایی‌ناپذیر می‌شوند 
• فایل‌های سرگردان

شاهراه اطلاعات

• تفاوت‌ بین داده‌کاوی، یادگیری ماشین، هوش مصنوعی و یادگیری عمیق
• دنیای موبایل: آنتن‌هایی برای آینده 
• دنیای دوربین: چشم بینای فناوری 

فناوری شبکه

• وای‌فای 7 با وعده دسترسی به سرعت30 گیگابیت بر ثانیه
• پروتکل دروازه مرزی چیست و چه نقشی در دنیای شبکه‌های کامپیوتری دارد؟
• افزونگی در شبکه چیست و روی چه تجهیزات و فناوری‌هایی قابل اجرا است؟
• بهترین ویژگی‌های جدید ویندوز سرور

امنیت

• «فناوری اطلاعات در سایه چیست» و چه تهدیدات امنیتی را برای سازمان‌ها ایجاد می‌کند؟
• چگونه مانع هک شدن دوربین‌های مداربسته شویم؟

عصر شبکه

• یک دهه پس از استیو جابز، اپل چه موفقیت‌ها و شکست‌هایی تجربه کرده است؟
• چرا سیستم‌های هوش مصنوعی امروزی واقعاً هوشمند نیستند؟ 
• آیا در حوزه طراحی پردازنده‎های مرکزی جایگزین‎های بهتری نسبت به اینتل و ای‎ام‎دی وجود دارد؟

کارگاه

• رمز غیرقابل معاوضه (NFT) چیست و چگونه کار می‌کند؟
• داکر چیست و چگونه باید از آن استفاده کنیم؟

اطلاعاتی در مقیاس کوینتیلیون

کلان داده، اصطلاحی کلی برای توصیف و سنجش حجم عظیمی از داده‌هایی است که توسط منابع مختلف تولید و جمع‌آوری می‌شوند. داده‌هایی که اغلب اوقات خام یا بدون ساختار هستند و از بانک‌های اطلاعاتی رابطه‌ای و غیررابطه‌ای به‌دست می‌آیند. نکته مهمی که پیرامون کلان داده‌ها وجود دارد و کمتر در مورد آن شنیده‌اید، این است که 85 درصد اطلاعاتی که امروزه در اختیار ما قرار دارد در چند دهه قبل تولید شده‌اند. به بیان دقیق‌تر، شما در دستیابی به کلان داده‌ها نه تنها با محدودیت زیادی روبرو نیستید، بلکه به اندازه‌ای اطلاعات در اختیار دارید که هیچ‌گاه موفق به پردازش کامل آن‌ها نخواهید شد. ‌مطالعه‌ای که چند سال قبل توسط نشریه فوربس انجام شد، نشان داد که روزانه بیش از 2.5 کوینتیلیون بایت (10 به توان 30) داده تولید می‌شود که دست‌کم نیمی از آن‌ها اطلاعات بدون ساختار هستند. در دنیایی که در این حجم عظیم از اطلاعات در حال غرق شدن است، مهم است که بتوانید تنها اطلاعاتی که برای شرکت‌تان مهم و حیاتی است را به دست آورید تا بتوانید به‌سرعت تصمیمات مهم را  اتخاذ کنید. علاوه بر این، مشکل مهم دیگری که داده‌ها دارند، ماهیت چندوجهی آن‌ها، مباحث امنیتی و مشکلات حریم خصوصی است که پردازش این حجم از داده‌ها را با مشکل روبرو کرده است. از اوایل هزاره سوم اینترنت به سرعت رشد کرد، و صنایع، شرکت‌ها و سازمان‌های مختلف اقدام به تولید و جمع‌آوری داده‌ کردند. 

آمازون S3 را در مارس 2006 به عنوان بخشی از خدمات وب آمازون (AWS) معرفی کرد. S3 یک راهکار عالی برای ذخیره فایل‌ها در فضای ابری بود، اما هیچ قابلیت مدیریت داده کارآمدی نداشت. به فاصله کوتاهی، آپاچی هدوپ (Hadoop) وارد میدان شد و راهکاری یکپارچه برای مدیریت و پردازش داده‌ها ارائه کرد. هدوپ برای مدت زمان طولانی کارآمدترین راه‌حلی بود که برای کلان داده ارائه شد. در آن زمان متخصصانی که قصد داشتند راه‌حل‌هایی مبتنی بر هدوپ را پیاده‌سازی کنند کار سختی پیش‌رو داشتند، زیرا هدوپ زیرساخت کاملا پیچیده‌ای بود و تنها توسعه‌دهندگانی که مهارت و دانش کافی در ارتباط با کدنویسی داشتند قادر به کار با هدوپ بودند. در سال 2010 میلادی هایو (Hive) معرفی شد، با این‌حال، هنوز این قابلیت را نداشت تا به‌طور کارآمدی با هدوپ یکپارچه شود. به تدریج فناوری‌های دیگری معرفی شدند و فناوری‌هایی مثل هدوپ نیز قابلیت‌های کارآمدتری در اختیار متخصصان قرار دادند. چالشی‌ترین نکته در ارتباط با کلان‌ داده‌ها تولید مداوم داده‌ها است. 

به‌طور مثال، کاربران توییتر به‌طور متوسط ​​روزانه 500 میلیون توییت منتشر می‌کنند که این تعداد روز به روز در حال افزایش است. دسترسی به توییت‌های روزانه کامل توییتر (Firehose) پرهزینه است و محدود به شرکت‌هایی می‌شود که توانایی پرداخته هزینه آن‌را داشته و به این اطلاعات نیاز دارند. تخمین زده می‌شود که دسترسی به توییت‌های تحلیل شده این شبکه اجتماعی چندصدهزار دلار در سال هزینه دارد. به‌طور معمول، هنگامی که در مورد کلان داده‌ها و پردازش آن‌ها با مدیران سازمان‌ها صحبت می‌کنیم با پرسش‌های تقریبا یکسانی روبرو می‌شویم، آیا پرداخت چنین هزینه‌ای توجیه اقتصادی دارد؟ در ازای پرداخت این مبلغ چه چیزی دریافت می‌کنیم؟ آیا دستیابی به اطلاعات تحلیل شده یک مزیت رقابتی خوب در اختیار قرار می‌دهد؟ آیا دستیابی به اطلاعات تحلیل شده باعث رونق تجاری می‌شود؟ این امکان وجود دارد که زیرساختی در شرکت پیاده‌سازی کنیم و خودمان کلان داده‌ها را تحلیل کنیم؟ 

فادی ا. حرفوش (Fady A. Harfoush) متخصص  برجسته علم داده‌ها و پردازش داده‌ها می‌گوید: «تنها یک درصد از تمام پست‌ها و توییت‌های روزانه منتشر شده در شبکه‌های اجتماعی حاوی اطلاعات ارزشمند یا کاربردی هستند که ظرفیت تبدیل شدن به دانش و بینش قابل استفاده را دارند. یافتن یک درصد اطلاعات ارزشمند همانند جست‌وجوی سوزن در انبار کاه است. اگر نتوان به راحتی بین یک توییت ارزشمند یا واقعی و یک توییت ناخواسته یا جعلی تمایز قائل شد، یک کسب‌وکار چگونه باید اطمینان حاصل کند که بازگشت سرمایه‌اش تضمین شده است؟ آیا فقط برای یک درصد باید هزینه کرد و کدام بخش از یک درصد برای کسب‌وکار ما ارزشمند است؟ چه کسی درصد درست را تعیین می‌کند؟ بدون شک شرکت‌ها تنها برای خدمات باکیفیتی که دریافت می‌کنند حاضر به پرداخت هزینه هستند.» 

در حالی که قاعده ثابتی در دنیای تجاری وجود دارد که شما در مقابل خدمات یا کالای تضمین شده هزینه را پرداخت می‌کنید، در مورد داده‌ها این قاعده صدق نمی‌کند. تقریباً در همه موارد، ارائه‌دهنده یا فروشنده داده‌ها، در قرارداد خود به وضوح به موضوع سلب مسئولیت اشاره می‌کند و اعلام می‌دارد که هیچ مسئولیتی در قبال خطاها یا داده‌های پرت نخواهد داشت و خریدار باید تمام مخاطرات مربوط به استفاده از داده‌ها را بر عهده بگیرد.  با تمام این تفاسیر، کلان داده‌ها یکی از مهم‌ترین و تاثیرگذارترین حقیقت زندگی ما هستند. هوش مصنوعی، متاورس، ماشین‌های خودران، دستاوردهای دنیای پزشکی، دستاوردهای حوزه نجوم و بسیاری از ابداعات دنیای فناوری همگی مبتنی بر تحلیل کلان داده‌ها هستند. با توجه به اهمیت ویژه‌ای که کلان داده‌ها برای جامعه ایران دارد و در واقع کلید حل بخش عمده‌ای از مشکلات جامعه ایرانی است، پرونده ویژه این شماره را به مبحث کلان داده‌ها اختصاص داده‌ایم. در پرونده ویژه این شماره درباره سیر تکوینی کلان داده‌ها، تاثیر و جایگاه کلان داده‌ها در علم تحقیق در عملیات، چگونگی استفاده از کلان داده‌ها برای حل مشکلات امروز ایران، معرفی مشاغل مرتبط با کلان داده‌ها و ابزارهایی که برای تحلیل کلان داده‌ها در اختیار داریم، اطلاعات جالبی به‌دست خواهید آورد.