پرونده ویژه

در شماره 259 ماهنامه شبکه به شما خواهیم گفت رشته مهندسی داده چیست و چرا پدید آمده است؛ چگونه به یک مهندس داده در سال 2023 تبدیل شویم؛ با پرسش و پاسخ‌های مصاحبه مهندس داده آشنا می‌شویم؛ نقطه نظرات ماکسیم بوشمین چهره تاثیرگذار مهندسی داده درباره آینده این حوزه را بررسی می‌کنیم؛ با 11 مهارت ضروری که یک مهندس داده باید در سال 2023 داشته باشد آشنا می‌شویم و تفاوت‌های میان مشاغل دانشمند داده، مهندس داده و تحلیل‌گر داده را بررسی خواهیم کرد.

• مهندسی داده، بازیگر تاثیرگذار فناوری‌اطلاعات در دنیای تجارت و اقتصاد 
• رشته مهندسی داده چیست و چرا پدید آمده است؟ 
• چگونه یک مهندس داده شویم؟ 
• 30 پرسش و پاسخ مهم مصاحبه‌های استخدامی مهندس داده 
• ماکسیم بوشمین، چهره تاثیرگذار مهندسی داده، آینده این حوزه را چگونه می‌بیند؟ 
• 11 مهارت ضروری که یک مهندس داده باید در سال 2023 داشته باشد
• چه تفاوتی میان مشاغل دانشمند داده، مهندس داده و تحلیل‌گر داده وجود دارد؟ 

شاهراه اطلاعات

• آیا مزارع خورشیدی شناور، کاربردی‌ترین فناوری سبز را ارائه می‌دهند؟ 
• جراحی از راه دور، فناوری‌‌‌ای که صنعت بهداشت و درمان را متحول می‌کند 

فناوری شبکه

• چرا سوئیچ‌های سیسکو انتخاب اول کارشناسان شبکه هستند؟
• چرا ذخیره‌سازی شیء‌محور و بلوک‌محور مورد توجه کارشناسان شبکه قرار دارند؟ 
• چگونه برای کسب‌وکارمان یک سرور ابری راه‌اندازی کنیم؟

عصر شبکه

• اینترنت رفتارها چیست و قرار است چه تحولاتی به‌وجود آورد 
• چگونه با نگاه به گذشته، آینده را بسازیم؟

امنیت 

• کارشناسان امنیتی: استفاده از هانی‌پات را جدی بگیرید 
• چگونه کارشناسان امنیتی مشکل احراز هویت کاربران برای سرویس‌های مختلف را حل می‌کنند؟

کارگاه

• Database Sharding چیست، چه مزایا و معایبی دارد؟
• JAMstack چیست و چرا نقش مهمی در طراحی وب‌سایت‌ها دارد

مهندسی داده، بازیگر تاثیرگذار فناوری‌اطلاعات در دنیای تجارت و اقتصاد

داده‌ها شبیه به قطرات باران، ذره‌به‌ذره به مخازن و بانک‌های اطلاعاتی یک سازمان وارد می‌شوند و حجم عظیمی از اطلاعاتی ر ا که باید تجزیه‌و‌تحلیل شوند پدید می‌آورند. داده‌هایی که اگر به‌درستی پردازش شوند، فرصت‌های تجاری منحصربه‌فردی در اختیار سازمان‌ها قرار می‌دهند. کافی است بدانید که چگونه از آن‌ها استفاده کنید. در دنیای مشاغل داده‌محور که همگی پیرامون کلان‌داده‌ها قرار دارند، یک مهندس داده  که برخی منابع از اصطلاح معمار داده یا تکنسین داده از آن یاد می‌کنند، یکی از تاثیرگذارترین عناوین شغلی چند سال آینده است، زیرا وظیفه دارد داده‌های بدون ساختار را به‌گونه‌ای آماده کند که برای تجزیه‌و‌تحلیل قابل استفاده باشند. به همین دلیل است که مهندسی داده پایه و اساس دنیای مبتنی بر کلان‌داده‌ها را شکل داده است. درست شبیه به مهندسی نرم‌افزار، نقش‌ها و مسئولیت‌های مهندسی داده، در حال تغییر هستند و به‌نظر می‌رسد تا چند سال دیگر باید با‌ عنوان شغلی مهندس پایگاه داده خداحافظی کنیم، زیرا سازمان‌ها به‌تدریج به سراغ مکانیزم‌های ذخیره‌سازی ابر‌محور خواهند رفت و مهندسان داده به‌طور فزاینده‌ای مسئول مدیریت عملکرد و قابلیت اطمینان داده‌ها خواهند شد. 

بد نیست بدانید که نقش‌های مختلفی پیرامون مهندسی داده در حال شکل‌گیری هستند. به‌طور مثال، مایکل کامینسکی، سردبیر مجله Locally Optimistic، برای اولین بار به ‌عنوان شغلی مهندس تجزیه‌و‌تحلیل اشاره کرد که ترکیبی از مهندسی داده و تجزیه‌و‌تحلیل داده‌ها است و رویکردی تحلیلی و کسب‌و‌کار-محور دارد.  در شرایطی که شرح وظایف و مسئولیت‌های یک مهندس داده از شرکتی به شرکت دیگر متفاوت است، اما همه وظایف حول محور داده‌ها هستند. علاوه بر این، یک مهندس داده مسئولیت حفاظت از داده‌ها و تامین امنیت آن‌ها را بر عهده دارد. 

با توجه به این‌که داده‌ها به روش‌های مختلفی مثل حساب‌های کاربری، فرآیندهای سفارش، ردیابی رفتار خریداران آنلاین، تعامل در رسانه‌های اجتماعی، اینترنت اشیاء، فایل‌های csv، اسناد متنی، عکس، ویدیو و غیره به منابع ذخیره‌سازی یک سازمان وارد می‌شوند، مهندس داده وظیفه دارد تا داده‌ها را ساخت‌یافته کرده و سازمان‌دهی کند. به‌طوری که دانشمندان و تحلیل‌گران داده از طریق پلتفرم و داشبوردی تعاملی، قادر به استفاده از داده‌ها باشند. 

در فرآیند استخراج، تبدیل و بارگذاری (ETL)، یک مهندس داده، خط لوله‌ای (Pipeline) ایجاد می‌کند تا داده‌ها از تمام منابع موجود به‌سمت پلتفرم هدف هدایت شوند. این مکانیزم، عملکردی شبیه به خطوط انتقال آب دارد که آب شرب را از مخازن و تصفیه‌خانه‌ها به سمت خانه مشترکان هدایت می‌کند. 

به‌طور معمول، مهندسان داده خبره برای تبدیل فرمت حجم عظیمی از داده‌ها به فرمت مورد نظر، اسکریپت‌های هوشمندی را می‌نویسند که قادر هستند به‌شکل خودکار داده‌ها را از منابع دریافت کرده و به بانک‌های اطلاعاتی هدایت کنند. در چنین شرایطی، اگر پروژه بزرگ یا پیچیده شود، بازهم فرآیند تغییر در اسکریپت‌ها با هدف تبدیل و انتقال داده‌ها، کار سختی نخواهد بود. در این حالت، مهندس داده با انجام چند آزمایش ساده اطمینان حاصل خواهد کرد که یکپارچه‌سازی و تحویل مداوم بدون مشکل در جریان است. 

موضوع مهم دیگری که پیرامون مهندسی داده وجود دارد، ذخیره‌سازی و مدیریت کارآمد سیل‌آسای اطلاعات است. مهم نیست چقدر داده تولید می‌شوند، یک مهندس داده مسئولیت مقیاس‌بندی، ساختاردهی و ذخیره‌سازی داده‌ها از طریق انبار داده را بر عهده دارد. برای این منظور، مهندسان داده از چارچوب‌هایی مثل هدوپ یا سرویس‌های ابرمحوری مثل AWS استفاده می‌کنند. 

سازمان‌های بزرگ از یک مهندس داده انتظار دارند تا تضمین کند سیستمی که توسعه می‌دهد مثل ساعت کار می‌کند. به همین دلیل، الگوریتم‌ها باید به‌شکل مستمر بررسی و کنترل شوند و در صورت لزوم تغییراتی در آن‌ها اعمال شود تا به‌درستی کار کنند. 

یکی از موضوعات مهمی که یک مهندس داده باید به آن دقت کند، مبحثی تحت عنوان «خزش عملیاتی» است. خزش عملیاتی، به افزایش تدریجی مسئولیت‌ها در طول زمان اشاره دارد و متاسفانه، مشکلی است که بیشتر مهندسان داده با آن روبه‌رو هستند. در حالی که ابزارهای مدرن می‌توانند بهره‌وری مهندسان داده را بهبود بخشند، اما این حرف به‌معنای آسان‌تر شدن کارها نیست. در واقع، این ابزارها در بیشتر موارد، باعث افزایش کارها می‌شوند. در شرایطی که نقش‌های تخصصی‌تری پدید آمده‌اند و تیم‌های مهندسی داده بر مبنای الگوهای توزیع‌شده کارها را انجام می‌دهند،

خزش عملیاتی هنوز هم وجود دارد. به همین دلیل، باید در این زمینه آگاه باشید و در زمان عقد قرارداد با شرکت‌ها به این نکته دقت کنید، زیرا ممکن است مجبور شوید کارهایی بیشتر از دستمزدی که دریافت می‌کنید انجام دهید. همان‌گونه که ممکن است حدس زده باشید، در پرونده ویژه این شماره مجله شبکه به سراغ مبحث مهندسی داده رفته‌ایم. در این شماره به شما خواهیم گفت رشته مهندسی داده چیست و چرا پدید آمده است؛ چگونه به یک مهندس داده در سال 2023 تبدیل شویم؛ با پرسش و پاسخ‌های مصاحبه مهندس داده آشنا می‌شویم؛ نقطه نظرات ماکسیم بوشمین چهره تاثیرگذار مهندسی داده درباره آینده این حوزه را بررسی می‌کنیم؛ با 11 مهارت ضروری که یک مهندس داده باید در سال 2023 داشته باشد آشنا می‌شویم و تفاوت‌های میان مشاغل دانشمند داده، مهندس داده و تحلیل‌گر داده را بررسی خواهیم کرد.