نگاهی به مراکز داده غول جست‌وجوی اینترنتی

درون مغز گوگل را ببینید

25/07/1394 - 11:15

مترجم:

به‌تازگی شرکت گوگل نمایشی اجمالی از درون پایگاه‌های عظیم داده خود در سراسر جهان داشته است. این شرکت مسیر پردازش درخواست‌های جست‌وجو از طریق اینترنت از سوی کامپیوترها و در نهایت، نمایش ویدیوهای یوتیوب و ایمیل برای میلیون‌ها کاربر را نشان داده است. غول جست‌وجوی اینترنت نشان داد بیش از صد هزار سرور در مقیاس انباره داده در سراسر جهان اجرا شده و با سرعت 10 گیگابیت در قالب شبکه ژوپیتر، نتایج جست‌وجو برای کاربران به نمایش درمی‌آید (شکل 1).

شکل 1: پایگاه داده گوگل در داگلاس ایالت جورجیا. شرکت گوگل به سوی پایگاه‌های داده‌ای که به‌عنوان مرکز عصبی این شرکت به کاربران سرویس می‌دهد، پنجره‌ای مجازی باز کرده است و نشان می‌دهد چگونه سخت‌افزارها به خودی خود توسعه می‌یابند.

شرکت گوگل همچنین اعتراف کرد برای رسیدن به سطح عملکرد مورد نیاز خود در شبکه، سخت‌افزار منحصر به‌فرد خود را ساخته است. امین وحدت می‌گوید: «به دنبال مأموریت گوگل به‌منظور سازماندهی اطلاعات و ایجاد دسترسی جهانی به داده‌ها، از منابع ذخیره داده و نیز کامپیوترهای زیادی برای انجام فرآیندهای مربوط به پردازش و محاسبات استفاده شده است.» وی می‌افزاید: «در واقع، گوگل نیاز به یک کامپیوتر در مقیاس انباره داده دارد. ده سال پیش متوجه شدیم برای تأمین نیازهای مربوط به دسترسی داده و سرعت بالای پردازش، نباید به هر قیمتی یک شبکه پایگاه داده خریداری کرد. به همین دلیل، شروع به ساخت زیرساخت سخت‌افزار و نرم‌افزار شبکه پایگاه داده خود کردیم.»

مطلب پیشنهادی: بهترين رويكردها برای ساخت نسل بعدی مراكز داده

در کنفراس ACM SIGCOMM، سخن‌گوی شرکت گوگل عملکرد این سیستم را تشریح کرد: «از همان ابتدای کار و پس از یکی دو قدم اشتباه، ما پنج نسل از زیرساخت شبکه پایگاه داده را تولید کردیم و توسعه دادیم. آخرین نسل این شبکه‌ها که همان شبکه ژوپیتر است، با ظرفیتی حدود صد برابر بیش از شبکه نسل اول ما و با نرخ بیش از یک پتابیت بر ثانیه از مجموع پهنای باند دوبخشی، به ارائه خدمات به کاربران پرداخته است. این به آن معنا است که هر یک از صد هزار سرور می‌تواند با یک الگوی دلخواه و با نرخ 10 گیگابیت با دیگری ارتباط برقرار کند.» گوگل معتقد است این سرعت به توسعه محصولات آن کمک چشمگیری کرده است (شکل 2).

شکل 2: گوگل می‌گوید در داخل اتاق شبکه ما مسیریاب‌ها و سوییچ‌ها به پایگاه‌های داده ما این امکان را می‌دهند که با یکدیگر صحبت کنند. شبکه‌های IC که سایت‌های ما را به یکدیگر متصل می‌کند، می‌توانند با نرخ‌هایی بیش از دویست هزار برابر سریع‌تر از یک اتصال خانگی اینترنت اجرا شوند. کابل‌های فیبر نوری در راستای سینی‌های کابل زرد نزدیک سقف قرار دارند.

امین وحدت در مصاحبه با مجله CIO می‌گوید: «یکی از عللی که شرکت گوگل این اطلاعات را با دیگران به اشتراک گذاشته است، رونمایی از زیرساخت خود و پیشنهاد پلتفرم ابر گوگل به سایرین است. داشتن یک زیرساخت محاسباتی بزرگ و توزیع شده، نیازمند یک شبکه با کلاس جهانی است تا سرورها را به یکدیگر متصل کند.» گوگل علاقه‌مند است برنامه‌نویسان در سایر شرکت‌ها متوجه شوند می‌توانند فعالیت خود را روی چنین زیرساختی و با سرعت و عملکرد قابل اطمینان ادامه دهند. پیش از این، این شرکت از افشای چنین سطحی از جزییات کار خود امتناع می‌کرد و این به آن علت بود که چنین قابلیتی یک تفاوت کلیدی با سایر شرکت‌ها قلمداد می‌شود.
گوگل می‌گوید شبکه‌های پایگاه داده آن بخشی از بزرگ‌ترین شبکه‌های پایگاه داده دنیا محسوب می‌شود. با شروع فعالیت سایر شرکت‌ها در اجرا و تحلیل داده‌های عظیم در پایگاه‌های داده خود، با توسعه شبکه پایگاه داده خود مواجه شدند؛ به گونه‌ای که قادر به کنترل ترافیک داده نیز باشند.دکتر وحدت می‌گوید: «در حالی که گوگل باید با برخی از این چالش‌ها مواجه شود، هر شرکت دیگری نیز ممکن است با این مشکل دست و پنجه نرم کند. متعاقب آن، میزان پهنای باند مورد نیاز شما در پایگاه داده برای پردازش همه داده‌ها نیز افزایش خواهد یافت.» (شکل‌های 3 و 4)

شکل 3: گوگل با ارائه این دیاگرام مشخص کرد چگونه شبکه ژوپیتر با چنین سرعتی و با استفاده از سوییچ‌های شبکه خود را توسعه می‌دهد.

شکل 4: به دنبال مأموریت گوگل در راستای سازماندهی اطلاعات جهانی، امکان دسترسی همگانی به داده‌ها و اجرای محاسبات و دسترسی به منابع ذخیره داده فراهم شد (دیاگرام نشان‌دهنده نحوه عملکرد زیرساخت است).

با وجود صدها و هزاران سرور و کابل‌های رنگی، بسیاری از مهندسان می‌توانند به‌سرعت یک کارخانه تولید کاغذ در فنلاند را به سرورهای موجود در آیوا متصل کنند. شرکت گوگل می‌گوید: «اولویت نخست ما حفظ حریم شخصی و امنیت داده‌های مردم و هدف ما حفاظت از سایت‌ها است. در حالی که ما بسیاری از اطلاعات مربوط به طراحی‌ها را به اشتراک گذاشتیم و از سال 2008 به انتشار اطلاعات کارآمد خود در این زمینه پرداختیم، فقط بخش کمی از کاربران به سرور دسترسی دارند.» امروز و برای نخستین بار شما می‌توانید درون پایگاه‌های داده را به‌صورت مجازی ببینید. گوگل معتقد است هر جایی که اینترنت وجود دارد، سایت جدید ما تصاویری زیبا توسط کانی‌ژو به نمایش می‌گذارد و این فناوری به گونه‌ای است که تاکنون تجربه نکرده‌اید. این سایت تصاویری از داخل برخی از هشت پایگاه داده گوگل که در حال حاضر در امریکا، فنلاند و بلژیک وجود دارند، برای کاربر به نمایش درمی‌آورد.
در حال حاضر، گوگل در حال ساخت پایگاه‌های داده خود در هنگ‌کنگ، تایوان، سنگاپور و شیلی است. تور مجازی بازدید از پایگاه داده کارولینای شمالی در سایت گوگل از طریق سرویس Street View که اغلب برای مشاهده تصاویری از مناطقی از سراسر جهان مورد استفاده قرار می‌گیرد، قابل دسترسی است. دسترسی تصویری به پایگاه‌های داده گوگل، با انتشار مقاله‌ای در مجله Wired درباره نحوه ایجاد و کار با آن‌ها نیز امکان‌پذیر است. این مقاله توسط استیون لوای، روزنامه‌نگاری که با نگاشتن کتاب In The Plex برنده جایزه گوگل شد، نوشته شده است. این کتاب سال گذشته درباره سیر تکامل و توسعه شرکت گوگل به چاپ رسیده است (شکل‌های 5 و 6).

شکل 5: حتی لوله‌های آب هم نام گوگل را تداعی می‌کنند. این لوله‌های رنگی مسئول حمل آب در داخل و خارج پایگاه داده اورگان هستند. لوله‌های آبی رنگ آب سرد را حمل می‌کنند و لوله‌های قرمز آب گرم را به‌منظور سرد کردن باز می‌گردانند.

شکل 6: یکی دیگر از پایگاه‌های داده گوگل. مؤسسان شرکت گوگل، لری پیج و سرجی برین، با کمک سایر مهندسان سیستمی به‌منظور اتصال سرورهای کامپیوتری به یکدیگر و با کم‌ترین هزینه طراحی کرده‌اند تا نمایشی دیجیتال از کل داده‌های جهانی فراهم شود.

پایگاه‌های داده گوگل در واقع پایگاه‌های عصبی گوگل را ارائه می‌دهند، در حالی که هیچ یک از آن‌ها نزدیک به دفتر اصلی شرکت در کالیفرنیا قرار نگرفته است. بنیان‌گذاران شرکت گوگل، لری پیج و سرجی برین، با کمک سایر مهندسان سیستمی طراحی کردند که با هزینه کم سرورها به یکدیگر متصل شوند و داده‌های جهانی به‌صورت یک‌پارچه در دسترس عموم قرار گیرند.

شکل 7: یک Street View که توسط گوگل منتشر شده است و یک نکته جالب را نشان می‌دهد؛ یکی از اعضای گارد نگهبانی در کنار یک سرور در اتاق سرور گوگل در کارولینای شمالی.

در ابتدا، گوگل فقط به دنبال کسب توانایی لازم به‌منظور مشخص کردن همه وب‌سایت‌های موجود روی اینترنت و ارائه پاسخ سریع به درخواست جست‌وجوی کاربران بود. با ورود گوگل به بازارهای دیگر، شرکت درصدد برآمد تا کامپیوترهای دیگری به‌منظور ذخیره فیلم‌ها، تصاویر، ایمیل و سایر اطلاعات درباره علایق کاربران، به مجموع سرورهای خود اضافه کند. این نگرش که گوگل در حدود بیش از یک میلیارد کاربر متقاضی خدمات این شرکت را گرد هم می‌آورد، موجب شد تا غول جست‌وجو به دنبال حفظ حریم شخصی کاربران برآید.

شکل 8: در این‌جا صدها فن برای هدایت هوای گرم ناشی از رک‌های سرور به واحد خنک‌کننده به کار گرفته شده‌اند. نور سبز ناشی از انعکاس نور ال‌ای‌د‌ی‌ها نشان‌دهنده وضعیت فعال سرورها است.

گوگل به دقت درخواست‌های جست‌وجوی اینترنتی را مطالعه می‌کند تا درک مناسبی از علایق کاربران و عادات آن‌ها به دست آورد. هدف گوگل از این امر ارائه خدمات مطلوب به کاربران و راغب کردن آن‌ها به استفاده از سرویس‌های این شرکت است. هزینه تبلیغات گوگل در نیمه نخست سال جاری بالغ بر 23 میلیارد دلار بوده است.

شکل 9: اتاق شبکه آیوا که در آن مسیریاب‌ها و سوییچ‌ها به پایگاه‌های داده امکان ارتباط با یکدیگر را فراهم می‌کنند. کابل‌های فیبر نوری در امتداد کانال‌های کابل زرد نزدیک سقف هستند.

با وجود این‌که هر کاربری به اینترنت متصل است، به اطلاعات پایگاه‌های داده نیز دسترسی دارد. گوگل در نظر دارد از نزدیک دسترسی فیزیکی کاربران به این سیستم را حفاظت کند. این شرکت همچنین درباره تعداد کامپیوترهایی که در پایگاه‌های داده خود موجود دارد، محتاط است و ابراز کرده است صدها هزار کامپیوتر برای ارائه خدمات گوگل در اختیار دارد. نیاز گوگل به تعداد زیادی کامپیوتر، این شرکت را به یکی از مصرف‌کنندگان عمده برق تبدیل کرده است. مدیر شرکت گوگل اظهار امیدواری کرده است که به دنبال راه‌هایی به‌منظور کاهش مصرف برق و متعاقب آن، کاهش هزینه‌های این شرکت است.

شکل 10: مهندس گوگل یک سی‌پی‌یو را شناسایی کرده که بیش از اندازه گرم شده است. بیش از یک دهه گوگل کارآمدترین سرورهای دنیا را طراحی و ساخته است.

چگونه شبکه زیرساخت گوگل طی 10 سال اخیر توسعه پیدا کرده است؟
شرکت گوگل اعلام کرده است در نظر دارد وای‌فای منزل شما را تعمیر کند؛ البته از داخل شبکه و مدتی طولانی است که روی مسائل پیچیده‌تر شبکه مطالعه می‌کند. برای اتصال صدها و هزاران دستگاه که پایگاه داده‌های گوگل را تشکیل می‌دهند، شما نمی‌توانید فقط از چند مسیریاب یا سوییچ ابتدایی استفاده کنید. به همین علت، به‌منظور مدیریت انتقال همه داده‌ها بین سرورها، گوگل سخت‌افزار و نرم‌افزار مختص خود را ساخته‌ است و اکنون پرده‌ها را کنار زده تا دیگران نیز شاهد انقلاب زیرساخت شبکه آن شوند.

شکل 11: پایگاه داده گوگل در داگلاس در جورجیا که وسعت آن بسیار زیاد بوده و برای جابه‌جایی کارکنان این قسمت دوچرخه تعبیه شده است.

تنظیمات کنونی گوگل که به اصطلاح شبکه مشتری نام می‌گیرد، ظرفیتی صد برابر بیش‌تر از نخستین نسل شبکه دارد و می‌تواند یک پتابیت بر ثانیه از مجموع پهنای باند دوبخشی را ارائه دهد. گوگل معتقد است این نوع شبکه به صد هزار سرور امکان خواندن همه داده‌های اسکن شده در کتابخانه کنگره را در کم‌تر از یک دهم ثانیه فراهم می‌کند.

شکل 12: گوگل در حال حاضر بالغ بر صد هزار سرور در سراسر جهان دارد که با سرعت 10 گیگابیت با یکدیگر به تبادل داده می‌پردازند.

امین وحدت می‌گوید: «چنین عملکردی از یک شبکه توانمندی خیره‌کننده خدمات گوگل را نشان می‌دهد. مهندسان و برنامه‌نویسان از بهینه‌سازی کدهای خود برای سطوح مختلف پهنای باند به‌صورت سلسله مراتبی رها شدند. به‌عنوان مثال، در گذشته تبادل داده با تعیین محل دقیق ذخیره داده‌ها و سرورهای متصل به سوییچ‌های اصلی انجام می‌شد که امکان قطع ارتباط ناشی از بروز مشکل در یک سوییچ وجود داشت.» (شکل 13)

شکل 13: نوآوری‌های گوگل در زمینه شبکه‌سازی

ده سال پیش، گوگل در هر نقطه از زمین چنین ظرفیتی نداشت. در واقع این ظرفیت پیش‌تر توسط یوتیوب فراهم شده بود و ظرف مدت زمان کوتاهی از راه‌اندازی سرویس‌هایی نظیر Gmail، Google Earth و Google Maps، نیازهای این شرکت به‌سرعت تغییر کرد.
همان طور که گوگل در مقاله اخیر خود اظهار داشته است، این شرکت اساساً هنوز از خوشه‌های سرور استاندارد سال 2004 استفاده می‌کند و دستگاه‌های سال 2005 نخستین نمونه از شبکه‌ای بود که در ساختار پایگاه داده Firehose 1.0 به کار گرفته شد. هدف از ساخت این دستگاه‌ها دسترسی به نرخ Gbps 1 از پهنای باند دوبخشی بین ده هزار سرور است. برای این منظور، گوگل تلاش می‌کند سوییچینگ را روی سرورهای خانگی یک‌پارچه کند، اما مشخص است که «آپ‌تایم (مدت زمانی که یک دستگاه یا کامپیوتر در حال کار است) سرورها کم‌تر از مقدار ایده‌آل است.»
با استفاده از Firehose 1.1 گوگل نخستین خوشه پایگاه داده خود را به کار گرفت. مهندس گوگل می‌گوید: «ما از FH1.0 یاد گرفتیم از سرورهای معمول برای سرویس‌دهی به سوییچ‌های خانگی استفاده نکنیم و به‌جای آن، گوگل از ساختار دیگری که به‌اصطلاح معماری کلوس نام دارد، برای راه‌اندازی شبکه‌های پایگاه داده خود استفاده کرد.»

در سال 2008، Firehose 1.1 از فیبر 10 گیگابیت به‌جای کابل‌های رایج شبکه استفاده کرد و از آن به‌عنوان برج مراقبت یاد شد. گوگل این نسخه را برای همه پایگاه‌های داده خود در سراسر دنیا مورد استفاده قرار داد. یک سال پیش، برج مراقبت به زحل تبدیل شد. در حالی که ساختار برج مراقبت به گونه‌ای بود که می‌توانست تا نرخ 87 ترابیت را سرویس دهد، زحل قادر بود در رک‌های متراکم، حداکثر نرخ 207 ترابیت را سرویس دهد. زحل به‌خوبی به گوگل خدمات می‌دهد؛ زیرا از سه سال قبل نیازهای آن پیش‌بینی شده بود.
مهندسان گوگل می‌گویند: «با افزایش پهنای باند مورد نیاز برای هر سرور نیاز به پهنای باند یک‌پارچه در همه خوشه‌های یک پایگاه داده حس شد. با ظهور سیلیکون 40 گیگابیت متراکم، قادر بودیم معماری کلوس خود را در کل پایگاه‌های داده لایه شبکه درون خوشه‌ای گسترش دهیم.»
این همان معماری است که در حال حاضر به گوگل اجازه می‌دهد از یک پایگاه داده به‌عنوان یک ابرکامپیوتر که با استفاده از برنامه‌های نرم‌افزاری قادر است توزیع منابع محاسباتی و ذخیره‌سازی موجود روی سرورهای مختلف شبکه را هدایت کند، نگهداری کند.سخت‌افزار ژوپیتر از لحاظ ساختار سخت‌افزاری با آخرین دستاورد گوگل متفاوت است، اما از بسیاری جهات این واقعیت که شرکت به‌سرعت SDN را به خدمت گرفت، گریزناپذیر است. گوگل با ارائه چهار مقاله جزییات و جنبه‌های مختلف تنظیمات شبکه خود را منتشر کرده است. از آن‌جا که گوگل در نظر دارد محدودیت‌های ساختار سخت‌افزاری و نرم‌افزاری کنونی را پیش از سایر شرکت‌ها حذف کند، مقاله‌های مشابهی در زمینه نوآوری جدید خود منتشر کرده است.
بعید است گوگل همه جزییات مربوط به ساخت پایگاه‌های داده خود را در قالب مقاله منتشر کند، اما واضح است که سایر طراحان پایگاه داده به دقت این مقاله‌ها را مطالعه می‌کنند و راه‌حل‌های مشابهی پیاده خواهند کرد که البته برای کاربران آن‌ها مفید خواهد بود.

==============================

شاید به این مقالات هم علاقمند باشید: