مقدمه

وقتی صحبت از داده‌های بزرگ (Big Data) می‌شود، اولین سؤالی که مطرح می‌گردد این است که این داده‌ها را کجا ذخیره کنیم؟ پاسخ به این سؤال به دو عامل اصلی بستگی دارد:

نوع داده و نحوه‌ی استفاده از آن.

در گذشته، بیشتر سازمان‌ها از پایگاه‌های داده‌ی رابطه‌ای برای ذخیره‌سازی همه‌ی داده‌های خود استفاده می‌کردند. اما با افزایش حجم، تنوع و سرعت تولید داده، این روش دیگر پاسخگو نبود. به همین دلیل، دو مفهوم جدید شکل گرفت:

دیتا‌لیک و دیتا‌ور‌هاوس.

در این درس، با هر کدام به طور کامل آشنا می‌شویم و تفاوت‌های آنها را بررسی می‌کنیم. این مورد بما کمک خواهند نمود که بتوانیم در سازمان خود و در هنگام اجرای پروژه، بهترین انتخاب ممکن را داشته باشیم.

دیتا‌ور‌هاوس (Data Warehouse)

دیتا‌ور‌هاوس یا انبار داده، یک مخزن متمرکز برای ذخیره‌سازی داده‌های ساختاریافته و تمیز است که به طور خاص برای تحلیل و گزارش‌گیری طراحی شده است. داده‌ها در یک دیتا‌ور‌هاوس معمولن از منابع مختلف (سیستم‌های تراکنشی، فایل‌ها، و …) استخراج، تمیز و تبدیل می‌شوند و سپس در قالبی استاندارد ذخیره می‌گردند.

در ادامه ویژگی‌های اصلی این تکنولوژی را در یک جدول و بطور خلاصه بشما نشان خواهیم داد.

ویژگی‌های اصلی دیتا‌ور‌هاوس:

ویژگیتوضیح
ساختاریافتهداده‌ها در قالب جدول‌ها با سطر و ستون (شبیه به پایگاه‌های رابطه‌ای) ذخیره می‌شوند.
تمیز و یکپارچهداده‌ها از منابع مختلف جمع‌آوری، تمیز و یکپارچه شده‌اند.
تاریخچه‌دارمعمولن داده‌های چندین سال را ذخیره می‌کند تا تحلیل‌های روند (Trend Analysis) امکان‌پذیر شود.
بهینه برای خواندنساختار آن برای کوئری‌های تحلیلی و سنگین (مثلن جمع‌آوری و گروه‌بندی) بهینه شده است.
زمان‌محورداده‌ها معمولن با برچسب زمانی ذخیره می‌شوند تا بتوان تغییرات در طول زمان را تحلیل کرد.

معماری دیتا‌ور‌هاوس:

تصویر زیر درک بسیار خوبی را بما از معماری و کاربردهای یک دیتاورهاوس می‌دهد.

معماری و کاربردهای دیتاورهاوس؛ اینکه قبل و بعد از این تکنولوژی چه مولفه‌هایی قرار دارند

مثال‌هایی از دیتا‌ور‌هاوس‌های معروف:

  • Amazon Redshift
  • Google BigQuery
  • Snowflake
  • Azure Synapse Analytics

مزایا و معایب دیتا‌ور‌هاوس:

در روند شناختی یک تکنولوژی علاوه بر درک مزایا، بسیار مفید است که معایب آنرا نیز بشناسیم. این امر به انتخاب درست از سوی یک مهندس داده کمک شایانی می‌کند. در جدول زیر لیستی از مزایا و معایب ورهاوس را خواهیم دید.

مزایامعایب
سرعت بالای کوئری‌های تحلیلیهزینه‌ی بالا برای ذخیره‌سازی و پردازش
کیفیت بالای داده (تمیز و یکپارچه)نیاز به طراحی و مدل‌سازی پیچیده
امنیت و کنترل دسترسی پیشرفتهانعطاف‌پذیری پایین در برابر تغییرات
پشتیبانی از ابزارهای BI (مثلن Power BI، Tableau)زمان‌بر بودن فرایند ETL

اکنون که تا حدودی با ساختار و چیستی دیتاورهاوس آشنا شدیم، بهتر است که به سراغ دومین تکنولوژی در این درس برویم. بله. دیتالیک.

دیتا‌لیک (Data Lake)

دیتا‌لیک یا دریاچه‌ی داده، یک مخزن بزرگ و متمرکز برای ذخیره‌سازی داده‌های خام به هر فرمتی (ساختاریافته، نیمه‌ساختاریافته و بدون ساختار) است. برخلاف دیتا‌ور‌هاوس، در دیتا‌لیک داده‌ها قبل از ذخیره‌سازی تمیز یا تبدیل نمی‌شوند. این ویژگی باعث می‌شود دیتا‌لیک بسیار انعطاف‌پذیرتر باشد. در واقع داده‌ها را با همان شکل و شمایل خام خود و بدون بررسی اسکیما در اینجا ذخیره می‌نمائیم.

ویژگی‌های اصلی دیتا‌لیک:

ویژگیتوضیح
همه‌چیز را ذخیره می‌کندداده‌های خام، لاگ‌ها، فایل‌های چندرسانه‌ای، و …
بدون طرحواره (اسکیما)نیازی به تعیین ساختار داده قبل از ذخیره‌سازی نیست.
هزینه‌ی پایین ذخیره‌سازیمعمولن روی سیستم‌های ذخیره‌سازی ارزان‌قیمت پیاده‌سازی می‌شود.
مناسب برای داده‌های حجیممی‌تواند حجم بسیار بالایی از داده را ذخیره کند.
انعطاف‌پذیری بالاداده‌ها را می‌توان به هر شکلی که نیاز است، پردازش کرد.

معماری دیتا‌لیک:

نمایی از دیتالیک و مولفه‌های قبل و بعد آن

مثال‌هایی از دیتا‌لیک‌های معروف:

  • AWS S3 (به عنوان یک دیتا‌لیک)
  • Azure Data Lake Storage
  • Google Cloud Storage (به عنوان یک دیتا‌لیک)
  • Hadoop HDFS

مزایا و معایب دیتا‌لیک:

مزایامعایب
هزینه‌ی پایین ذخیره‌سازیداده‌ها ممکن است ناهمگون و بی‌کیفیت باشند و از مرحله‌ای به بعد «باتلاق داده» ایجاد گردد.
انعطاف‌پذیری بالا (هر نوع داده‌ای را می‌توان ذخیره کرد)انجام کوئری روی داده‌های خام دشوار است.
مقیاس‌پذیری عالینیاز به مدیریت و حاکمیت داده (Data Governance) دارد.
امکان ذخیره‌سازی داده‌ها به صورت خام برای تحلیل‌های بعدیعدم وجود طرحواره باعث سردرگمی می‌شود.

دیتا‌لیک در مقابل دیتا‌ور‌هاوس

حالا که با هر دو مفهوم آشنا شدیم، بیایید آنها را با هم مقایسه کنیم. یکی از بهترین قسمت‌ها که در انتخاب یک نوع معماری یا تکنولوژی بما کمک می‌کند این است که دو تکنولوژی یا معماری را در کنار هم قرار داده و با توجه به نیازهای پروژه‌ی خودمان بین آنها انتخاب کنیم.

معیاردیتا‌ور‌هاوسدیتا‌لیک
نوع دادهساختاریافتههمه‌ی انواع داده (ساختاریافته، نیمه‌ساختاریافته، بدون ساختار)
طرحوارهثابت و از پیش تعیین‌شده
(Schema-on-Write)
پویا و در زمان خواندن
(Schema-on-Read)
پردازشمعمولن با SQL و ابزارهای BIبا ابزارهای پردازش داده
(Spark، Presto، و …)
کاربرد اصلیتحلیل، گزارش‌گیری و داشبوردکشف داده، پردازش انبوه، و یادگیری ماشین
هزینهبالا (ذخیره‌سازی و محاسبات گران)پایین (ذخیره‌سازی ارزان)
کیفیت دادهبالا (تمیز و یکپارچه)متغیر (خام و پردازش‌نشده)
سرعت کوئریبالاپایین (بدون بهینه‌سازی)
مناسب برایتحلیل‌گران داده، مدیران کسب‌وکاردانشمندان داده، مهندسان داده

معماری مدرن داده (Data Lakehouse)

در سال‌های اخیر، مفهوم جدیدی به نام دیتا‌لیک‌هاوس (Data Lakehouse) شکل گرفته است که سعی دارد بهترین ویژگی‌های دیتا‌لیک و دیتا‌ور‌هاوس را با هم ترکیب کند. در این معماری:

  • داده‌های خام در یک دیتا‌لیک ذخیره می‌شوند.
  • لایه‌هایی از داده‌های تمیز و ساختاریافته روی آنها ایجاد می‌شود.
  • امکان اجرای کوئری‌های تحلیلی روی داده‌های خام نیز وجود دارد.

مثال‌هایی از دیتا‌لیک‌هاوس:

  • Delta Lake
  • Apache Iceberg
  • Apache Hudi

در اینجا سوالی برای شما پیش خواهد آمد. آیا سه تکنولوژی مطرح شده در بالا، همان دیتالیک‌هاوس هستند؟ در ادام به این سئوال شما پاسخ خواهیم داد. اما پاسخ کلی «خیــــــــــــــــــر» هست.

دیتالیک‌هاوس، معماری کامل است

یک دیتالیک‌هاوس (Data Lakehouse) یک معماری کامل است. مثل یک ساختمان که از لایه‌های مختلفی تشکیل شده تا یک سیستم کامل و قابل استفاده را به وجود آورد. این لایه‌ها عبارتند از:

  • لایه ذخیره‌سازی: جایی که فایل‌ها به صورت خام و ارزان در آن ذخیره می‌شوند (مثلن در آمازون اس‌تری یا گوگل کلاد استوریج).
  • لایه فرمت فایل: نحوه ذخیره‌سازی داده‌ها در داخل هر فایل (مثلن پارکی یا اورسی).
  • لایه فرمت جدول (همان دلتا، آیسبرگ و هودی): لایه متادیتایی که بالای فایل‌ها قرار می‌گیرد و به آنها قابلیت‌های شبیه به پایگاه داده مثل تراکنش‌های اتمیک و مشاهده تاریخچه را می‌دهد.
  • لایه موتورهای محاسباتی: ابزارهایی مثل اسپارک، فلینک یا ترینو که داده‌ها را می‌خوانند و پردازش می‌کنند.
  • لایه سرویس‌های جدول: عملیات‌های نگهداری مثل فشرده‌سازی فایل‌ها و به‌روزرسانی ایندکس‌ها.

فرمت‌های جدول (دلتا، آیسبرگ، هودی)، موتور یا هسته مرکزی هستند

دلتالیک، آپاچی آیسبرگ و آپاچی هودی، فرمت‌های جدول باز (Open Table Formats) هستند. آنها لایه‌ی متادیتای هوشمندی هستند که روی فایل‌های ذخیره‌سازی سوار می‌شوند و به آنها قابلیت‌های زیر را می‌دهند:

  • تراکنش‌های اسیدی (ACID): امکان انجام عملیات خواندن و نوشتن همزمان به صورت امن و قابل اطمینان.
  • تکامل طرحواره (Schema Evolution): اضافه کردن یا تغییر ستون‌های جدول بدون نیاز به بازنویسی کل داده‌ها.
  • سفر در زمان (Time Travel): امکان پرس‌وجو از داده‌ها در یک بازه زمانی مشخص در گذشته برای بررسی یا بازگشت به عقب.
  • عملیات به‌روزرسانی و حذف: امکان تغییر یا حذف رکوردهای خاص در جدول.

پس در نتیجه، دلتالیک، آپاچی آیسبرگ و آپاچی هودی، اجزای جدایی‌ناپذیر و کلیدی یک دیتالیک‌هاوس هستند، اما خودِ دیتالیک‌هاوس نمی‌باشند. آنها لایه‌های مدیریت جدول را فراهم می‌کنند که با ترکیب شدن با سایر اجزا (ذخیره‌سازی، موتورهای محاسباتی و…) یک معماری کامل دیتالیک‌هاوس را شکل می‌دهند.

جمع‌بندی و تمرین

در این درس، با دو مفهوم کلیدی ذخیره‌سازی داده‌های بزرگ یعنی دیتا‌ور‌هاوس و دیتا‌لیک آشنا شدیم. دیدیم که هر کدام برای کاربردهای خاصی طراحی شده‌اند و انتخاب بین آنها به نیازهای پروژه بستگی دارد.

تمرین پیشنهادی:
۱. یک سازمان فروشگاهی فرضی را در نظر بگیرید. چه داده‌هایی در آن تولید می‌شود و هر کدام برای ذخیره‌سازی در کدام یک از این دو سیستم مناسب‌تر است؟
۲. مزایا و معایب استفاده از یک دیتا‌لیک برای ذخیره‌سازی لاگ‌های سرور را بررسی کنید.
۳. تحقیقی مختصر درباره‌ی یکی از ابزارهای دیتا‌لیک‌هاوس (مثلن Delta Lake) انجام دهید و ویژگی‌های اصلی آن را بنویسید.