مقدمه
وقتی صحبت از دادههای بزرگ (Big Data) میشود، اولین سؤالی که مطرح میگردد این است که این دادهها را کجا ذخیره کنیم؟ پاسخ به این سؤال به دو عامل اصلی بستگی دارد:
نوع داده و نحوهی استفاده از آن.
در گذشته، بیشتر سازمانها از پایگاههای دادهی رابطهای برای ذخیرهسازی همهی دادههای خود استفاده میکردند. اما با افزایش حجم، تنوع و سرعت تولید داده، این روش دیگر پاسخگو نبود. به همین دلیل، دو مفهوم جدید شکل گرفت:
دیتالیک و دیتاورهاوس.
در این درس، با هر کدام به طور کامل آشنا میشویم و تفاوتهای آنها را بررسی میکنیم. این مورد بما کمک خواهند نمود که بتوانیم در سازمان خود و در هنگام اجرای پروژه، بهترین انتخاب ممکن را داشته باشیم.
دیتاورهاوس (Data Warehouse)
دیتاورهاوس یا انبار داده، یک مخزن متمرکز برای ذخیرهسازی دادههای ساختاریافته و تمیز است که به طور خاص برای تحلیل و گزارشگیری طراحی شده است. دادهها در یک دیتاورهاوس معمولن از منابع مختلف (سیستمهای تراکنشی، فایلها، و …) استخراج، تمیز و تبدیل میشوند و سپس در قالبی استاندارد ذخیره میگردند.
در ادامه ویژگیهای اصلی این تکنولوژی را در یک جدول و بطور خلاصه بشما نشان خواهیم داد.
ویژگیهای اصلی دیتاورهاوس:
| ویژگی | توضیح |
|---|---|
| ساختاریافته | دادهها در قالب جدولها با سطر و ستون (شبیه به پایگاههای رابطهای) ذخیره میشوند. |
| تمیز و یکپارچه | دادهها از منابع مختلف جمعآوری، تمیز و یکپارچه شدهاند. |
| تاریخچهدار | معمولن دادههای چندین سال را ذخیره میکند تا تحلیلهای روند (Trend Analysis) امکانپذیر شود. |
| بهینه برای خواندن | ساختار آن برای کوئریهای تحلیلی و سنگین (مثلن جمعآوری و گروهبندی) بهینه شده است. |
| زمانمحور | دادهها معمولن با برچسب زمانی ذخیره میشوند تا بتوان تغییرات در طول زمان را تحلیل کرد. |
معماری دیتاورهاوس:
تصویر زیر درک بسیار خوبی را بما از معماری و کاربردهای یک دیتاورهاوس میدهد.

مثالهایی از دیتاورهاوسهای معروف:
- Amazon Redshift
- Google BigQuery
- Snowflake
- Azure Synapse Analytics
مزایا و معایب دیتاورهاوس:
در روند شناختی یک تکنولوژی علاوه بر درک مزایا، بسیار مفید است که معایب آنرا نیز بشناسیم. این امر به انتخاب درست از سوی یک مهندس داده کمک شایانی میکند. در جدول زیر لیستی از مزایا و معایب ورهاوس را خواهیم دید.
| مزایا | معایب |
|---|---|
| سرعت بالای کوئریهای تحلیلی | هزینهی بالا برای ذخیرهسازی و پردازش |
| کیفیت بالای داده (تمیز و یکپارچه) | نیاز به طراحی و مدلسازی پیچیده |
| امنیت و کنترل دسترسی پیشرفته | انعطافپذیری پایین در برابر تغییرات |
| پشتیبانی از ابزارهای BI (مثلن Power BI، Tableau) | زمانبر بودن فرایند ETL |
اکنون که تا حدودی با ساختار و چیستی دیتاورهاوس آشنا شدیم، بهتر است که به سراغ دومین تکنولوژی در این درس برویم. بله. دیتالیک.
دیتالیک (Data Lake)
دیتالیک یا دریاچهی داده، یک مخزن بزرگ و متمرکز برای ذخیرهسازی دادههای خام به هر فرمتی (ساختاریافته، نیمهساختاریافته و بدون ساختار) است. برخلاف دیتاورهاوس، در دیتالیک دادهها قبل از ذخیرهسازی تمیز یا تبدیل نمیشوند. این ویژگی باعث میشود دیتالیک بسیار انعطافپذیرتر باشد. در واقع دادهها را با همان شکل و شمایل خام خود و بدون بررسی اسکیما در اینجا ذخیره مینمائیم.
ویژگیهای اصلی دیتالیک:
| ویژگی | توضیح |
|---|---|
| همهچیز را ذخیره میکند | دادههای خام، لاگها، فایلهای چندرسانهای، و … |
| بدون طرحواره (اسکیما) | نیازی به تعیین ساختار داده قبل از ذخیرهسازی نیست. |
| هزینهی پایین ذخیرهسازی | معمولن روی سیستمهای ذخیرهسازی ارزانقیمت پیادهسازی میشود. |
| مناسب برای دادههای حجیم | میتواند حجم بسیار بالایی از داده را ذخیره کند. |
| انعطافپذیری بالا | دادهها را میتوان به هر شکلی که نیاز است، پردازش کرد. |
معماری دیتالیک:

مثالهایی از دیتالیکهای معروف:
- AWS S3 (به عنوان یک دیتالیک)
- Azure Data Lake Storage
- Google Cloud Storage (به عنوان یک دیتالیک)
- Hadoop HDFS
مزایا و معایب دیتالیک:
| مزایا | معایب |
|---|---|
| هزینهی پایین ذخیرهسازی | دادهها ممکن است ناهمگون و بیکیفیت باشند و از مرحلهای به بعد «باتلاق داده» ایجاد گردد. |
| انعطافپذیری بالا (هر نوع دادهای را میتوان ذخیره کرد) | انجام کوئری روی دادههای خام دشوار است. |
| مقیاسپذیری عالی | نیاز به مدیریت و حاکمیت داده (Data Governance) دارد. |
| امکان ذخیرهسازی دادهها به صورت خام برای تحلیلهای بعدی | عدم وجود طرحواره باعث سردرگمی میشود. |
دیتالیک در مقابل دیتاورهاوس
حالا که با هر دو مفهوم آشنا شدیم، بیایید آنها را با هم مقایسه کنیم. یکی از بهترین قسمتها که در انتخاب یک نوع معماری یا تکنولوژی بما کمک میکند این است که دو تکنولوژی یا معماری را در کنار هم قرار داده و با توجه به نیازهای پروژهی خودمان بین آنها انتخاب کنیم.
| معیار | دیتاورهاوس | دیتالیک |
|---|---|---|
| نوع داده | ساختاریافته | همهی انواع داده (ساختاریافته، نیمهساختاریافته، بدون ساختار) |
| طرحواره | ثابت و از پیش تعیینشده (Schema-on-Write) | پویا و در زمان خواندن (Schema-on-Read) |
| پردازش | معمولن با SQL و ابزارهای BI | با ابزارهای پردازش داده (Spark، Presto، و …) |
| کاربرد اصلی | تحلیل، گزارشگیری و داشبورد | کشف داده، پردازش انبوه، و یادگیری ماشین |
| هزینه | بالا (ذخیرهسازی و محاسبات گران) | پایین (ذخیرهسازی ارزان) |
| کیفیت داده | بالا (تمیز و یکپارچه) | متغیر (خام و پردازشنشده) |
| سرعت کوئری | بالا | پایین (بدون بهینهسازی) |
| مناسب برای | تحلیلگران داده، مدیران کسبوکار | دانشمندان داده، مهندسان داده |
معماری مدرن داده (Data Lakehouse)
در سالهای اخیر، مفهوم جدیدی به نام دیتالیکهاوس (Data Lakehouse) شکل گرفته است که سعی دارد بهترین ویژگیهای دیتالیک و دیتاورهاوس را با هم ترکیب کند. در این معماری:
- دادههای خام در یک دیتالیک ذخیره میشوند.
- لایههایی از دادههای تمیز و ساختاریافته روی آنها ایجاد میشود.
- امکان اجرای کوئریهای تحلیلی روی دادههای خام نیز وجود دارد.
مثالهایی از دیتالیکهاوس:
- Delta Lake
- Apache Iceberg
- Apache Hudi
در اینجا سوالی برای شما پیش خواهد آمد. آیا سه تکنولوژی مطرح شده در بالا، همان دیتالیکهاوس هستند؟ در ادام به این سئوال شما پاسخ خواهیم داد. اما پاسخ کلی «خیــــــــــــــــــر» هست.
دیتالیکهاوس، معماری کامل است
یک دیتالیکهاوس (Data Lakehouse) یک معماری کامل است. مثل یک ساختمان که از لایههای مختلفی تشکیل شده تا یک سیستم کامل و قابل استفاده را به وجود آورد. این لایهها عبارتند از:
- لایه ذخیرهسازی: جایی که فایلها به صورت خام و ارزان در آن ذخیره میشوند (مثلن در آمازون استری یا گوگل کلاد استوریج).
- لایه فرمت فایل: نحوه ذخیرهسازی دادهها در داخل هر فایل (مثلن پارکی یا اورسی).
- لایه فرمت جدول (همان دلتا، آیسبرگ و هودی): لایه متادیتایی که بالای فایلها قرار میگیرد و به آنها قابلیتهای شبیه به پایگاه داده مثل تراکنشهای اتمیک و مشاهده تاریخچه را میدهد.
- لایه موتورهای محاسباتی: ابزارهایی مثل اسپارک، فلینک یا ترینو که دادهها را میخوانند و پردازش میکنند.
- لایه سرویسهای جدول: عملیاتهای نگهداری مثل فشردهسازی فایلها و بهروزرسانی ایندکسها.
فرمتهای جدول (دلتا، آیسبرگ، هودی)، موتور یا هسته مرکزی هستند
دلتالیک، آپاچی آیسبرگ و آپاچی هودی، فرمتهای جدول باز (Open Table Formats) هستند. آنها لایهی متادیتای هوشمندی هستند که روی فایلهای ذخیرهسازی سوار میشوند و به آنها قابلیتهای زیر را میدهند:
- تراکنشهای اسیدی (ACID): امکان انجام عملیات خواندن و نوشتن همزمان به صورت امن و قابل اطمینان.
- تکامل طرحواره (Schema Evolution): اضافه کردن یا تغییر ستونهای جدول بدون نیاز به بازنویسی کل دادهها.
- سفر در زمان (Time Travel): امکان پرسوجو از دادهها در یک بازه زمانی مشخص در گذشته برای بررسی یا بازگشت به عقب.
- عملیات بهروزرسانی و حذف: امکان تغییر یا حذف رکوردهای خاص در جدول.
پس در نتیجه، دلتالیک، آپاچی آیسبرگ و آپاچی هودی، اجزای جداییناپذیر و کلیدی یک دیتالیکهاوس هستند، اما خودِ دیتالیکهاوس نمیباشند. آنها لایههای مدیریت جدول را فراهم میکنند که با ترکیب شدن با سایر اجزا (ذخیرهسازی، موتورهای محاسباتی و…) یک معماری کامل دیتالیکهاوس را شکل میدهند.
جمعبندی و تمرین
در این درس، با دو مفهوم کلیدی ذخیرهسازی دادههای بزرگ یعنی دیتاورهاوس و دیتالیک آشنا شدیم. دیدیم که هر کدام برای کاربردهای خاصی طراحی شدهاند و انتخاب بین آنها به نیازهای پروژه بستگی دارد.
تمرین پیشنهادی:
۱. یک سازمان فروشگاهی فرضی را در نظر بگیرید. چه دادههایی در آن تولید میشود و هر کدام برای ذخیرهسازی در کدام یک از این دو سیستم مناسبتر است؟
۲. مزایا و معایب استفاده از یک دیتالیک برای ذخیرهسازی لاگهای سرور را بررسی کنید.
۳. تحقیقی مختصر دربارهی یکی از ابزارهای دیتالیکهاوس (مثلن Delta Lake) انجام دهید و ویژگیهای اصلی آن را بنویسید.
