در چهار فصل پیشین، با مبانی مهندسی داده، کار با دادهها در پایتون، پایگاههای داده و خطلولههای ETL آشنا شدیم. تمام این مفاهیم را در مقیاس کوچک و با دادههای نمونه پیادهسازی کردیم. اما در دنیای واقعی، حجم دادهها میتواند بسیار بزرگ باشد؛ گاهی به حدی که روی یک کامپیوتر شخصی نمیگنجد و نیاز به زیرساختهای خاصی دارد.
در این فصل، با مفاهیم ذخیرهسازی دادههای بزرگ آشنا میشویم. دو مفهوم کلیدی یعنی دیتالیک (Data Lake) و دیتاورهاوس (Data Warehouse) را بررسی میکنیم و سپس نگاهی به ابزارهای ذخیرهسازی ابری مانند AWS S3، گوگل کلاد استوریج و موارد مشابه خواهیم داشت. این مفاهیم، پایه و اساس معماری داده در سازمانهای بزرگ را تشکیل میدهند.
