مقدمه

در درس پیشین، با مفاهیم دیتا‌لیک و دیتا‌ور‌هاوس آشنا شدیم و دیدیم که هر کدام برای چه نوع داده‌ها و کاربردهایی مناسب هستند. اما یک سؤال اساسی همچنان باقی است: این مخازن عظیم داده را روی چه زیرساختی باید پیاده‌سازی کنیم؟ پاسخ امروزه مشخص است: فضای ابری (Cloud Storage).

ذخیره‌سازی ابری به سازمان‌ها امکان می‌دهد تا داده‌های خود را بدون نیاز به خرید و نگهداری سرورهای فیزیکی، روی زیرساخت‌های شرکت‌های بزرگ ذخیره کنند. در این درس، با یکی از سرویس‌های بومی و در دسترس برای دانشجویان داخل ایران یعنی سرویس Object Storage ابر آروان آشنا می‌شویم و یاد می‌گیریم که چگونه از آن برای مدیریت داده‌های بزرگ استفاده کنیم.

توجه بفرمائید که تمامی موارد مطرح شده در این قسمت را بطور کامل روی AWS نیز می‌توانید انجام دهید.

چرا ذخیره‌سازی ابری؟

پیش از پرداختن به ابزارهای خاص، بهتر است بدانیم چرا ذخیره‌سازی ابری به یک استاندارد در مهندسی داده تبدیل شده است.

مزایای ذخیره‌سازی ابری:

مزیتتوضیح
مقیاس‌پذیری نامحدودمی‌توانید به سادگی فضای ذخیره‌سازی را افزایش یا کاهش دهید.
هزینه‌ی بر اساس مصرففقط به اندازه‌ای که استفاده می‌کنید، هزینه پرداخت می‌کنید.
دسترس‌پذیری بالاداده‌ها در چندین منطقه‌ی جغرافیایی کپی می‌شوند و در دسترس هستند.
امنیت پیشرفتهارائه‌دهندگان ابری، امنیت فیزیکی و شبکه‌ای بالایی دارند.
یکپارچگی با ابزارهای تحلیلبه راحتی به ابزارهای تحلیل داده متصل می‌شوند.
عدم نیاز به مدیریت سخت‌افزارتیم شما نیازی به خرید و نگهداری سرور ندارد.

آشنایی با سرویس Object Storage ابر آروان

ابر آروان یکی از ارائه‌دهندگان پیشرو در حوزه خدمات ابری در ایران است که سرویس ذخیره‌سازی ابری (Object Storage) آن دقیقن معادل سرویس معروف AWS S3 عمل می‌کند و از همان استانداردها و APIها پشتیبانی می‌نماید. این یعنی کدهایی که برای کار با S3 نوشته شده‌اند را با تغییرات جزئی در تنظیمات اتصال، می‌توانید برای ابر آروان نیز اجرا کنید.

ویژگی‌های کلیدی سرویس Object Storage ابر آروان:

ویژگیتوضیح
سازگاری با S3کاملن با API استاندارد S3 سازگار است و از همان ابزارها و کتابخانه‌ها پشتیبانی می‌کند.
پرداخت ریالیهزینه‌ها به صورت ریالی محاسبه و دریافت می‌شود.
مقیاس‌پذیریامکان ذخیره‌سازی حجم بسیار بالایی از داده‌ها بدون محدودیت.
مدیریت از طریق پنلدارای پنل کاربری فارسی برای مدیریت سطل‌ها (Buckets) و فایل‌ها.
قیمت‌های رقابتیپلن‌های متنوع با قیمت‌های ماهیانه و ساعتی برای نیازهای مختلف.

مفاهیم پایه در Object Storage

پیش از نوشتن کد، بهتر است با مفاهیم پایه‌ای این سرویس آشنا شویم:

سطل (Bucket): فضایی برای ذخیره‌سازی اشیاء است که مانند یک پوشه‌ی ریشه عمل می‌کند. هر سطل یک نام منحصر‌به‌فرد در کل سرویس دارد.

شیء (Object): هر فایل ذخیره‌شده در سطل یک شیء محسوب می‌شود. هر شیء شامل داده (خود فایل) و متادیتا (اطلاعات توصیفی) است.

کلید (Key): مسیر یا نامی که برای شناسایی یک شیء در سطل استفاده می‌شود. مثلن raw/sales/sales_data.csv. با همین مثال مقدار(value) برابر است با دیتاهای داخل فایل sales_data.csv.

آدرس سرور (Endpoint): آدرسی که برای اتصال به سرویس استفاده می‌شود. برای ابر آروان، این آدرس معمولن به صورت https://s3.ir-tor-1.arvanstorage.com است.

دریافت اطلاعات اتصال از پنل ابر آروان

برای استفاده از سرویس Object Storage ابر آروان، باید مراحل زیر را طی کنید:

۱. در وب‌سایت ابر آروان ثبت‌نام کنید و وارد پنل کاربری خود شوید.

۲. از منوی سمت چپ، گزینه‌ی «ذخیره‌سازی ابری» یا «Object Storage» را انتخاب کنید.

۳. یک سطل (Bucket) جدید با نام دلخواه (مثلن my-data-lake) ایجاد کنید.

۴. در بخش تنظیمات، یک کلید دسترسی (Access Key) جدید بسازید. این کار یک ACCESS_KEY و یک SECRET_KEY برای شما تولید می‌کند. آنها را در جای امنی ذخیره کنید.

۵. آدرس سرور (Endpoint) منطقه‌ی خود را یادداشت کنید (مثلن https://s3.ir-thr-at1.arvanstorage.ir).

کار با Object Storage در پایتون

برای کار با سرویس Object Storage ابر آروان در پایتون، از کتابخانه‌ی معروف boto3 استفاده می‌کنیم که در اصل برای AWS S3 طراحی شده است. با تغییر endpoint_url، می‌توانیم از آن برای ابر آروان نیز استفاده کنیم.

نصب کتابخانه‌ی boto3:

در کد زیر علاوره بر “boto3” کتابخانه‌ی “python-dotenv” را نیز نصب می‌کنیم که بتوانیم اطلاعات انحصاری خود (از جمله secret key) را داخل آن قرار دهیم. اینکار باعث می‌گردد اطلاعات مهم ما منتشر نگردند. بعنوان مثال با قرار دادن این موارد حساس داخل یک فایل “env.” و سپس افزودن این فایل به فایل “gitignore.” باعث می‌گردد در هنگام ارسال یا آپلود این پروژه به گیت‌هاب، اطلاعات محرمانه‌ی ما در اختیار دیگران قرار نگیرند.

pip install boto3 python-dotenv

نمونه کد اتصال و آپلود فایل:

import boto3
import pandas as pd
from io import StringIO
from dotenv import load_dotenv
import os

""" 
بارگذاری متغیرهای محیطی از فایل 
.env
"""

load_dotenv()

# دریافت اطلاعات اتصال از متغیرهای محیطی

ACCESS_KEY = os.getenv("ACCESS_KEY")
SECRET_KEY = os.getenv("SECRET_KEY")
ENDPOINT_URL = os.getenv("ENDPOINT_URL")
BUCKET_NAME = os.getenv("BUCKET_NAME")

# ایجاد اتصال به سرویس آبجکت استوریج ابر آروان

s3_client = boto3.client(
    "s3",
    endpoint_url=ENDPOINT_URL,
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
)

# آپلود یک فایل سی‌اس‌وی در سطل

file_name = "sales_data.csv"
try:
    s3_client.upload_file(
        f"src/data/{file_name}", BUCKET_NAME, f"raw/sales/{file_name}"
    )
    print(f"✅ File {file_name} has been uploaded to {BUCKET_NAME} without any error.")
except Exception as e:
    print(f"❌ Error in uploading: {e}")

اگر مراحل فوق را بدرستی انجام داده باشید، با ورود به پنل آروان و مراجعه به باکتی (سطل) که در ابتدا ساخته‌اید، باید تصویری مشابه با شکل زیر را مشاهده نمائید:

نمایی از محتویات داخل سطل. توجه کنید که فایل ما داخل چه مسیری ذخیره شده است (raw/sales/)

خواندن یک فایل از سطل:

به کمک کد ذیل می‌توانیم محتویات داخل فایل “sales_data.csv” را بخوانیم.

import boto3
import pandas as pd
from io import StringIO
from dotenv import load_dotenv
import os

# Load environment variables from .env file
load_dotenv()

# Get connection details from environment variables
ACCESS_KEY = os.getenv("ACCESS_KEY")
SECRET_KEY = os.getenv("SECRET_KEY")
ENDPOINT_URL = os.getenv("ENDPOINT_URL")
BUCKET_NAME = os.getenv("BUCKET_NAME")

# Create connection to ArvanCloud Object Storage
s3_client = boto3.client(
    "s3",
    endpoint_url=ENDPOINT_URL,
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
)

# Read a CSV file from the bucket
try:
    response = s3_client.get_object(Bucket=BUCKET_NAME, Key="raw/sales/sales_data.csv")
    csv_content = response["Body"].read().decode("utf-8")
    df = pd.read_csv(StringIO(csv_content))
    print("Sample of data read from cloud storage:")
    print(df.head())
except Exception as e:
    print(f"❌ Error reading file: {e}")

لیست کردن فایل‌های موجود در یک سطل:

کد زیر توانایی این را بما می‌دهد که بتوانیم لیستی از آبجکت‌های داخل یک باکت یا سطل را بدست بیاوریم.

import boto3
from dotenv import load_dotenv
import os

# Load environment variables from .env file
load_dotenv()

# Get connection details from environment variables
ACCESS_KEY = os.getenv('ACCESS_KEY')
SECRET_KEY = os.getenv('SECRET_KEY')
ENDPOINT_URL = os.getenv('ENDPOINT_URL')
BUCKET_NAME = os.getenv('BUCKET_NAME')

# Create connection to ArvanCloud Object Storage
s3_client = boto3.client(
    's3',
    endpoint_url=ENDPOINT_URL,
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
)

# List all files in the bucket with a specific prefix
response = s3_client.list_objects_v2(Bucket=BUCKET_NAME, Prefix='raw/sales/')

if 'Contents' in response:
    print(f"📄 Files found in 'raw/sales/' path:")
    for obj in response['Contents']:
        print(f"   {obj['Key']} - {obj['Size']} bytes")
else:
    print("❌ No files found in this path.")

حذف یک فایل از سطل:

به کمک کد زیر می‌توانیم یک یا چند آبجکت را از داخل یک سطل حذف کنیم، امری که در برخی از موارد بسیار مفید و کاربردی است.

import boto3
from dotenv import load_dotenv
import os

# Load environment variables from .env file
load_dotenv()

# Get connection details from environment variables
ACCESS_KEY = os.getenv('ACCESS_KEY')
SECRET_KEY = os.getenv('SECRET_KEY')
ENDPOINT_URL = os.getenv('ENDPOINT_URL')
BUCKET_NAME = os.getenv('BUCKET_NAME')

# Create connection to ArvanCloud Object Storage
s3_client = boto3.client(
    's3',
    endpoint_url=ENDPOINT_URL,
    aws_access_key_id=ACCESS_KEY,
    aws_secret_access_key=SECRET_KEY,
)

# Delete a file from the bucket
try:
    s3_client.delete_object(Bucket=BUCKET_NAME, Key='raw/sales/sales_data.csv')
    print("✅ File successfully deleted.")
except Exception as e:
    print(f"❌ Error deleting file: {e}")

ساختاردهی مناسب در سطل

برای استفاده‌ی بهینه از فضای ذخیره‌سازی ابری، رعایت ساختار پوشه‌ای مناسب ضروری است. پیشنهاد می‌شود از ساختار زیر استفاده کنید:

my-data-lake/
├── raw/  # 🔴 داده‌های خام
│   ├── sales/
│   │   ├── sales_data_2026-01-01.csv
│   │   └── sales_data_2026-01-02.csv
│   └── products/
│       └── products_data.json
├── processed/ # 🔴 داده‌های تمیز و تبدیل‌شده
│   ├── sales_cleaned.parquet
│   └── products_cleaned.parquet
└── analytics/ # 🔴 داده‌های تحلیلی و خلاصه‌شده
    └── sales_summary.parquet

بهترین‌عملکردها (Best Practices) در ذخیره‌سازی ابری

برای استفاده‌ی بهینه از سرویس Object Storage، رعایت نکات زیر ضروری است:

۱. استفاده از فرمت‌های بهینه:
برای داده‌های تحلیلی، از فرمت Parquet استفاده کنید که فشرده و سریع است. پانداس به راحتی از این فرمت پشتیبانی می‌کند.

۲. مدیریت چرخه‌ی حیات:
برنامه‌ای تنظیم کنید که داده‌های قدیمی‌تر را به کلاس‌های ذخیره‌سازی ارزان‌تر منتقل کند (در صورت وجود این قابلیت در سرویس).

۳. امنیت:

  • از حداقل دسترسی لازم (Least Privilege) استفاده کنید.
  • داده‌های حساس را رمزگذاری کنید.
  • از لاگ‌گیری برای ردیابی دسترسی‌ها استفاده کنید.

۴. نام‌گذاری استاندارد:
برای فایل‌ها از یک الگوی نام‌گذاری استاندارد استفاده کنید. مثلن [نوع داده]_[تاریخ]_[نسخه].فرمت.

جمع‌بندی و تمرین

در این درس، با سرویس Object Storage ابر آروان به عنوان یک جایگزین بومی و در دسترس برای سرویس‌های ابری بین‌المللی آشنا شدیم. دیدیم که چگونه می‌توان از آن برای ذخیره‌سازی، بازیابی و مدیریت داده‌های بزرگ استفاده کرد.

تمرین پیشنهادی:

۱. در پنل ابر آروان ثبت‌نام کنید و یک سطل جدید ایجاد کنید.
۲. یک کلید دسترسی جدید بسازید و اطلاعات آن را در کد خود قرار دهید.
۳. فایل sales_data.csv (که در درس‌های قبلی ساخته بودید) را در پوشه‌ی raw/sales/ سطل خود آپلود کنید.
۴. با استفاده از پایتون، فایل را از سطل بخوانید و نمایش دهید.
۵. یک دیتافریم جدید با خلاصه‌ی فروش بر اساس منطقه بسازید و آن را در پوشه‌ی processed/ به فرمت پارکت ذخیره کنید.