مقدمه

در درس پیشین، با دو کتابخانه‌ی اصلی پردازش داده در پایتون یعنی پانداس و پولارز آشنا شدیم و دیدیم که چگونه می‌توان با آنها دیتافریم ساخت و عملیات پایه‌ای مانند فیلتر و گروه‌بندی را انجام داد. اما در دنیای واقعی، داده‌ها به ندرت به صورت دستی و با کدنویسی مستقیم در اختیار ما قرار می‌گیرند. معمولن داده‌ها در فایل‌هایی با فرمت‌های مختلف ذخیره شده‌اند و ما باید آنها را بخوانیم، پردازش کنیم و نتیجه را دوباره در یک فایل ذخیره نمائیم. در این درس، با سه فرمت رایج ذخیره‌سازی داده آشنا می‌شویم:
CSV، JSON و Parquet
هر کدام از این فرمت‌ها کاربردهای خاص خود را دارند و دانستن زمان و نحوه‌ی استفاده از آنها، یک مهارت ضروری برای هر مهندس داده است که در ادامه‌ی درس به این موضوع خواهیم پرداخت.

فرمت CSV

پسوند CSV مخفف Comma-Separated Values است و ساده‌ترین و رایج‌ترین فرمت برای ذخیره‌سازی داده‌های جدولی محسوب می‌شود. در این فرمت، هر سطر یک رکورد و هر ستون با یک کاراکتر جداکننده (معمولن کاما “,” یا نقطه‌ ویرگول “;”) از هم جدا می‌شوند. در ادامه مزایا و معایب و همچنین نحوه‌ی خوانش این نوع پسوندها را با هم مرور خواهیم کرد.

مزایای CSV:

  • بسیار ساده و خوانا برای انسان
  • تقریبن همه‌ی نرم‌افزارهای صفحه‌گسترده (مثلن اکسل) از آن پشتیبانی می‌کنند
  • حجم کم در مقایسه با برخی فرمت‌های دیگر

معایب CSV:

  • عدم پشتیبانی از نوع‌های داده‌ی پیچیده (مثلن تاریخ، آرایه، و …)
  • عدم وجود طرحواره (Schema) اجباری
  • عملکرد پایین در خواندن و نوشتن داده‌های حجیم

خواندن فایل CSV با پانداس:

import pandas as pd

# read a CSV file
df = pd.read_csv("src/data/sales_data.csv")

print(df.head())

# Write to a new CSV file
df.to_csv("src/data/cleaned_sales_data.csv", index=False)

خواندن فایل CSV با پولارز:

import polars as pl

# read a CSV file
df = pl.read_csv('src/data/sales_data.csv')
print(df.head())

# Write to a new CSV file
df.write_csv('src/data/cleaned_sales_data.csv')

فرمت JSON

پسوند JSON مخفف JavaScript Object Notation است و یک فرمت متن‌باز برای تبادل داده می‌باشد که هم برای انسان خوانا و هم برای ماشین قابل پردازش است. این فرمت بر اساس ساختارهای کلید-مقدار و آرایه‌ها ساخته شده و در وب‌سرویس‌ها و APIها بسیار رایج است.

مزایای JSON:

  • ساختار انعطاف‌پذیر و سلسله‌مراتبی
  • پشتیبانی از انواع داده‌ی مختلف (رشته، عدد، بولی، آرایه، شیء)
  • استاندارد اصلی تبادل داده در وب

معایب JSON:

  • حجم بیشتر نسبت به CSV برای داده‌های جدولی
  • سرعت پایین‌تر در پردازش نسبت به فرمت‌های باینری

خواندن فایل JSON با پانداس:

import pandas as pd

# read a json file
df = pd.read_json("src/data/sales_data.json")
print(df.head())

# write to a json file
df.to_json("src/data/cleaned_sales_data.json", orient="records", indent=2)

خواندن فایل JSON با پولارز:

import polars as pl

# read a json file
df = pl.read_json('src/data/sales_data.json')
print(df.head())

# write to a json file
df.write_json('src/data/cleaned_sales_data.json')

فرمت Parquet

پسوند Parquet (پارکی) یک فرمت ذخیره‌سازی ستونی (Columnar Storage) است که به طور خاص برای داده‌های حجیم در سیستم‌های توزیع‌شده طراحی شده است. این فرمت توسط Apache توسعه داده شده و به عنوان یکی از فرمت‌های اصلی در اکوسیستم داده‌های بزرگ (Big Data) شناخته می‌شود.

مزایای Parquet:

  • فشرده‌سازی بسیار بالا (کاهش حجم تا ۷۵٪ در مقایسه با CSV)
  • سرعت بالای خواندن و نوشتن
  • پشتیبانی از طرحواره (Schema) و نوع‌های داده‌ی پیچیده
  • بهینه‌شده برای سیستم‌های توزیع‌شده مثل Apache Spark

معایب Parquet:

  • غیرقابل خواندن برای انسان (فرمت باینری)
  • نیاز به کتابخانه‌های اضافی (مثلن pyarrow)

خواندن فایل Parquet با پانداس:

import pandas as pd

df = pd.read_parquet('src/data/sales_data.parquet')
print(df.head())

df.to_parquet('src/data/cleaned_sales_data.parquet', index=False)

خواندن فایل Parquet با پولارز:

import polars as pl

df = pl.read_parquet('src/data/sales_data.parquet')
print(df.head())

df.write_parquet('src/data/cleaned_sales_data.parquet')

مقایسه و انتخاب فرمت مناسب

در جدول ذیل مزایا و معایب این سه فرمت که در درس جاری مطرح شد را می‌بینیم. به کمک این موارد می‌توانیم در انتخاب فرمت مناسب در پروژه‌های خود انتخاب درست و بهتری داشته باشیم:

معیارCSVJSONParquet
خوانایی برای انسانبالابالاپایین (باینری)
حجم فایلمتوسطبالاپایین (فشرده)
سرعت خواندنمتوسطپایینبالا
سرعت نوشتنمتوسطپایینبالا
پشتیبانی از طرحوارهنداردمحدودکامل
کاربرد اصلیتبادل داده، گزارش‌های سادهAPIها، داده‌های نیمه‌ساختاریافتهداده‌های حجیم، سیستم‌های توزیع‌شده

راهنمای انتخاب:

  • اگر داده‌ی شما کوچک است و نیاز به تبادل با افراد غیرفنی دارید، از CSV استفاده کنید.
  • اگر داده‌ی شما ساختار سلسله‌مراتبی دارد یا از API دریافت می‌شود، از JSON استفاده کنید.
  • اگر داده‌ی شما حجیم است (بیش از چند گیگابایت) یا در سیستم‌های توزیع‌شده پردازش می‌شود، از Parquet استفاده کنید.

جمع‌بندی و تمرین

در این درس، با سه فرمت اصلی ذخیره‌سازی داده آشنا شدیم و یاد گرفتیم که چگونه با استفاده از پانداس و پولارز، داده‌ها را از این فرمت‌ها بخوانیم و در آنها بنویسیم. هر کدام از این فرمت‌ها برای کاربردهای خاصی طراحی شده‌اند و انتخاب درست آنها می‌تواند تأثیر زیادی بر عملکرد و کارایی پروژه داشته باشد.

تمرین پیشنهادی:
۱. یک دیتافریم نمونه با داده‌های فروش محصولات (حداقل ۱۰ رکورد) با پانداس یا پولارز بسازید.
۲. آن را در هر سه فرمت CSV، JSON و Parquet (برای این قسمت می‌توانید دیتای خود را به پارکی طبق کد زیر، تبدیل نمائید) ذخیره کنید.

import pandas as pd

df = pd.read_csv("src/data/sales_data.csv")

df.to_parquet("src/data/sales_data.parquet", index=False)


۳. حجم فایل‌های ایجاد شده را با یکدیگر مقایسه کنید.
۴. زمان خواندن هر یک از فایل‌ها را با استفاده از کتابخانه‌ی time در پایتون اندازه‌گیری کنید و نتایج را با هم مقایسه نمایید.