مقدمه
وقتی صحبت از کار با دادههای جدولی در پایتون میشود، اولین نامی که به ذهن میرسد، کتابخانهی پانداس (Pandas) است. پانداس سالهاست که به عنوان ابزاری قدرتمند و همهکاره برای تحلیل و پردازش داده شناخته میشود. اما در سالهای اخیر، کتابخانهی جدیدی به نام پولارز (Polars) با ادعای سرعت بسیار بالا و مصرف حافظهی بهینه وارد میدان شده است.
در این درس، با هر دوی این کتابخانهها آشنا میشویم، نقاط قوت و ضعف آنها را بررسی میکنیم، و با مثالهای عملی، نحوهی کار با آنها را یاد میگیریم. تنها به یک نکته دقت کنید که عدهای در زبان فارسی از واژهی پانداز بجای پانداس استفاده میکنند. به عقیدهی نگارنده هر دو درست است و نباید در موارد اینچنینی سختگیری مفرط داشته باشیم. پس در جاهایی ما پانداز را بجای پانداس استفاده میکنیم (پانداز تلفظ دقیقتری است اگر ما بخواهیم با همان شیوه که این واژه در انگلیسی بیان میشود، جلو برویم).
آشنایی با پانداس (Pandas)
پانداس یک کتابخانهی متنباز پایتون است که ساختارهای دادهای قدرتمند و ابزارهای تحلیلی را در اختیار برنامهنویسان قرار میدهد. پانداس دو نوع ساختار دادهی اصلی دارد:
- سری (Series) برای دادههای یکبعدی (مثل یک ستون)
- دیتافریم (DataFrame) برای دادههای دوبعدی (مثل یک جدول در اکسل).
ویژگیهای کلیدی پانداس:
- دیتافریمهای با برچسب: امکان نامگذاری ستونها و ایندکسها
- مدیریت دادههای گمشده: توابع داخلی برای شناسایی و پر کردن مقادیر خالی
- عملیات گروهبندی: انجام محاسبات گروهی با
groupby - ادغام و اتصال: ترکیب چند دیتافریم مانند پایگاههای داده
- خواندن/نوشتن انواع فایل: پشتیبانی از CSV، Excel، JSON، Parquet و …
- و خواص بیشمار دیگر که مدام در حال بروزرسانی و پاسخ به نیاز تحلیلگران دیتا است
نصب پانداس:
بعد از نصب پایتون و در اختیار داشتن یک مدیر پکیج همچون pip براحتی با اجرای دستور ذیل (دستور آخر) در محیط مجازی که قصد انجام تمرینات و تسکها در آن را دارید، پانداز را نصب کنید:
# ابتدا برای خودم یک محیط مجازی ساختم python -m venv .decourse #سپس آنرا فعالش کردم .decourse\Scripts\activate #حالا پانداز را داخل آن نصب میکنم pip install pandas
یک مثال ساده با پانداس:
حال اگر با موفقیت توانستید پانداز را نصب کنید، کد زیر را کپی کرده و وارد سیستم خود کنید و تلاش نمائید که آنرا اجرا نمائید:
import pandas as pd
# ساخت یک دیتافریم ساده
data = {
"name": ["Amin", "Reza"],
"family_name": ["Fozouni", "Faramarzi"],
}
df = pd.DataFrame(data)
print(df)اجرای کد فوق یک خروجی زیر را دارد:
name family_name 0 Amin Fozouni 1 Reza Faramarzi
آشنایی با پولارز (Polars)
پولارز یک کتابخانهی جدیدتر برای پردازش دادههای جدولی است که با هدف سرعت بالا و مصرف بهینهی حافظه طراحی شده است. پولارز از زبان برنامهنویسی راست (Rust) در هستهی خود استفاده میکند که آن را به طور قابل توجهی سریعتر از پانداز میکند، به خصوص برای دادههایی که در حجم و مقیاس بالا هستند.
ویژگیهای کلیدی پولارز:
- سرعت بسیار بالا: به دلیل پیادهسازی بهینه و استفاده از چندرشتهای (چندهستهای)
- مصرف حافظهی کمتر: طراحی کارآمد برای پردازش دادههای حجیم
- پردازش تنبل (Lazy Execution): امکان بهینهسازی پرسوجوها قبل از اجرا
- سازگاری با پانداس: امکان تبدیل آسان بین دیتافریمهای پولارز و پانداس
- پشتیبانی از دادههای بزرگ: عملکرد بهتر در دادههایی که از حافظهی سیستم بزرگتر هستند
نصب پولارز:
pip install polars
یک مثال ساده با پولارز:
import polars as pl
# Create a simple DataFrame
data = {
"name": ["Ali", "Maryam", "Reza"],
"age": [25, 30, 35],
"city": ["Tehran", "Isfahan", "Shiraz"],
}
df = pl.DataFrame(data)
# Display the DataFrame
print(df)
# Calculate the mean age
print(f"Mean age: {df['age'].mean()}")
خروجی کد فوق به شکل زیر است:
shape: (3, 3) ┌────────┬─────┬─────────┐ │ name ┆ age ┆ city │ │ --- ┆ --- ┆ --- │ │ str ┆ i64 ┆ str │ ╞════════╪═════╪═════════╡ │ Ali ┆ 25 ┆ Tehran │ │ Maryam ┆ 30 ┆ Isfahan │ │ Reza ┆ 35 ┆ Shiraz │ └────────┴─────┴─────────┘ Mean age: 30.0
مقایسهی پانداس و پولارز
حالا که با هر دو کتابخانه آشنا شدید، بیایید آنها را در چند بعد کلیدی با یکدیگر مقایسه کنیم:
| ویژگی | پانداس (Pandas) | پولارز (Polars) |
|---|---|---|
| سرعت | خوب برای دادههای کوچک و متوسط | بسیار سریعتر، بهینه برای دادههای بزرگ |
| مصرف حافظه | تقریبن بالا | بهینهتر و کمتر |
| جامعه و مستندات | بسیار بزرگ، منابع فراوان | در حال رشد، اما سریعن در حال گسترش |
| یادگیری | منحنی یادگیری نسبتن ملایم | مشابه پانداس، اما با تفاوتهایی در نحو |
| پردازش چندرشتهای | پشتیبانی محدود | پشتیبانی کامل و پیشفرض |
| پردازش تنبل (Lazy) | خیر (همهچیز بلافاصله اجرا میشود) | بله، با قابلیت بهینهسازی پرسوجوها |
| محبوبیت | بسیار بالا، استاندارد صنعت | رو به افزایش، محبوب در پروژههای جدید |
| مناسب برای | تحلیل داده، پروژههای آموزشی، دادههای با اندازهی کم تا متوسط | پروژههای با دادههای بزرگ، برنامههای نیازمند سرعت بالا |
کدام را انتخاب کنیم؟
انتخاب به نیاز شما بستگی دارد:
- اگر با دادههای کوچک تا متوسط کار میکنید و به جامعهی بزرگ و منابع آموزشی نیاز دارید، پانداس انتخاب مناسبی است.
- اگر با دادههای بسیار بزرگ سر و کار دارید و سرعت و مصرف حافظه برایتان اولویت دارد، پولارز گزینهی بهتری است.
خبر خوب این است که هر دو کتابخانه را میتوانید یاد بگیرید و بسته به پروژه از هر کدام استفاده کنید. حتی میتوانید به راحتی بین آنها در رفت و آمد باشید. در ادامه به این مورد میپردازیم.
تبدیل دیتافریم پانداس به پولارز:
برای انجام اینکار نیاز به کتابخانهی pyarrow داریم که ابتدا اقدام به نصب آن میکنیم:
pip install pyarrow
به دو خط آخر کد زیر دقت کنید. ما در این قطعه کد، دیتافریم پانداز خود را به یک دیتافریم از نوع پولارز تبدیل نمودیم. به کمک این روش براحتی میتوانیم بین این دو کتابخانه در رفت و آمد باشیم.
import pandas as pd
import polars as pl
data = {
"name": ["Amin", "Reza"],
"family_name": ["Fozouni", "Faramarzi"],
}
df_pandas = pd.DataFrame(data)
print(df_pandas)
df_polars = pl.from_pandas(df_pandas)
print(f"The Polars DataFrams is \n {df_polars}")خروجی کد فوق به شکل زیر است:
name family_name 0 Amin Fozouni 1 Reza Faramarzi The Polars DataFrams is shape: (2, 2) ┌──────┬─────────────┐ │ name ┆ family_name │ │ --- ┆ --- │ │ str ┆ str │ ╞══════╪═════════════╡ │ Amin ┆ Fozouni │ │ Reza ┆ Faramarzi │ └──────┴─────────────┘
تبدیل دیتافریم پولارز به پانداس:
import polars as pl
data = {
"name": ["Ali", "Maryam", "Reza"],
"age": [25, 30, 35],
"city": ["Tehran", "Isfahan", "Shiraz"],
}
df_polars = pl.DataFrame(data)
print(df_polars)
print(f"Mean age: {df_polars['age'].mean()}")
df_pandas = df_polars.to_pandas()
print(f"The Pandas DataFrams is \n {df_pandas}")
خروجی قطعه کد بالا نیز به شکل زیر میباشد:
shape: (3, 3)
┌────────┬─────┬─────────┐
│ name ┆ age ┆ city │
│ --- ┆ --- ┆ --- │
│ str ┆ i64 ┆ str │
╞════════╪═════╪═════════╡
│ Ali ┆ 25 ┆ Tehran │
│ Maryam ┆ 30 ┆ Isfahan │
│ Reza ┆ 35 ┆ Shiraz │
└────────┴─────┴─────────┘
Mean age: 30.0
The Pandas DataFrams is
name age city
0 Ali 25 Tehran
1 Maryam 30 Isfahan
2 Reza 35 Shirazعملیات پایه با پانداس و پولارز
بیایید چند عملیات رایج را با هر دو کتابخانه انجام دهیم تا شباهتها و تفاوتهای آنها را بهتر درک کنیم. فرض کنید یک دیتافریم از اطلاعات فروش داریم و باید پردازشهای خاصی را روی آن انجام بدهیم.
اسکریپت زیر، عملیات پایهای کار با داده را با دو کتابخانهی پانداس و پولارز نشان میدهد. یک دیتافریم از دادههای فروش محصولات ساخته و سپس دو سطر اول را نمایش میدهد، ردیفهایی که فروش آنها بیش از ۲۰۰ است را فیلتر میکند، و در نهایت محصولات را گروهبندی کرده و مجموع فروش هر محصول را محاسبه مینماید. از این قسم کارها در راهاندازی و اجرای پایپلاینهای داده در دنیای مهندسی داده ما به کررات انجام میدهیم.
ایجاد دیتافریم با پانداس:
import pandas as pd
df_pd = pd.DataFrame({
'product': ['Laptop', 'Mobile', 'Headphone', 'Laptop', 'Mobile'],
'sales': [100, 200, 150, 300, 250]
})
# Show first 2 rows
print(df_pd.head(2))
# Filter: rows where sales is greater than 200
print(df_pd[df_pd['sales'] > 200])
# Group by and aggregate
print(df_pd.groupby('product')['sales'].sum())ایجاد دیتافریم با پولارز:
import polars as pl
df_pl = pl.DataFrame({
'product': ['Laptop', 'Mobile', 'Headphone', 'Laptop', 'Mobile'],
'sales': [100, 200, 150, 300, 250]
})
# Show first 2 rows
print(df_pl.head(2))
# Filter: rows where sales is greater than 200
print(df_pl.filter(pl.col('sales') > 200))
# Group by and aggregate
print(df_pl.group_by('product').agg(pl.col('sales').sum()))نکته:
- در پانداس:
groupbyیک شیء گروهبندی شده برمیگرداند و باید روی ستون مورد نظرsum()اعمال شود. - در پولارز:
group_byباaggترکیب میشود و میتوان چند عملگر مختلف را همزمان اعمال کرد. - تفاوت در فیلتر: در پانداس از
df[شرط]و در پولارز ازdf.filter(شرط)استفاده میشود.
جمعبندی و تمرین
در این درس، با دو کتابخانهی قدرتمند پردازش داده در پایتون آشنا شدید. پانداس ابزاری استاندارد و محبوب با جامعهی بزرگ است، در حالی که پولارز گزینهای جدید، سریع و بهینه برای دادههای حجیم محسوب میشود.
تمرین پیشنهادی:
۱. هر دو کتابخانه را روی سیستم خود نصب کنید.
۲. یک دیتافریم ساده با دادههای دلخواه (مثلن اطلاعات چند کتاب شامل عنوان، نویسنده، قیمت و سال انتشار) با هر دو کتابخانه ایجاد کنید.
۳. یک عملیات فیلتر کردن (مثلن کتابهای با قیمت بیشتر از ۲۰۰ هزار تومان) و یک عملیات گروهبندی (مثلن تعداد کتابها به تفکیک نویسنده) را با هر دو کتابخانه انجام دهید و نتایج را مقایسه کنید.
