در فصل پیشین، با مفاهیم بنیادین مهندسی داده و چرخه‌ی حیات داده آشنا شدید. گفتیم که داده پس از دریافت، باید ذخیره، پردازش و در نهایت مصرف شود. اما ابزار اصلی یک مهندس داده برای انجام تمام این کارها چیست؟ پایتـــــــــــــــــــــــــــــــــــــــون.

پایتون به دلیل سادگی، خوانایی بالا، و کتابخانه‌های قدرتمندی که برای کار با داده دارد، به زبان شماره‌ی یک در حوزه‌ی داده تبدیل شده است. در این فصل، با دو کتابخانه‌ی کلیدی پایتون برای کار با داده‌های جدولی آشنا می‌شوید: پانداس (Pandas) و پولارز (Polars) . همچنین یاد می‌گیریم که چگونه داده‌ها را از انواع فایل‌های رایج (مانند CSV، JSON و Parquet) بخوانیم، روی آنها پردازش انجام دهیم و در نهایت نتایج را ذخیره کنیم.

هدف این فصل، آموزش مهارت‌های عملی برای ورود به دنیای پردازش داده با پایتون است. در پایان این فصل، شما قادر خواهید بود داده‌های خام را بارگذاری، تمیز، تبدیل و برای مراحل بعدی (مانند تحلیل یا ورود به پایگاه داده) آماده کنید.

ساختار این فصل بشرح ذیل است:

  • درس ۱: معرفی کتابخانه‌های پانداس و پولارز برای پردازش داده.
  • درس ۲: خواندن و نوشتن داده از/به CSV، JSON و Parquet.