Data Science | علم داده

🔹 تنها نقشه راهی که برای یادگیری «پایتون برای علم داده» نیاز داری! + به همراه نسخه فارسی 🐍


👩🏻‍💻 پایتون مهم‌ترین مهارتیه که یه دیتا ساینتیست باید بلد باشه! خبر خوب اینه که لازم نیست برای یادگیریش کلی پول بدی و توی بوت‌کمپ‌های مختلف یا دانشگاه ثبت‌نام کنی!


✏️ داستان من: وقتی وارد دنیای علوم داده شدم، هیچی از پایتون نمی‌دونستم.
رفتم سراغ کلی مصاحبه شغلی برای کار تو حوزه دیتا ساینس... ولی همه رو رد شدم!

💸 اون موقع بود که فهمیدم اگه واقعاً بخوام یه دیتا ساینتیست بشم، باید پایتون رو کامل یاد بگیرم. ولی مشکل این بود که نه پول بوت‌کمپ داشتم، نه وقت دانشگاه رفتن.
پس خودم دست‌به‌کار شدم و بهترین روش یادگیری رو پیدا کردم!🤓


✔️ از ترکیب این ۳ روش ساده استفاده کردم:

1️⃣ این نقشه راه یادگیری پایتون
2️⃣ یادگیری با DataCamp
3️⃣ تمرین و پروژه‌سازی توی Jupyter Notebook


🗺 نقشه راه یادگیری پایتون برای علوم داده:

🔢 مفاهیم پایه‌ی پایتون

❗️ مهم‌ترین قدمه! اگه این مرحله رو رد کنی، بعداً به مشکل می‌خوری.

✔️ متغیرها و انواع داده: ()type(), int(), float(), str(), list(), dict

✔️ ساختارهای کنترلی: ()if-elif-else, for, while, range

✔️ توابع و آرگومان‌ها: def, return, args

✔️ لیست کامپرهنشن: [expression for item in iterable if condition]

➖ ➖ ➖ ➖ ➖

🔢 پردازش و پاک‌سازی داده‌ها

❗️ اگه داده‌هات تمیز نباشه، مدل‌هات به درد نمی‌خوره!

✔️ پاک‌سازی داده‌ها: ()df.dropna(), df.fillna(), df.drop_duplicates(), df.replace

✔️ ادغام و تغییر شکل داده: ()pd.merge(), df.pivot(), df.melt

✔️ گروه‌بندی و تجمیع: ()df.groupby(), df.agg

📣 چک‌پوینت اول: یه پروژه پاک‌سازی داده انجام بده!

➖ ➖ ➖ ➖ ➖

🔢 تحلیل اکتشافی داده‌ها (EDA)

❗️ اینجاست که علم و هنر باهم ترکیب می‌شن!

✔️ آمار توصیفی: df.mean(), df.median(), df.mode(), df.std(), df.var(), df.min(), df.max(), df.quantile()

✔️ توزیع داده‌ها: ()df.hist(), stats.normaltest

✔️ تحلیل همبستگی: ()df.corr(), plt.imshow(), stats.pearsonr

📣 چک‌پوینت دوم: یه پروژه EDA انجام بده!

➖ ➖ ➖ ➖ ➖

🔢 مصورسازی داده با Matplotlib

❗️ داده‌ها وقتی دیده بشن، معنا پیدا می‌کنن!

✔️ نمودارهای پایه‌ای: ()plt.plot(), plt.scatter(), plt..bar

✔️ هیستوگرام و چگالی: ()plt.hist(), plt.kde

✔️ باکس‌پلات: ()plt.boxplot

✔️ چند نمودار در یک شکل: ()plt.subplots(), fig.add_subplot

✔️ شخصی‌سازی نمودارها: ()plt.xlabel(), plt.ylabel(), plt.title(), plt.legend

📣 چک‌پوینت سوم: یه پروژه بصری‌سازی داده انجام بده!

➖ ➖ ➖ ➖ ➖

🔢 یادگیری ماشین در پایتون

❗️ اینجا جاییه که جادو اتفاق می‌افته!

✔️ آموزش و ارزیابی مدل‌ها: ()train_test_split(), cross_val_score

✔️ مدل‌های رگرسیون: ()LinearRegression(), mean_squared_error(), r2_score

✔️ مدل‌های طبقه‌بندی: LogisticRegression(), accuracy_score(), ()confusion_matrix

✔️ خوشه‌بندی: ()KMeans

📣 چک‌پوینت چهارم: اولین مدل یادگیری ماشینت رو بساز!

➖ ➖ ➖ ➖ ➖

🔔 راستی، من کل پایتون رو با DataCamp یاد گرفتم و شدیداً پیشنهادش می‌کنم!👇


🔗 همه‌ این موارد رو یه‌جا یاد بگیر: DataCamp

🔗 نسخه فارسی «پایتون برای علم داده»: PDF



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🥇 جامع ترین مخزن مسابقات Kaggle + راه حل
✅ دسترسی به تمام پروژه‌های Kaggle
🗓 آپدیت فوریه 2025


👨🏻‍💻 فرید رشیدی دکترای علوم کامپیوتر یک مخزن فوق العاده به نام Kaggle Solutions ایجاد کرده که یه گنجینه ناب برای همه‌یِ متخصصای علوم داده، مهندسای یادگیری ماشین و پژوهشگرای این حوزه است.

🖊 این لیست تقریباً تمام راه‌حل‌ها، پروژه‌ها و ایده‌های موجود در Kaggle رو پوشش میده و به محض اتمام یک مسابقه جدید به روز میشه.🤞


✏️ این مجموعه تا الان شامل 638 رقابت + راه حل میشه که تا 5 فوریه 2025 آپدیت شده است.

✅ برای دسترسی به این مخزن فوق العاده می‌تونید از لینک زیر استفاده کنین:👇


┌ 💸 Kaggle Solutions
└ 💰 Website



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🔸 مقایسه 8 کتابخونه DataFrame روی یک میلیارد ردیف داده!


👨🏻‍💻 من ۸ تا جایگزین Pandas رو روی یک میلیارد ردیف داده تست کردم، هم روی فایل‌های CSV و هم Parquet.

✏️ نتیجه؟ FireDucks بهترین عملکرد رو داشت! یه جایگزین کاملاً بهینه‌شده برای Pandas که فقط با یه خط تغییر می‌تونی ازش استفاده کنی:


❌ این خط رو حذف کن:

import pandas as pd

✅ و اینو جایگزین کن:

import fireducks.pandas as pd


✅ تمومه! همون کدهای Pandas، ولی خیلی سریع‌تر!

📣 جالب‌تر اینکه، تو بعضی موارد حتی از cuDF (کتابخونه DataFrame برای GPU) هم سریع‌تر بوده! برو تستش کن و شگفت‌زده شو!😎👇


┌ 🏳️‍🌈 FireDucks
├ ♾️ Google Colab
└ 🐱 GitHub-Repos



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🚀 بهینه‌سازی مصرف حافظه در پایتون با slots


👩🏻‍💻 آبجکت‌های پایتون معمولاً حافظه زیادی مصرف می‌کنن چون انعطاف بالایی در ذخیره ویژگی‌ها دارن. اما یه ترفند ساده وجود داره که می‌تونه این مصرف حافظه رو کاهش بده:

✏️ استفاده از __slots__ باعث می‌شه فضای حافظه برای ویژگی‌ها از قبل رزرو بشه و بهینه‌تر عمل کنه.


🔎 توی یه تست ساده (عکس بالا)، با __slots__ مصرف حافظه رو حدود 11.1 مبی‌بایت کاهش دادیم! این یعنی بهینه‌سازی قوی برای برنامه‌هایی که با حجم بالای داده کار می‌کنن.


┌ ▶️ slots
├ 🖥 Documents
├ 🖥 Python slots (Fa)
└ 🖥 Python slots (En)



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa

🗂 همه‌ی دستورات ضروری NumPy
✅ برای علم داده و یادگیری ماشین!


👩🏻‍💻 کتابخونه NumPy یکی از مهم‌ترین کتابخونه‌ها برای کار روی پروژه‌های علم داده و یادگیری ماشینه. این چیت‌شیت رو تهیه کردم تا مهم‌ترین دستورات NumPy رو براتون خلاصه کنم.


📥 دانلود نسخه با کیفیت‌تر: NumPy



🌐 #علم_داده #DataScience
➖➖➖➖➖➖➖➖➖➖➖➖➖➖
📊 دانشمند داده شوید :
📊 @DataScience_ir
📱 پیج اینستاگرام:
📊 @DataScience_fa