شمارنده‌ی فراوانی واژگان

تعریف فراوانی کلمات و فراوانی نسبی

تعریف علمی مفاهیم

1. فراوانی کلمات (Word Frequency / Term Frequency - TF)

   تعریف: تعداد دفعاتی که یک واژه خاص در یک متن یا سند ظاهر می‌شود.

   نمونه: اگر واژه «دانشگاه» 15 بار در یک متن 1000 کلمه‌ای تکرار شود، فراوانی آن برابر با 15 است.

   ویژگی: واژه‌های پرکاربرد مثل «و»، «از»، «به» معمولاً فراوانی بالایی دارند اما اطلاعات معنایی کمی منتقل می‌کنند.

2. فراوانی نسبی کلمات (Relative Frequency)

   تعریف: نسبت تعداد وقوع یک واژه به کل تعداد واژه‌های متن.

   Relative Frequency(w) = Count(w) / Total Words

   نمونه: اگر واژه «دانشگاه» 15 بار در متن 1000 کلمه‌ای ظاهر شود، فراوانی نسبی آن برابر با 15/1000 = 0.015 یا 1.5٪ است.

کاربردهای علمی و عملی

1. تحلیل محتوا و موضوع‌یابی

   هدف: شناسایی واژه‌های پرتکرار برای تعیین موضوع اصلی متن.

   مثال: در مقالات علمی، واژه‌های پرتکرار می‌توانند حوزه تحقیق را مشخص کنند.

2. جستجو و بازیابی اطلاعات (Information Retrieval)

   روش: موتورهای جستجو از TF-IDF (ترکیب فراوانی کلمات و فراوانی معکوس سند) برای رتبه‌بندی نتایج استفاده می‌کنند.

   نکته: واژه‌هایی که در یک سند زیاد ولی در کل مجموعه اسناد کم ظاهر می‌شوند، اهمیت بیشتری دارند.

3. تحلیل سبک و نویسندگی

   کاربرد: بررسی فراوانی نسبی واژه‌ها برای شناسایی سبک نویسندگان.

   مثال: نویسنده‌ای ممکن است به طور نسبی بیشتر از واژه‌های «اما» یا «زیرا» استفاده کند.

4. پردازش زبان طبیعی (NLP)

   مدل‌های زبانی: فراوانی نسبی به عنوان ویژگی ورودی برای الگوریتم‌های یادگیری ماشین.

   تحلیل احساسات: واژه‌های پرتکرار مثبت یا منفی می‌توانند جهت‌گیری متن را نشان دهند.

5. قانون زیف (Zipf’s Law)

   الگو: توزیع فراوانی کلمات در زبان‌ها معمولاً از قانون زیف پیروی می‌کند: فراوانی یک واژه تقریباً معکوس رتبه آن در جدول فراوانی است.

   مثال: واژه‌های پرکاربرد مثل «the» در انگلیسی یا «و» در فارسی همیشه در صدر هستند.

جدول مقایسه‌ای معیارها