پاورپوینت کامل مدل سازی زبانی ۲۷ اسلاید در PowerPoint

توجه : این فایل به صورت فایل power point (پاور پوینت) ارائه میگردد

 پاورپوینت کامل مدل سازی زبانی ۲۷ اسلاید در PowerPoint دارای ۲۷ اسلاید می باشد و دارای تنظیمات کامل در PowerPoint می باشد و آماده ارائه یا چاپ است

شما با استفاده ازاین پاورپوینت میتوانید یک ارائه بسیارعالی و با شکوهی داشته باشید و همه حاضرین با اشتیاق به مطالب شما گوش خواهند داد.

لطفا نگران مطالب داخل پاورپوینت نباشید، مطالب داخل اسلاید ها بسیار ساده و قابل درک برای شما می باشد، ما عالی بودن این فایل رو تضمین می کنیم.

توجه : در صورت  مشاهده  بهم ریختگی احتمالی در متون زیر ،دلیل ان کپی کردن این مطالب از داخل فایل می باشد و در فایل اصلی پاورپوینت کامل مدل سازی زبانی ۲۷ اسلاید در PowerPoint،به هیچ وجه بهم ریختگی وجود ندارد

بخشی از مطالب داخلی اسلاید ها

پاورپوینت کامل مدل سازی زبانی ۲۷ اسلاید در PowerPoint

اسلاید ۴: شمارش کلماتمعمولاً اولین قدم در مدل سازی آماری زبان، شمارش انواع کلمات در یک پیکره متنی می باشد.پیکره متنی: مجموعه ای بزرگ از متون مختلف که از منابع گوناگون گردآوری شده اند.تعداد کل کلمات (word tokens) در پیکره های متنی در حد چند صد میلیونتعداد انواع کلمات (word types) در حد چند صد هزار یا چند میلیون (بسته به نوع متون)قبل از شمارش کلمات معمولاً پیکره متنی باید قطعه بندی و نرمال سازی شود.

اسلاید ۵: شمارش کلماتشمارش کلمات: تعیین انواع word typeها در پیکره متنی و تعداد رخداد هر یک از آنهابا یک بار پیمایش پیکره متنی می توان تعداد انواع کلمات (word typeها) را در پیکره متنی شمارش کرد.در یک پیکر متنی بزرگ از متون واقعی معمولاً تعداد کمی از کلمات با فراوانی بالا و تعداد زیادی از کلمات با فراوانی پایین رخ می دهند.معمولاً stop wordها بیشترین فراوانی را در پیکره متنی دارند.

اسلاید ۶: شمارش کلمات: قانون Zipfقانون Zipf (Zipf’s law):کلمات موجود در پیکره متنی را برحسب فراوانی (از بیشتر به کمتر) مرتب می کنیم و به ترتیب به آنها رتبه (rank) 1 تا N می دهیم.Zipf مشاهده کرد که بین فراوانی کلمات و رتب آنها یک تناسب معکوس وجود دارد.f(w): فراوانی کلمه wz(w): رتبه کلمه w‍C و a: مقادیر ثابت (پارامترهای مدل(

اسلاید ۷: شمارش کلمات: قانون Zipfبین لگاریتم فراوانی و لگاریتم رتبه رابط خطی وجود دارد.پارامترهای C و a را می توان برای هر پیکر متنی محاسبه کرد.

اسلاید ۸: شمارش کلماتدر بسیاری از کاربردها کلمات پرتکرارتر پیکره متنی به عنوان مجموعه لغات (lexicon) انتخاب می شوند.دو راه برای انتخاب کلمات پرتکرار:گذاشتن حد آستانه برروی تعداد کلمات انتخابی (مثلاً ۱۰۰۰۰ کلم پرکاربردتر)گذاشتن حد آستانه برروی فراوانی کلمات (مثلاً انتخاب کلمات با فراوانی بالاتر از ۱۰(در بعضی از کاربردها مانند کاربردهای بازیابی اطلاعات stop wordها معمولاً از لیست کلمات حذف می شوند.بسته به کاربرد ممکن است فقط ریش کلمات انتخابی را در lexicon قرار دهیم.علاوه بر کلمات پرکاربرد، کلمات دیگری نیز بسته به نیاز ممکن است در lexicon و