دانلود پایان نامه ارشد درمورد درخت تصمیم، ماشین بردار پشتیبان، اسم مستعار

یکدیگر هم‏مرجع هستند یا خیر. حتی در برخی موارد میزان احتمالِ هم‏مرجع بودن آن‏ها نیز تعیین می‏گردد. در آخر نیز مجموع این تصمیمات دوبه‏دو به مسئله‏ی افراز اشاره‏ها تبدیل می‏گردد. که می‏تواند با استفاده از خوشه‏بندی و یا هر روش افراز دیگر انجام گیرد. یکی از محاسن این دسته از روش‏ها در سادگی آن‏ها می‏باشد. علاوه براین، مدل‏های بسیاری برای حل مسائل رده‏بندی وجود دارند که از کارائی بالایی برخوردار می‏باشند. از سوي دیگر، مشکل این دسته از روش‏ها در این است که تصمیم‏گیری در مورد جفت عبارات اسمی، به صورت مستقل انجام می‏گیرد و روابط متعددی در تصمیم‏گیری در نظر گرفته نمی‏شود. به عبارت دیگر مشکلی به نام «ناسازگاری‏های سه‏گانه81» بوجود خواهند آمد. به‏عنوان مثال، در روش‏های رده‏بندی، اگر عبارت‏های “Mrs. Kazemi” و “Kazemi” هم‏مرجع باشند احتمال اینکه عبارت‏های “Kazemi “و “he” نیز با هم، هم‏مرجع باشند وجود دارد [6]. از آنجائیکه این دو تصمیم به طور جداگانه گرفته می‏شود؛ امكان بروز این خطا که در جفت اول، جنس از نوع مونث، اما در عبارت دوم، جنس از نوع مذکر است و هر سه نمی‏توانند به یک مرجع مشترک اشاره داشته باشند، غير قابل اجتناب است.[63،76]
برطرف کردن چنین مشکلی به مسئله خوشه‏بندی برمی‏گردد. البته شايان ذكر است كه بر طرف كردن چنين خطايي در زبان پارسي، حتي با استفاده از خوشه‏بندي نيز آسان نخواهد بود، چرا كه جنسيت در زبان پارسي مشخص نيست، در هر حال، با توجه به این مسئله، روال کار در مدل‏های مبتنی بر جفت اشاره در دو مرحله انجام خواهد شد. اما پیش از آنکه بخواهیم هر کدام از این دو مرحله (رده ‏بندی و افراز) را شرح دهیم، به طور خلاصه به روال تولید نمونه‏های آموزشی مثبت و منفی از متن ورودی می‏پردازیم.

جدول2-۲: برخی از ویژگی‏های ارائه شده در تحلیل مرجع مشترک[12،44،45،50،65،77،82،103،105]
ویژگی
توضیح
فاصله
این ویژگی‏ها، فاصله میان دو عبارت اسمی(mi , mj) را در قالب تعداد جملات بین دو عبارت، تعیین مي‏كنند.
تطبیق
این ویژگی‏ها، تطبیق عدد و جنس دو عبارت اسمی(mi , mj) را مشخص می‏نمايند.
نوع عبارت اسمی
این ویژگی‏ها، نوع عبارات اسمی را بررسی می‏پردازند که می‏تواند هم از طریق تحلیل نحوی و هم از طریق رویکردهای سطحی مشخص شود. عموما انواع عبارات اسمی به سه دسته اسم عام، اسم خاص، ضمایر تقسیم می‏شوند.82
*شناسایی نوع عبارت‏های اسمی در زبان انگلیسی ساده تر از زبان پارسی است. به عنوان نمونه اسامی خاص در زبان انگلیسی با حرف بزرگ شروع می‏شوند در صورتی که در زبان پارسی چنین نیست.
نحوی سطحی
در این حالت برخی از ویژگی‏های نحوی مورد بررسی قرار می‏گیرند؛ به عنوان نمونه‏ایا mj به عنوان بدل یا عطف بیان برای mi محسوب می‏شود.
نحوی عمقی
برخی از پژوهشگران، از تجزیه‏گر برای اینکار استفاده می‏نمایند. آن‏ها از درخت‏های تجزیه و یا زیر درخت‏های تجزیه به عنوان ویژگی‏های نحوی عمقی بهره می‏برند.به عنوان نمونه [45] خلاصه‏های مفیدی مانند مسیر وابستگی میان گره‏های ریشه و هر کدام از mi و mj را محاسبه می‏نمایند. همچنین می‏توان از برخی از محدودیت‏های اتصال مانند آنچه در بخش مشابهت نحوی روش‏های زبان‏شناسی گفته شد نیز استفاده نمود.
تطابق رشته ای
این ویژگی می‏تواند برای عبارت‏های اسمی کامل و اسامی بسیار مفید باشد. اینکه این تطبیق چه به صورت کامل درنظر گرفته شود چه به صورت جزئی، می‏تواند مانند [103] از ورژن قوی‏تری مانند «تطابق هسته» پیروی کند. به این ترتیب که در این رویکرد تمامی وابسته‏ها حذف شده و تنها به تطابق رشته‏ای هسته‏ها در mi و mj پرداخته می‏شود. البته در گاهی اوقات مانند اسامی انسان‏هایی که در وابسته ی پیشین خود با یکدیگر متفاوت هستند(آقای اسمیت و جانت اسمیت) و یا نامهای برخی از سازمان‏ها می‏توان از «تطابق اسم مستعار83» نیز استفاده کرد.یکی از تکنیک‏های ماهرانه در این خصوص، روش [65] می‏باشد که استفاده از تکنیک فاصله ویرایش حداقل84 را ارائه نموده است.
تطابق اسم مستعار
این ویژگی‏ها، به بررسی می‏کند آیا یکی از دو عبارت اسمی mi ، نام مستعار mj هست یا خیر.
تطابق کلاس معنایی
این ویژگی‏ها، تطبیق کلاس معنایی هسته‏های دو عبارت اسمی (mi , mj) را بررسی می‏نماید در برخی موارد این تطابق بر اساس سلسله مراتب شبکه واژگان85 بررسی می‏شود. گاهی اوقات تحلیل مرجع مشترک نیاز به بررسی دایره المعارف دارد(مانند Wikipedia) تا از این طریق بتواند به استدلال ارتباط بین عبارت‏های مختلف بپردازد.

روال کار تولید نمونه‏های آموزشی
فرض کنید زنجیره اشاره‏های M را داریم { m1-m2-m3-m4}=M به طوری که اعضای این زنجیره از یک متن آموزشی نشانه‏گذاری شده، استخراج شده باشد و همه به یک مرجع واحد اشاره داشته باشند:
برای تولید نمونه‏های آموزشی مثبت، هر اشاره در یک زنجیره را با اشاره‏ی مجاورش در همان زنجیره، به‏عنوان یک نمونه آموزشی مثبت در نظر می‏گیریم. به‏عنوان مثال m2-m3 را در نظر می‏گیریم. از طرفی دیگر، برای تعیین نمونه‏های منفی فرض می‏کنیم که عبارات زیر به ترتیب از متن آموزشی استخراج شده‏اند. …- m1-b1-c3-a-m2 که در آن b1 وc3 به زنجیره‏های اسمی دیگری تعلق دارند و a نیز جزئی از هیچ زنجیره اسمی (هم‏مرجع) نمی‏باشد. بنابراین جفت‏های b1-m2 ، c3-m2 ، a-m2 و… نمونه‏های منفی را تشکیل می‏دهند.[13] شکل 2-۱ یک مثال از روال تولید نمونه‏های آموزشی مثبت و منفی توسط درخت تصمیم را نمایش می‏دهد.

شکل 2-۱ .نمونه‏ای از نمونه‏های مثبت و منفی که توسط C4.5 تولید شده است[31]
2-1-۳-۲-۱.رده‏بندی جفت عبارت‏های اسمی:
الگوریتم‏های رده‏بندی86 مانند سایر روش‏های با ناظر87، به استفاده از یک پایگاه داده نیاز دارند که در آن زنجیره‏ای از اشاره‏هایی که به یک موجودیت واحد ارجاع می‏پردازند، نشانه‏گذاری شده باشد. هرچند که می‏توان هر یک از الگوریتم‏های رده‏بندی را به منظور تشخیص مرجع مشترک به کار برد، اما همان طور که گفته شد، پیش از استفاده از آن‏ها باید متن ورودی توسط چند پیمانه مورد پردازش قرار بگیرد، تا تمامی اشاره‏های موجود در آن شناسایی شوند. سپس به ازای هر اشاره (mi)، مجموعه‏ای از اشاره‏های هم‏مرجع کاندیدا می‏شوند. در ادامه با جفت کردن اشاره با تمام کاندیداهای موجود در زنجیره، جفت اشاره‏ها تعیین می‏گردد.
پس از تولید آن‏ها، به ازای هر جفت، یک بردار ویژگی تشکیل شده و در قالب نمونه‏های آموزشی به الگوریتم یادگیری داده می‏شود. سپس الگوریتم براساس بردار ویژگی داده شده آموزش می‏بیند که آیا جفت اشاره‏های مورد بررسی به یک موجودیت مشترک ارجاع دارند یا خیر، و یا اینکه احتمال هم‏مرجع بودن آن‏ها چقدراست. به این ترتیب می‏توان یک رده‏بند مناسب ایجاد نمود. عموماً برای انجام این کار از انواع متفاوت ویژگی‏ها مانند آنچه در جدول 2-2 گفته شد، استفاده می‏شود، که با توجه به تعداد ویژگی‏های به کار رفته، اندازه های متفاوتی برای بردارهای ویژگی رقم زده می‏شود. از پژوهش‏های انجام شده می‏توان به کاردیه88 با 53 ویژگی، مک کارتی89 با ۸ ویژگی ، گریست90 با ۱۳ ویژگی واستویانو91 با بیش از ۸۰ ویژگی اشاره نمود. در ادامه به بررسی رده‏بندي درخت تصميم می‏پردازیم. [52،57،101]
2-1-3-2-1-1.درخت تصميم
برای نخستین بار در سال ۱۹۹۵، مک کارتی از روش درخت تصمیم برای تشخیص مرجع مشترک استفاده نمود[52]،اما در سال ۲۰۰۱ بود که سون92 و همکارانش توانستند استفاده از آن را به‏عنوان یک روش مطرح و موفق، ارائه نمایند[105]. به دنبال آن‏ها، [12،39،40،75،99،101،108]، نیز از درخت تصمیم استفاده کرده‏اند. در سال ۲۰۱۰،کوبدانی و همکارش یک سیستم پیمانه‏هاي برای تشخیص مرجع مشترک ارائه دادند، آن‏ها با بررسی نتایج رده‏بندهای مختلفی مانند درخت تصمیم، نیو بیز، ماشین بردار پشتیبان و حداکثر آنتروپی برای زبان‏های آلمانی و انگلیسی، رده‏بند درخت تصمیم را برگزیدند[39]. یک سال بعد نیز آن‏ها، سیستم پیشنهادی خود را تحت عنوان سیستم خودراه انداز تحلیل مرجع مشترک، توسعه دادند و از ویژگی‏هایی مانند شبکه واژگان استفاده کردند تا به طور خودکار، باهم‏آیی واژگان نشانه‏گذاري شود.[40]در سال ۲۰۱۲، بانسال و کلین نیز ویژگی‏های تحت وب را گسترش داده و برای انجام رده‏بندی به کار بستند. می‏توانید اطلاعات بیشتر را در [12]مطالعه نمائید.
همانطور‏که در بخش قبل گفته شده، آموزش رده‏بند درخت تصمیم با استفاده از متون آموزشی انجام می‏شود. پس از آموزش ، نوبت به مرحله آزمایش آن بر روی متون آزمایشی می‏رسد. طبق پژوهش‏های ارائه شده، فرآیند رده‏بندی جفت اشاره‏ها می‏تواند به صورت‏های ذیل صورت پذیرد:
نخست، پیش از فرآیند تصمیم‏گیری، لازم است تا در یک یا چند پیمانه پیش پردازشی، تمامی اشاره‏های موجود در متن آزمایشی استخراج شوند. سپس برای هر یک از اشاره‏ها که به‏عنوان تالی انتخاب می‏شود، تمامی اشاره‏های ما قبل آن بررسی شده تا به‏عنوان کاندیداهایی، برای عبارت مقدم یا عبارت اسمی هم‏مرجع در نظر گرفته شوند. (این عمل از راست به چپ انجام خواهد شد) در ادامه به ازای هر جفت اشاره، یک بردار ویژگی‏ها تولید می‏شود و این بردار به‏عنوان ورودی به رده‏بند داده خواهد شد. این فرآیند، برای هر اشاره به طور مداوم انجام می‏شود تا زمانی که رده‏بند اعلام نماید که دو اشاره با هم، هم‏مرجع هستند و یا اینکه دیگر اشاره‏ای قبل از تالی وجود نداشته باشد. به این ترتیب، تمامی زنجیره‏های اسمی متن آزمایشی یافت خواهند شد.[105]
کاردیه و همکارانش در پژوهشی دیگر، گسترش دیگری بر روش [105]ارائه کردند که در آن به ازای هر عبارت اسمی، بررسی می‏شود که آیا آن عبارت اسمی، دارای مرجع هست یا خیر و آن‏ها برای تعیین این مسئله از مدل حداکثر آنتروپی93 استفاده کردند.
یانگ94 و همکارانش، گونه‏ای از یادگیری رقابتی95 را در زمینه تشخیص مرجع مشترک، به کار گرفتند. در روش ارائه شده توسط آن‏ها، نمونه‏های آموزشی به این ترتیب فراهم می‏شوند که به ازای هرتالی، یک جفت مقدم کاندیدا در نظر گرفته می‏شود؛ بطوریکه یکی از آن‏ها مرجع تالی باشد ولی دیگری با تالی در یک زنجیره با مرجع مشترک قرار نداشته باشد. اینگونه نمونه‏های آموزشی، باعث می‏شوند که عامل یادگیرنده، تفاوت میان کاندیداهای هم‏مرجع و غیرهم‏مرجع را آموزش ببیند و برای مقایسه میان کاندیداهای مختلف، توانمندتر عمل نماید.[109]

2-1-۳-۲-۲. افراز:
در اکثر روش‏هایی که اخیراً ارائه شده، مرحله رده‏بندی یکسان بوده است که با کمک یکی از روش‏های درخت تصمیم، [52،101،105] حداکثر آنتروپی[96]، مدل احتمالی تولیدی [73]و یا ماشین بردار پشتیبان[28،35،57،91] پیاده سازی شده است96. روش ارائه شده توسط[105]، بیش از سایر رده‏بندهای ارائه شده، مورد توجه و استفاده پژوهشگران قرار گرفته است. اما آنچه پژوهش‏های ارائه شده را از یکدیگر متمایز می‏سازد، ویژگی‏های استفاده شده و روش افراز جفت اشاره‏ها است. به عنوان مثال، کاردیه و همکارانش، چند راهکار برای افراز و بهبود کارائی روش [105] ارائه دادند:
1) استراتژی بهترین- اولین97:
در این روش مانند روش قبل تمامی اشاره‏های ماقبل تالی به‏عنوان کاندیدایی برای مرجع مشترک انتخاب می‏شوند. در نهایت اشاره‏ای انتخاب می‏شود که بالاترین احتمال را برای هم‏مرجع بودن، با عبارت مورد بررسی داشته باشد.[101]
2)تولید مجموعه آموزشی :
برای قابل اجرا بودن رده‏بندی بهترین – اولین نحوه‏ی انتخاب نمونه‏های آموزشی تغییر می‏کند. عملکرد تولید مجموعه آموزشی به این ترتیب است که به جای اینکه نمونه‏های مثبت را از هر عبارت اسمی و نزدیک‏ترین عبارت اسمی هم‏مرجع با آن فراهم شود، نمونه‏های مثبت از هر عبارت اسمی و مناسب‏ترین عبارت اسمی که می‏تواند با آن هم‏مرجع باشد، انتخاب می‏گردد.[101]

2-1-۳-۲-۲-۱. درخت بل98
در سال ۲۰۰۴، لو99 و همکارانش، روشی برای تشخیص مرجع مشترک ارائه دادند که در آن از درختِ بل به‏عنوان فضای جستجو استفاده شده است.[106] سال بعد