مقاله درباره معیارهای ارزیابی، ارزیابی کیفی، کیفیت سیستم

دانلود پایان نامه ارشد

بال پیش بینی امتیاز، برای آیتم هدف i (الماس سبز رنگ) میباشد که در این شبکه تنها تعداد اندکی از کاربران، دارای امتیاز در خصوص آن میباشند و سایر کاربران، دارای امتیاز برای سایر آیتمهایی می باشند که ممکن است توسط u به آنها امتیازی داده شده باشد و یا اینکه شبیه آیتم i باشند.

2-5-2- مزایا و معایب

تکنیکهای مبتنی بر اعتماد، قادر به حل مشکلات بیان شده در خصوص سیستمهای توصیهگر مبتنی بر تکنیکهای پالایش گروهی و پالایش محتوایی میباشند[40][41]. به عنوان مثال مشکل “کمبود اطلاعات68” به دلیل وجود امکان انتقال اعتماد در شبکه میان کاربران، قابل کاهش و حل می باشد[33][42] مثلا اگر کاربر A به کاربر B و کاربر B به کاربر C اعتماد داشته باشد در نتیجه کاربر A به کاربر C نیز تا حدودی اعتماد خواهد داشت بنابراین در صورتیکه رابطه اعتماد مستقیمی میان کاربر هدف و سایر کاربران وجود نداشته باشد اما با توجه به توضیح فوق، کاربر هدف می تواند به واسطه توزیع و انتشار اعتماد، یک رابطه اعتماد غیر مستقیم را با سایر کاربران ایجاد نماید که این مسئله باعث افزایش درصد پوشش این تکنیکها به نسبت سایر تکنیکهای موجود خصوصا پالایش گروهی میگردد. در کنار کلیه مزایا و بهبودهای موجود در روش مبتنی بر اعتماد باید به نکاتی نیز در مورد این روش توجه نمود:
در یک شبکه مبتنی بر اعتماد، با توجه به کمی تعداد یا کمبود اطلاعات همسایگان کاربر مبدا در خصوص آیتم مورد نظر وی، الگوریتم نیازمند این است تا علاوه بر بررسی نظرات کاربرانی که به طور مستقیم مورد اعتماد میباشند نظرات کاربرانی نیز که به طور غیرمستقیم مورد اطمینان میباشند را بررسی نماید که این امر میتواند باعث کاهش دقت شود.
از سوی دیگر، زمانیکه در جستجوی نظرات کاربران مختلف در مورد آیتم هدف در شبکه مبتنی بر اعتماد، پیشروی میکنیم با افزایش فاصله از کاربر مبدا، درجه اطمینان به طرز قابل ملاحظهای کاهش مییابد که این امر میتواند باعث تولید دادههای غیر قابل اعتماد گردد.
مدلهای مبتنی بر اعتماد دارای محدودیتها و نواقصی نیز میباشند[43]. به عنوان مثال، از نظر پیچیدگی محاسبات و منابع مورد نیاز، بهینه نبوده و دارای هزینه بسیار زیادی میباشند و در برخی موارد نمیتوان به صورت همزمان دقت نتایج و درصد پوشش را بهبود داد، همچنین اکثر مدلهای موجود بر وجود رابطه اعتماد مستقیم میان کاربران، بنا نهاده شدهاند و تنها وجود یا عدم وجود رابطه اعتماد مد نظر قرار میگیرد در حالیکه در مدل کردن دنیای واقعی، میزان رابطه اعتماد، عددی فازی و در محدوده 0 تا 1 میباشد.

2-5-3- انتشار اعتماد69 و تجمیع اعتماد70

با توجه به بزرگی شبکههای اعتماد موجود در سایتهای مختلف، این امر کاملا مشخص است که تمامی کاربران نمی توانند روی یکدیگر شناخت داشته باشند و طبیعتا یک کاربر با تمامی کاربران دیگر ارتباط ندارد که معنی آن این است که اگر کاربر فرضی a بخواهد در رابطه با کاربر x، اعتماد خود را بیان کند به دلیل عدم وجود رابطه مستقیم با آن کاربر، باید از طریق سایر کاربران مانند کاربر b و ادامه این روند تا رسیدن به کاربر x میزان اعتماد خود را بیان نماید. به روند پیشبینی اندازه اعتماد میان کاربر a و کاربر x از طریق مسیر موجود میان آنها،”انتشار اعتماد” گفته میشود.
با توجه به این نکته که مسیرهای متعددی از کاربر a به کاربر x میتواند وجود داشته باشد باید مکانیزمی نیز برای تجمیع اندازه اعتماد محاسبه شده از طریق مسیرهای مختلف وجود داشته باشد که به این مکانیزم ” تجمیع اعتماد” اطلاق میگردد.
دو مفهوم فوق پایه و اساس شبکه اعتماد و محاسبه اعتماد میان دو کاربر ناشناس را پایهریزی مینمایند و روشها و تکنیکهای متعددی برای محاسبه آنها توسط محققان مطرح شده است.

2-6- چالش ها و محدودیتهای موجود

در این بخش پارهای از مشکلات، محدودیتها و چالشهای موجود در زمینه توسعه و بهبود سیستمهای توصیهگر بیان میگردد.
2-6-1- نقصان و کاستی اطلاعات71

به دلیل امتیاز دهی کاربران به اندکی از آیتمهای موجود و عدم وجود اطلاعات کافی در خصوص تمامی کاربران و امتیازات آیتمها، در توسعه سیستمهای توصیهگر در اکثر مواقع با مشکل کمبود اطلاعات مواجه خواهیم بود. این امر در تکنیکهای پالایش گروهی مشکلات بیشتری ایجاد میکند چراکه احتمال یافتن مجموعهای از کاربران دارای ساختار امتیازدهی مشابه را کاهش میدهد. مشکل نقصان اطلاعات خصوصا در ابتدای کار یک سیستم توصیهگر که اطلاعات بسیار محدودی در اختیار میباشد بیشتر نمایان میگردد. برای حل این مشکل یا کاهش آن می توان از سایر اطلاعات موجود در حوزه مورد فعالیت استفاده نمود[44] یا در روند تولید داده ها از مقادیر پیش فرض و مفروضات از پیش تعیین شدهای استفاده نمود[31].

2-6-2- مشکل کاربران تازه وارد72

کاربران تازه وارد یا مشتریانی که برای اولین بار از یک سایت تجاری بازدید میکنند و همچنین آیتمها و محصولات جدید، سیستمهای توصیهگر را با یک چالش جدی مواجه میکنند که به صورت کلی از آن به عنوان مشکل کاربران تازه وارد یاد میگردد[45].
یکی از ابتدایی ترین اشکال این مسئله در روش پالایش گروهی ظهور میکند زیرا آیتمهایی که توسط کاربران به آنها امتیازی داده نشده باشد قابل توصیه به سایر کاربران نمیباشند یا آیتمهای خاص که مورد توجه کاربران قرار نمیگیرند دسته دیگری از این مشکلات را ایجاد میکنند. در مقابل سیستمهای توصیهگر مبتنی بر محتوا به دلیل تمرکز بر روی ویژگیهای یک آیتم و عدم نیاز به امتیاردهی کاربران[36] میتوانند برای تمامی آیتمها بکار روند و در خصوص کاربران مشابه نیز باعث بهبود پیشنهادات ارائه شده به کاربر هدف گردند.
ارائه پیشنهاد به کاربران تازه وارد از پیچیدگی و دشواریهای بیشتری برخوردار است چراکه بدون داشتن اطلاعات کافی در خصوص سلایق و ترجیحات یک کاربر پیدا نمودن کاربران مشابه یا ساختن یک پروفایل برای کاربر مقدور نمیباشد.

2-6-3- کلاهبرداری و تقلب

با توجه به پذیرش و استفاده عملیاتی از سیستمهای توصیهگر در وب سایتهای تجاری و نقش کلیدی و تاثیرگذار این سیستمها در سود آوری صاحبان سرمایه، باعث بروز انواع روشهای کلاهبرداری در بکارگیری سیستم توصیهگر برای تامین منافع کلاهبرداران گردیده است. به عنوان نمونه می توان به روش “حمله فشاری73” اشاره نمود که در آن کلاهبرداران و فروشندگان متقلب سعی میکنند محصولات خود را دارای محبوبیت بیشتری در میان کاربران جلوه دهند یا در روش “حمله اتمی74” سعی میشود تا از امتیازات کالاها و آیتمهای معرفی شده توسط رقیبان کاسته شود. این روشها و متدهای کلاهبرداری به صورت کلی تحت عنوان “حمله طولانی75″[46] و “حمله تزریق پروفایل76″[47] توسط محققین مورد مطالعه قرار گرفته است.
مطالعات نشان داده است که روشهای فوق میتوانند تاثیرات مخربی بر روی امتیازات پیشبینی شده داشته باشند ولی متدهایی همچون پالایش گروهی مبتنی بر آیتم در مقابل چنین حملاتی مقاومت بیشتری از خود بروز میدهد[46] و طبیعتا متدهای مبتنی بر محتوا نیز که بر سابقه و گذشته امتیازدهی یک کاربر تکیه دارند در مقابل حملات تزریق پروفایل دارای مصونیت میباشند.
در حالیکه تکنیکهای مبتنی بر محتوا در مقابل برخی از روشهای کلاهبرداری مقاومت میکنند روشهای پالایش گروهی در برخی موارد دارای برتری های نسبی نیز میباشند، به عنوان مثال روشهای پالایش گروهی میتوانند در محیطهایی فعالیت کنند که اطلاعات محتوایی قابل ملاحظهای در خصوص آیتم ها در دسترس نباشد یا محتوای موجود مانند ایدهها و عقاید به سادگی قابل آنالیز و فهم توسط سیستمهای کامپیوتری نباشد، همچنین توانایی پیشنهاد آیتمهایی را دارند که اگرچه بر خلاف سلایق و ترجیحات قبلی کاربر میباشد ولی باعث جلب توجه و رضایتمندی کاربران میگردد.

2-6-4- پیچیدگیهای محاسباتی و زمانی

تکنیک استاندارد پالایش گروهی در عین حال سادگی، بسیار موثر عمل می کند اما دارای نقاط ضعفی نیز هست. پالایش گروهی در واقع نمونهای از الگوریتم یادگیرنده مبتنی بر نمونه می باشد که این الگوریتمها به لحاظ محاسباتی خصوصا در زمان پرسوجو دارای هزینه بسیار بالایی میباشند زیرا نیازمند این مطلب هستند که پروفایل تمام کاربران را جهت یافتن بهترین همسایگان جستجو نمایند. این مشکل باعث میگردد تا نتوان از این تکنیکها در محیطهایی با میلیونها کاربر و آیتم استفاده کرد، همچنین به دلیل کند بودن این مرحله معمولا نمی توان از این تکنیکها در سیستمهای توصیهگر برخط استفاده نمود و باید در بازه های زمانی به صورت برونخط مورد استفاده قرار گیرند. با توجه به مطلب بیان شده سیستم توصیهگر مبتنی بر تکنیک پالایش گروهی بروز نمیباشد و نظرات جدید کاربران بلافاصله مورد پردازش قرار نمیگیرد و تاثیرات آنها در فازهای بعدی نمایان خواهد شد.
محاسبه تشابه کاربران با یکدیگر بر اساس آیتم های مشترک، یکی دیگر از کارهایی است که دقت کل سیستم با آن وابستگی مستقیم دارد و ضعف در جستجوی همسایگان باعث کاهش کیفیت سیستم توصیهگر میشود اما در اکثر مواقع بخاطر نقص ماتریس امتیازات و عدم تمایل کاربران به امتیاز دهی به هزارها و بلکه میلیونها آیتم، باعث میگردد تا دو کاربر، دارای اشتراک اندکی در امتیازدهی به آیتمهای یکسان و مشابه باشند که این امر محاسبه تشابه کاربران با یکدیگر را با مشکل مواجه میکند. معمولا مشکل بیان شده برای کاربرانی که به تعداد زیادی آیتم امتیاز دادهاند رخ نمیدهد بلکه کاربرانی که دارای تعداد اندکی امتیاز دهی میباشند سیستم توصیهگر مبتنی بر روش پالایش گروهی را با مشکل مواجه میکنند.

2-7- معیارهای ارزیابی77 سیستمهای توصیهگر

جهت ارزیابی کیفیت یک سیستم توصیهگر میتوان نتایج تولیدی آنرا با نتایج موجود از نظرات کاربران در خصوص آیتمهای مختلف مقایسه نمود و بر اساس خطای موجود میان مقادیر پیشبینی شده و نظرات واقعی کاربران، دقت سیستم را مشخص نمود[48][39][22].

2-7-1- خطای جذر میانگین مربعات (RMSE)78

متداولترین روش ارزیابی یک سیستم توصیهگر استفاده از معیار “خطای مطلق میانگین79″میباشد که به صورت میانگین قدر مطلق تفاضل امتیاز پیشبینی شده توسط سیستم و امتیاز واقعی در قالب فرمول شماره 7 محاسبه میگردد.
(7)
MAE=(∑_((u,i))▒|r ̂_(u,i)-r_(u,i) | )/N

در فرمول فوق r ̂_(u,i) مقدار امتیاز پیشبینی شده توسط سیستم برای کاربر u و آیتم i میباشد و r_(u,i) مقدار واقعی امتیاز کاربر u به آیتم i میباشد و N تعداد ردیفهای مجموعه مورد ارزیابی میباشد.
یکی دیگر از معیارهای ارزیابی مرتبط با معیار خطای مطلق میانگین معیار “خطای جذر میانگین مربعات”میباشد[49][50] که درآن تاکید بیشتری بر روی مقادیر بزرگتر خطای مطلق وجود دارد. نحوه محاسبه این نوع خطا مطابق فرمول شماره 8 میباشد.
(8)
RMSE=√((∑_((u,i)|R_(u,i))▒(r ̂_(u,i)-r_(u,i) )^2 )/N)

در فرمول فوق R_(u,i)، متغیری دوحالته است که نشان دهنده این مطلب است که دردادههای موجود، آیا به آیتم i توسط کاربر u امتیاز داده شده است یا خیر. هرچه که مقدارRMSE کمتر باشد نشان دهنده دقت بالاتر نتایج سیستم توصیهگر میباشد.

2-7-2- معیار درصد پوشش80

یکی دیگر از معیارهای ارزیابی سیستمهای توصیهگر معیار “درصد پوشش” میباشد که اندازه آن بیانگر درصد زوجهایآیتم،کاربر موجود در دادههای مورد ارزیابی که سیستم توصیهگر میتواند برای آنها امتیازی پیشبینی نماید به تعداد کل زوجهای آیتم،کاربر موجود در مجموعه داده مورد ارزیابی میباشد .
(9)
Coverage=(جواب دارای (u,i)های زوج تعداد)/(ارزیابی مورد مجموعه در موجود (u,i)های زوج کل تعداد)*100

2-7-3- معیار دقت81

این معیار دارای مقادیری در بازه ]1,0[ می باشد و بیانگر میزان وجود خطا میباشد. مقدار صفر بیانگر وجود خطای مطلق و مقدار یک بیانگر عدم وجود خطا میباشد لذا با فرض اینکه نتایج خروجی سیستم توصیهگر عددی صحیح در بازه ]5,1[ میباشد میتوان مقدار معیار دقت را در قالب فرمول ذیل تعری

پایان نامه
Previous Entries مقاله درباره بازیابی اطلاعات، جمع آوری اطلاعات، درون داده Next Entries مقاله درباره شبکه اجتماعی، ارزیابی عملکرد، هوش مصنوعی