منبع پایان نامه درمورد داده های ورودی، شبکه های عصبی، فرایند آموزش، شبکه های عصبی مصنوعی

دانلود پایان نامه ارشد

کارکرد شبکه ی عصبی مصنوعی مورد استفاده قرار می گیرد. از این میان به انواع زیر اشاره نمود:

3-3-5-15-میانگین مربعات خطا
میانگین مربعات خطا از رابطه ی زیر محاسبه می شود که در آن p بیانگر تعداد عناصر پردازنده ی خروجی است. N تعداد نمونه های شبکه ی داده ها را نشان می دهد Yij خروجی شبکه برای نمونه ی i در عنصر پردازنده ی j است. dji خروجی مطلوب برای نمونه ی i در عنصر پردازنده ی j است.
MSE= (∑_(j=0)^P▒∑_(i=0)^N▒(d_ij-d_ij )^2 )/NP

3-3-5-16میانگین مربعات نرمال شده ی خطا:
فرمول زیر بیانگر میانگین مربعات نرمال شده ی خطا(NMSE) است. در این فرمولP بیانگر تعداد عناصر پردازنده ی خروجی است. N تعداد نمونه های شبکه ی داده ها را نشان می دهد.MSE میانگین مربعات خطای شبکه است. dJi خروجی مطلوب برای نمونه i در عنصر پردازنده ی J است.
NMSE= (P N MSE)/(∑_(j=0)^P▒(N∑_(i=0)^N▒〖dij^2 〗-(∑_(i=0)^N▒dij)^2)/N)

3-3-5-17-درصد خطا
درصد خطا توسط فرمول زیر تعیین می شود. در این فرمول P بیانگر تعداد عناصر پردازنده ی خروجی است. N تعداد نمونه های شبکه ی داده ها را نشان می دهد. :dyji خروجی غیر نرمال شبکه برای نمونه ی i در عنصر پردازنده ی j است. :dji خروجی مطلوب غیر نرمال شبکه برای نمونه ی i در عنصر پردازنده ی j است توجه داشته باشید که این شاخص می تواند گمراه کننده باشد. به عنوان مثال، ممکن است، خروجی مطلوب شما1/0 و خروجی واقعی 2/0 باشد. اگر چه دو شاخص کاملاً به هم نزدیکند، اما درصد خطای این نمونه 100 است.

%Erros= 100/NP ∑_(j=0)^P▒∑_(i=0)^N▒|dyij-ddij|/ddij

در روند آموزش شبکه، وزن واحد محاسبه گر بنا به نیاز برای بدست آوردن حداقل اشتباهات تغییر می نماید. خطای این واحدهای محاسبه گر در واقع تفاوت بین ارزش مقداری مورد هدف با ارزش ناشی از محاسبات در سیکل های متعدد آموزش می باشد.

3-3-6-آموزش شبکه های عصبی مصنوعی
آموزش فرآیندی است که در طی آن پارامترهای آزاد شبکه،(وزن ها) به شاخص های بهینه خود نزدیک می شوند. در اکثر مواقع، از شبکه های پرسپترون چند لایه با الگوریتم های نظارت شده استفاده می شود. به همین دلیل، شناخت قوانین آموزش برای طراحی یک شبکه ی کار آمد بسیار مهم است. زیرا در الگوریتم های نظارت شده، باید قوانین آموزش را به خوبی رعایت نمود تا شبکه وظایف خود را به خوبی انجام دهند.

3-3-7-آموزش از دیدگاه کلی
آموزش فرآیندی است که در آن پارامترهای آزاد شبکه- وزن ها- به شاخص های بهینه ی خود نزدیک می شوند. در پرسپترون چند لایه از الگوریتم های نظارت شده استفاده می شود. در این الگوریتم ها شبکه قادر است با استفاده از ورودی ها و خطاها(تفاوت میان خروجی و پاسخ مطلوب) آموزش ببیند. بدین ترتیب اجزای آموزش نظارت شده عبارتند از ورودی، پاسخ مطلوب، خطا و یک قانون یادگیری. در آموزش شبکه باید کمترین تعداد وزن های آزاد یافت شوند. عمومی ترین نوع آموزش نظارت شده، آموزش پسخور است. قانون پسخور وزن ها را بر اساس سهم موضعی سیگنال ورودی و سهم موضعی آن از خطا تغییر می دهد. تغییرات؛ متناسب با نتیجه ی این دو بخش است. زمانی که از این الگوریتم استفاده می شود، سیستم شیب نزولی به خود می گیرد و در جهتی مخالف با بزرگترین شیب موضعی حرکت می کند. یعنی وزن ها در جهت پایین احیا می شوند(سلطانی و دیگران، 1389).
ضعف الگوریتم پسخور آن است که ممکن است گرفتار حداقل محلی شود. یعنی الگوریتم فکر می کند که به بهترین مجموعه ممکن از وزن ها رسیده است در حالی که احتمالات بهتری نیز وجود دارد. همچنین این الگوریتم کند است و گاهی وزن های اضافی تولید می کند. در نهایت نرخ آموزش را در این الگوریتم باید به صورت اکتشافی تعیین نمود. با افزایش شیب نزولی آموزش اصلی، می توان سرعت این الگوریتم را افزایش داد. از الگوریتم های سریع تر مانند کوئیک پروب39 ، دلتا بار دلتا40 و مومنتم41 نیز استفاده می شود. اغلب توصیه می شود از الگوریتم مومنتم استفاده شود. اکثر این الگوریتم ها نیازمند انتخاب اندازه مرحله(step size) هستند. قاعده آن است که هر چه اندازه مرحله بیشتر باشد، رسیدن به حداقل خطا زودتر امکان پذیر می شود. اگر اندازه مرحله بسیار بزرگ باشد، الگوریتم واگرا شده و به جای آنکه خطا کاهش پیدا کند، افزایش می یابد. اگر اندازه مرحله بسیار کوچک باشد، رسیدن به حداقل خطا بسیار طولانی خواهد شد و احتمال گرفتار شدن در حداقل محلی افزایش می یابد. توصیه می شود که ابتدا با اندازه مرحله ی بزرگ آغاز کنید. اگر شبیه سازی واگرا شد، باید شبکه را با اندازه مرحله کوچکتر از نو آغاز شود . این روش، تعداد تکرارهای لازم برای رسیدن به بهترین پاسخ را کاهش می دهد.
موضوع دیگر، انتخاب وزن های آغازین است. اگر در مورد مسئله، اطلاعات و تجربه ی قبلی نداشته باشیم باید وزن های آغازین را به صورت تصادفی انتخاب کنیم. عناصر پردازنده اشباع غیر خطی دارند. بدین ترتیب اگر وزن ها خیلی بزرگ باشند، عناصر پردازنده اشباع می شوند. اگر عناصر پردازنده اشباع شوند، خطای انتقالی به صفر می رسد و ممکن است لایه های قبلی سازگار نشوند. وزن های تصادفی کوچک؛ هر عنصر پردازنده ای را در ابتدای آموزش در ناحیه ی خطی سیگموئید قرار می دهد. به طور کلی، آموزش فرآیندی است که به وسیله ی آن شبکه ی عصبی خود را با یک محرک سازگار می کند، به نحوی که بعد از تعدیل مناسب پارامترهای شبکه، پاسخ مطلوب را ارائه دهد. همچنین شبکه ی عصبی، در حین آموزش وظیفه دسته بندی هر یک از محرک ها را به عهده دارد. یعنی وقتی یک محرک به شبکه اعمال می شود، یا آن را تشخیص داده و در دسته های موجود قرار می دهد و یا دسته ی جدیدی می سازد. در واقع شبکه در فرایند آموزش، پارامترهای خود یعنی وزن های سیناپسی42 را در پاسخ ورودی محرک تعدیل می کند، به نحوی که خروجی واقعی شبکه(actual output) به خروجی مطلوب(desired output) همگرا شود.
هنگامی که خروجی واقعی همان خروجی مطلوب گردد، آموزش شبکه خاتمه می یابد و به اصطلاح، شبکه دانش را فرا گرفته است. شیوه ی آموزش به نحوه ی اتصالات نرون های مصنوعی برای نمونه های مختلفی که تا کنون ارائه شده است بستگی دارد. در شبکه های عصبی مصنوعی، قوانین آموزش43 به شکل ریاضی بیان می شود که به معادلات آموزش44 موسوم است. معادلات آموزش، شیوه ی یادگیری شبکه که در واقع نحوه ی تبدیل وزن ها هستند، را بیان می کند. همان طور که شیوه ی آموزش خاصی برای افراد معینی متناسب است، برای شبکه ی عصبی مصنوعی نیز روش های خاصی مناسب است. به طور کلی در آموزش شبکه های عصبی، سه نکته را باید در نظر داشت: اول انتخاب داده های ورودی و اندازه ی آن، دوم تنظیم قوانین لازم و سوم انتخاب معیارهای پایان آموزش. همچنین سرعت آموزش و بهبود عمومی سازی آن را باید به بهترین صورت تنظیم نمود. در کل هیچ فرمول مدونی برای انتخاب این قوانین وجود ندارد. فقط می توان بر پایه یک سری قوانین کلی، شبکه را چندین بار آموزش داد.

3-3-8-داده های ورودی
میزان داده های ورودی اهمیتی بنیادی در کارایی شبکه دارد. اگر الگوهای آموزشی تمام مؤلفه های مسئله ای که باید توسط شبکه حل شود را ارائه نکند، شبکه به خوبی آموزش نمی بیند و عملکرد شبکه برای داده های تست بسیار بد خواهد بود. تنها فرمول کلی که می توان به آن اشاره نمود، عبارت است از استفاده از تعداد زیادی داده ی ورودی که مسئله ی مورد نظر را به خوبی بیان نماید. جنبه ی دیگری که باید در نظر داشت؛ عبارت است از رابطه ی میان مجموعه داده های ورودی و تعداد وزن های شبکه. اگر تعداد نمونه های ورودی کمتر از وزن های شبکه باشد، می توان انتظار داشت که یک وزن منفرد به هر نمونه اختصاص پیدا می کند. در این حالت، شبکه به سختی بتواند مسئله را حل کند. این فرایند باعث می شود که عمومی سازی یا قابلیت تعمیم شبکه- توانایی شبکه در ارتباط دادن نمونه های جدید به گروه هایی که در فرایند آموزش طبقه بندی شده اند- به خوبی صورت نپذیرد. تعداد نمونه های آموزشی حداقل باید دو برابر تعداد وزن های شبکه باشد.
اگر میان عملکرد شبکه در مرحله آموزش و تست اختلاف وجود داشته باشد، می توان فهمید که آموزش شبکه خوب صورت پذیرفته است. البته بدیهی است که همیشه از عملکرد داده های تست کمتر از داده های آموزشی خواهد بود. اگر این کاهش عملکرد بیش از 10 درصد باشد، توصیه می شود می بایستی که تعداد داده های ورودی را افزایش داده و شبکه را دوباره آموزش داد .

3-3-8-1-اندازه ی شبکه
با روش آزمایش و خطا، می توان به اندازه ی مناسب شبکه دست پیدا نمود.البته نظریه ی عمومی سازی تکلیف این مرحله را مشخص نموده است، ولی کاربرد این نظریه در موارد عملی مشکل است. فرمول عمومی سازی برای اندازه شبکه، بیانگر آن است که تعداد عناصر پردازنده در لایه های مخفی، با قابلیت کاربردهای الگو یابی شبکه مرتبط است. هر چه تعداد عناصر پردازنده در لایه های مخفی بیشتر باشد، شبکه قدرتمند تر خواهد بود. به هر حال اندازه ی شبکه، مدام افزایش پیدا کند، به نقطه ای می رسیم که عمومی سازی کاهش می یابد. این فرایند به این دلیل اتفاق می افتد که ممکن است شبکه اشباع شده باشد. بدین ترتیب، عملکرد شبکه در مورد داده های جدید بسیار کاهش می یابد. مسئله اصلی، عبارت است از پیدا نمودن کوچکترین درجه ی آزادی شبکه که عملکرد مناسبی در مورد داده های تست داشته باشد.

3-3-8-2-پایان آموزش
مسئله دیگر در آموزش شبکه های عصبی مصنوعی، پایان آموزش است. بیشتر معیارهای پایان آموزش بر اساس کنترل مربع میانگین خطا صورت می پذیرد. منحنی MSE را به عنوان تابعی از زمان، منحنی آموزش می نامند. معمولاً از تعداد تکرارها نیز به عنوان معیار پایان آموزش استفاده می کنند، ولی باید خطای پایانی را هم در نظر داشته باشیم. هر دوی این معیار ها کاستی هایی دارند. در عمل از آستانه ی آموزش حداقل افزایشی استفاده می کنیم. در بین دو تکرار متوالی، اگر خطا به مقدار معینی کاهش پیدا نکند، باید فرایند آموزش را خاتمه داد. این روش ایده ی مناسبی برای مقایسه ی توپولوژی های مختلف شبکه است. وقتی که خطای داده های تست شروع به افزایش کند باید آموزش را متوقف نمود. در این نقطه بیشترین عمومی سازی اتفاق می افتد. برای به کار گیری این روش، ابتدا ما باید شبکه را چند بار آموزش دهیم. سپس وزن ها را ثابت کنیم، و شبکه را با داده های تست ارزیابی نماییم. آنگاه دوباره مجموعه داده های آموزشی برگردیم و آموزش را ادامه دهیم. این روش کمی طاقت فرسا است زیرا برای هر تکرار آموزش، محاسبه ی عملکرد داده های تست شبکه الزامی است. که در این پژوهش پایان آموزش بعد از 100 تکرار اعمال شده است.

3-3-8-3-روش های آموزش
روش های آموزش مختلفی وجود دارند که در زیر به آنها اشاره می شود. در گروه آموزش های نظارت شده، باید سه دسته پارامتر اساسی را تنظیم نمود. انتخاب معیار خطا، نحوه ی انتشار خطا در شبکه و قوانین شبکه در مورد خروجی آن. انتخاب معیار خطا به تابع هزینه ای که خطا را محاسبه می کند، بستگی دارد. نحوه ی انتشار خطا در شبکه به مکانیسمی بر می گردد که پارامترهای شبکه را به روشی خودکار احیا می کند. در اینجا آموزش گرادیان نزولی (gradient descent)، مهم ترین آموزشی است که در گروه آموزش های نظارت شده به کار می رود. محدودیت های شبکه در مورد خروجی آن، به نحوه ی محاسبه ی خروجی شبکه در مقابل پاسخ مطلوب بستگی دارد. نحوه ی محاسبه ی خروجی، می تواند در زمان پایان شبکه انجام شود. این نوع آموزش را آموزش ثابت می نامند، که در آن شاخص هایی را که خروجی با آنها به پاسخ مطلوب می رسد را ما به سیستم تحمیل نمی کنیم. شبکه های پیش خور را فقط می توان به روش آموزش ثابت45، آموزش داد.

3-3-8-1-1-الگوریتم های یادگیری نظارت شده یا با ناظر
در یادگیری با ناظر فرض بر آن است که در هر مرحله از تکرار الگوریتم های یادگیری ، جواب مطلوب سیستم یادگیرنده از قبل آماده است، و به عبارتی الگوریتم یادگیری به جواب

پایان نامه
Previous Entries منبع پایان نامه درمورد اعتبار سنجی، شبکه های عصبی، شبیه سازی، پرسپترون چند لایه Next Entries منبع پایان نامه درمورد داده های ورودی، شبکه های عصبی، پرسپترون چند لایه، شبکه های عصبی مصنوعی