منابع پایان نامه ارشد درباره مقدار خطا، شبکه عصبی

دانلود پایان نامه ارشد

به ورودي هاي بستگي دارد ميزان ورودي ها بايد به حدي برسد که خروجي نرون را فعال سازد .

کارايي سيناپس ها در انتقال سيگنال هاي ورودي به بدنه سلول را مي توان با استفاده از ضريبي که در ورودیهاي نرون ضرب مي شود مدلسازي کرد. سيناپس هاي قوي تر که سيگنال بيشتري را منتقل مي کنند، داراي ضريب هاي بسيار بزرگتري هستند در حالي که سيناپس ها ضعيف ضريب هاي کوچکتري دارند .

شكل 2-4- شمای ساده یک آکسون عصبی

شكل 2-5- شمای ساده از نحوه مقدار دهی یک سلول عصبی

بدين صورت مدل ما به صورتي خواهد بود که در آن شکل 2-5 آمده است . اين مدل ابتدا مجموع وزني ورودي هاي خود را محاسبه کرده ، سپس آن را با سطح آستانه داخلي خود مقايسه مي کند و چنانچه آز آن تجاوز کرد فعال مي شود . در غير اين صورت غير فعال باقي مي ماند. چون ورودها براي توليد خروجي از ميان نرون عبور مي کنند به اين سيستم «پیشخور » مي گوييم .

بنابراين اگر خروجي را y بناميم ،
معادله 16

درحالي که يک تابع پلکاني است ( در واقع اين تابع را تابع «هوي سايد » مي نامند) و
معادله 17

بدين صورت منظور ما برآورده مي شود دقت کنيد که خروجي تابع تنها مقادير 1و0 است به عبارت ديگر نرون يا فعال است يا غير فعال .
مدل نرون که در شکل 2-4 آمده است در سال 1943 توسط مک کولو و پيتس پيشنهاد شده است . مدل آنها تقريباً به همان صورت که ما بحث کرديم از طرق تحقيق در رفتار نرون هاي مغز پيشنهاد شده بود .مهم است که درباره مشخصات اين مدل بيشتر صحبت کنيم . مدل آنها وسيله اي بسيار ساده است که مجموع وزني ورودهاي خود را براي تعيين خروجي با آستانه مقايسه مي کند . مدل هيچ اهميتي به ساختار پيچيده و زمان بندي فعاليت نرونهاي واقعي نمي دهد و داراي هيچکدام از ويژگيهاي پيچيده نرونهاي بيولوژيکي نيست ، به همين دليل است که آن را يک مدل و نه يک نسخه تکراري از نرون بيولوژيک مي ناميم و مي توان آن را در يک کامپيوتر ديجتال پياده کرد .اين توانايي مدل است. اکنون بايد ديد که چگونه مي توان از اين الگوي ساده بهره جست . نحوه ارتباط نرونها با يکديگر مهم است ، ليکن در پيروي از روش قبلي خود در انتخاب مدل هاي ساده براي شناخت آنچه در دنياي واقعي پيچيده مي گذرد بهتر است ابتدا تنها يک لايه از نرونها را مد نظر قرار دهيم تا بتوانيم خروجي هاي نرونهاي مورد نظر را تحت ورودي هاي معيني مطالعه کنيم .

شكل 2-5- نحوه مقدار دهی در سلول عصبی
نرونهاي مدل ، که به طريقي ساده به يکديگر متصل اند . در سال 1962 توسط فرانک روزنبلات12 به نام پرسپترون نامگذاري شد . او براي نخستين بار نرونهاي مدل را در کامپيوترهاي ديجيتال شبيه سازي کرد و آنها را به طور رسمي تحليل نمود. روزنبلات در کتاب خود «اصول ديناميسم عصبي»13 پرسپترون ها را به صورت شبکه هاي ساده شده شرح داد که در آنها برخي از ويژگيهاي سيستم هاي عصبي واقعي به طور اغراق آميز بکار رفته و برخي ديگر از آنها ناديده گرفته شده بود . او اعتراف کرد که مدل مذکور به هيچ وجه نسخه دقيق سيستم هاي عصبي نمي باشد . به عبارت ديگر او از ابتدا آگاه بود با مدلي پايه روبرو است .
هدف ما کشف خواص مدلهايي است که رفتار خود را از صورت هاي بسيار ساده تر شده سيستم هاي عصبي طبيعي فرا مي گيرند که معمولاً با مقياس بسيار کوچکتري نيز بنا شده اند . جايي که مغز داراي نرون است که هر کدام با نرون ديگر متصل است ، ما با چند صد نرون که هر کدام حداکثر با چند هزارخط ورودي متصل اند سروکار داريم .

شبکه هاي عصبي چند لايه پيشخور
در اين قسمت ، تعميمي از الگوريتم LMS براي طبقه مهمي از شبکه هاي عصبي موسوم به شبکه هاي عصبي چند لايه پيشخور 14MLFN ارايه مي شود . اين تعميم موسوم است به يادگيري پس انتشار خطا که مبتني بر قانون يادگيري اصلاح خطا15 مي باشد . از قانون يادگيري پس انتشار خطا (BP)16 براي آموزش شبکه هاي عصبي چند لايه پيشخور که عموماً شبکه هاي چند لايه پرسپترون (MLP)17 هم ناميده مي شود استفاده مي کنند . به عبارتي توپولوژي شبکه MLP با قانون يادگيري پس انتشار خطا تکميل مي شود . اين قانون مثل قانون LMS تقريبي است از الگوريتم SD ودر چارچوب يادگيري عملکردي18 قرار مي گيرد.
قانون پس انتشار خطا از دو مسير اصلي تشکيل مي شود . مسير اول به مسير رفت19 موسوم مي باشد که در اين مسير ، بردار ورودي به شبکه LMS اعمال مي شود و تاثيراتش از طريق لايه هاي مياني به لايه هاي خروجي انتشار مي يابد. بردار خروجي تشکيل يافته در لايه خروجي ، پاسخ واقعي شبکه MLP را تشکيل مي دهد . در اين مسير پارامترهاي شبکه ، ثابت و بدون تغيير در نظر گرفته مي شوند .
مسير دوم به مسير برگشت20 موسوم مي باشد . در اين مسير ، برعکس مسير رفت ، پارامترهاي شبکه MLP تغيير وتنظيم مي گردند. اين تنظيم مطابق با قانون اصلاح خطا انجام مي گيرد . سيگنال خطا در لايه خروجي شبکه تشکيل مي گردد .
بردار خطا برابر با اختلاف بين پاسخ مطلوب و پاسخ واقعي شبکه مي باشد . مقدار خطا، پس از محاسبه ، در مسير برگشت از لايه خروجي و از طريق لايه هاي شبکه در کل شبکه توزيع مي گردد . چون توزيع اخير ، در خلاف مسير ارتباطات وزني سيناپسها صورت مي پذيرد ، کلمه پس انتشار خطا جهت توضيح اصلاح رفتاري شبکه انتخاب شده است . پارامترهاي شبکه طوري تنظيم مي شوند که پاسخ واقعي شبکه هر چه بيشتر ، به سمت پاسخ مطلوب نزديک تر شود .
در شبکه MLP ، مدل هر نرون داراي يک تابع محرک غير خطي است که از ويژگي هموار(مشتق پذير ) برخوردار است . در اين حالت ، ارتباط بين پارامترهاي شبکه وسيگنال خطا کاملاً پيچيده وغير خطي مي باشد . جهت محاسبه مشتقات به استفاده از قانون زنجيره اي معمول در جبر نياز است .

مروي بر تاريخچه MLFN
تحقيقات روي شبکه هاي عصبي چند لايه پيشخور ، به کارهاي اوليه فرانک روزنبلات (1958) روي شبکه عصبي پرسپترون تک لايه ، با تابع محرک دو مقداره حدي غير خطي وقانون يادگيري SLPR وکارهاي اوليه برنارد ويدرو21 و ماريان هوف22 (1960) وشبکه هاي آدالاين وقانون يادگيري LMS ، بر مي گردد. شبکه هاي تک لايه از اين مشکل اساسي برخوردارند که تنها توانايي حل آن دسته از مسايل طبقه بندي را دارند که بطور خطي از هم مستقل اند . هم روزنبلات وهم ويدرو بر اين امر واقف بودند و شبکه هاي چند لايه را پيشنهاد کرده بودند لکن به علت عدم ارايه قانون يادگيري که بتوان جهت تنظيم پارامترهاي شبکه به کار برد ، توپولوژي شبکه MLP ناقص بود .به عبارت ديگر اگر چه آنها توانسته بودند شبکه هاي تک لايه را به چند لايه تعميم بدهند ، اما قادر نشدند که قانون يادگيري LMS يا SLPR را براي شبکه هاي چند لايه تعميم بدهند .
هر چند استفاده از عبارت « پس انتشار » عملاً پس از 1985 متداول گشت ، لکن نخستين توصيف الگوريتم BP توسط پاول وربز23 در سال 1974 در رساله دکترايش مطرح شد. در اين رساله الگوريتم BP تحت مفهوم شبکه هاي عمومي ارايه شد . اين الگوريتم در دنياي شبکه هاي عصبي ظاهر نشد تا اين که در اواسط دهه 80 الگوريتم BP دوباره کشف و به طور وسيعي مطرح شد . اين الگوريتم بطور مستقل توسط ديويد راملهارت24 ، جفري هينتون25 و رونالد ويليامز26 در سال 1986 و ديويد پارکر27 و يان لي چون28 در سال 1985 دوباره مطرح و در دنياي شبکه عصبي معروف گرديد( منهاج ،1379).
توسعه الگوريتم BP با فراهم آوردن روشي از نظر محاسباتي کارآ، رنسانسي در شبکه هاي عصبي ايجاد نمود . در اينجا نخست پس از معرفي توانايي هاي شبکه هاي پرسپترون چند لايه ، الگوريتم BP ارايه مي گردد .

شبکه هاي پرسپترون چند لايه
شکل (2-7) شماي شبکه پرسپترون سه لايه را نشان مي دهد . همان گونه که در شکل (2-7) ملاحظه مي شود هر نرون در هر لايه ، به تمامي نرونهاي لايه قبل متصل مي باشد . به چنين شبکه هايي ، شبکه هاي کاملاً مرتبط مي گويند .شبکه فوق ، عملاً از به هم پيوستن سه شبکه پرسپترون تک لايه ايجاد شده است . يک لايه خروجي و دو قسمت ديگر لايه هاي مياني ناميده مي شوند . خروجي هاي لايه اول ، بردار ورودي لايه دوم را تشکيل مي دهند و به همين ترتيب بردار خروجي لايه دوم ، وروديهاي لايه سوم را مي سازند وخروجي هاي لايه سوم ، پاسخ واقعي شبکه را تشکيل مي دهند . به عبارتي روشنتر ، روند جريان سيگنالي در شبکه ، در يک مسير پيشخور صورت مي گيرد ( از چپ به سمت راست از لايه اي به لايه ديگر )هر لايه مي تواند از تعدادي نرونهاي مختلف با توابع متفاوت برخوردار باشد : يعني مدلهاي نرونهاي در لايه ها مي توانند متفاوت در نظر گرفته شوند . انديس هاي فوقاني مبين شماره لايه و انديس هاي تحتاني مبدا ومقصد اتصال سيناپسي را مشخص مي کنند، بنابراين ماتريس وزن براي لايه دوم با W نمايش داد مي شود . جهت بيان ساختار يک شبکه چند لايه ، از نمايش عبارتي کوتاه زير استفاده مي کنيم:

معادله 18
(R-S^1 -S^2-S^1)
جايي که R تعداد وروديهاي وS تعداد نرونها در لايهi ام مي باشند .
در شبکه MLP عموماً از دو نوع سيگنال استفاده مي شود که بهتر است از هم تميز داده شوند : يک نوع سيگنالهايي هستند که در مسير رفت حرکت مي کنند ( از سمت چپ به راست شبکه ) ودسته ديگر سيگنالهايي هستند که در مسير برگشت حرکت مي کنند ( از سمت راست به چپ )، به دسته اول سيگنالهاي تابعي و به دسته دوم سيگنالهاي خطا گويند.دليل اين نامگذاري ايل است که سيگنالهاي دسته نخست، بر اساس تابعي از ورودي هاي هر نرون و پارامترهاي شبکه متناظرش با آن محاسبه مي شوند وسيگنالهاي دسته دوم به خاطر منشعب شدن از سيگنال خطا و توزيع برگشت از لايه خروجي به لايه هاي ديگر شبکه به سيگنالهاي خطا موسوم اند ، و خلاصه اينکه سيگنال تابعي ، در مسير رفت در شبکه از لايهاي به لايه ديگر توزيع مي شود وسيگنالهاي خطا در مسير برگشت در شبکه منتشر مي گردند. اين سيگنالها در شکل (2-7) نمايش داده شده اند . سيگنالهاي تابعي با خطوط پر رنگ وسيگنالهاي خطا با خطوط خط چين دار در شکل رسم شده اند.
هر نرون در شبکه MLP دو محاسبه انجام مي دهد. در محاسبه اول سيگنال تابعي و در محاسبه دوم تخمين لحظه اي از گراديان منحني خطا را نسبت به پارامترهايي که ورودي نرون را به خود نرون متصل مي کند، در اختيار قرار مي دهد. اين گراديان جهت پخش سيگنالهاي خطا در شبکه مورد نياز مي باشند .

الگوريتم پس از انتشار BP
شبکه چند لايه پيشخور همراه با علايم وفرم ساده شده اش کاملاً مورد بررسي قرار گرفت . همان گونه که قبلاً گفته شد خروجي هر لايه ، ورودي لايه بعدي مي گردد با معادلات زير که رفتار شبکه را بيان مي کند:
معادله 19

جايي که L تعداد لايه هاي شبکه را مشخص مي کند و P بردار ورودي شبکه مي باشد ، به عبارتي ورودي هاي نرونهاي لايه اول را عناصر بردار p مي سازند . خروجي لايه آخر بردار خروجي کل شبکه را تشکيل مي دهد، يعني اينکه پاسخ واقعي شبکه a برابر باal مي باشد .

شكل 2-6- الگوریتم یک شبکه عصبی چند لایه پیشخور
شاخص اجرايي
الگوريتم BP براي شبکه هاي MLP تعميمي از الگوريتم LMS مي باشد. در اينجا نيز براي الگوريتم BP همان شاخص اجرايي که براي الگوريتم LMS به کار رفت ، مورد استفاده قرار مي گيرد . اين شاخص، ميانگين مربعات خطا مي باشد که در چارچوب يادگيري با ناظر، با زوج داده هاي يادگيري زير قرار مي گيرد :
معادله 20

جايي که P بردار ورودي شبکه و ti خروجي ( پاسخ ) مطلوب شبکه براي ورودي pi است پس از اعمال ورودي P(K) (K امين الگو ) به شبکه ـ که يکي از pi ها مي باشد ـ سيگنال خطا در خروجي نرون I ام از لايه خروجي ( لايه L) در لحظه K يا تکرار K ام ، از روي رابطه زير به دست مي آيد :
معادله 21
جايي که عنصر j ام از بردار جواب مطلوب متناظر با بردار ورودي p(k) مي باشد.مقدار لحظه اي مربع خطا براي نرون jام ازلايه خروجي، به شکل تعريف مي شود . متعاقباً مقدار لحظه اي جمع مربعات خطا ، با جمع براي تمامي نرونها در لايه خروجي به دست مي آيد . توجه داريم که تنها ، نرونهاي لايه خروجي به عنوان

پایان نامه
Previous Entries منابع پایان نامه ارشد درباره ارزش بازار، بورس اوراق بهادار، بورس اوراق بهادار تهران، بورس تهران Next Entries منابع پایان نامه ارشد درباره حجم مبادلات سهام، ساختار داده، صنعت خودرو