دانلود پایان نامه ارشد با موضوع پردازش اطلاعات

دانلود پایان نامه ارشد

پردازش سادهای با نام نرون تشکیل شدهاست که مجموعهای از این نرونها عصب را تشکیل میدهند. شیوهی کار نرونها جهت پردازش اطلاعات بدینصورت است که هر کدام از این نرونها یک سیگنال اولیه که حاوی اطلاعات مهمی از یک نرون دیگر و یا محرک خارجی میباشد را دریافت نموده و آن را به کمک توابع فعالسازی یا تبدیل، پردازش مینماید. این ویژگی شبکههای عصبی (پردازش اطلاعات)، آن را به عنوان یک روش محاسباتی قدرتمند جهت یادگیری مثالها و تعمیم این یادگیری به مثالهایی که تا کنون مشاهده نشده است، تبدیل مینماید(رضایی، 1387 ).
2-8-1 پرسپترون
پرسپترون ساده‌ترين شكل از شبكه‌هاي عصبي است كه براي طبقه بندي الگوهايي كه با عنوان تفكيك پذير خطي شناخته مي‌شوند مورد استفاده قرار مي‌گيرد. در واقع اين مدل از يك نورون منفرد با وزن‌هاي سيناپسي و يك باياس22 تشكيل مي‌گردد. براي اولين بار روزنبلات (1962 و 1958) يك الگوريتم را كه پارامترهاي آزاد اين شبكه نوروني را تنظيم مي‌كند به صورت يك فرآيند يادگيري براي يك مدل پرسپترون مغز ارائه نمود. روزنبلات اثبات كرد كه اگر الگوها (بردارها) اي كه براي يادگيري پرسپترون مورد استفاده قرار مي‌گيرند از دو دسته تفكيك پذير خطي انتخاب شوند، الگوريتم پرسپترون همگرا مي‌گردد و سطوح تصميم گيري را در نقاطي قرار مي‌دهد كه يك ابر صفحه23 بين دو صفحه تشكيل دهند. اثبات همگرايي الگوريتم با عنوان قضيه همگرايي پرسپترون شناخته مي‌شود. پرسپتروني كه بر مبناي يك نورون منفرد ساخته مي‌شود به الگوهاي طبقه بندي با تنها دو طبقه (فرضيه) محدود مي‌گردد.مي‌توان با بسط دادن لايه خروجي (محاسباتي) پرسپترون به نحوي كه شامل تعداد بيشتري نورون باشد، تعداد كلاس‌هاي بيشتري را طبقه‌بندي نمود. در هر حال طبقه‌ها بايد تفكيك پذير خطي باشند تا شبكه پرسپترون بتواند به صورت صحيح عمل كند.نكته مهم آن است كه تا انتهاي اين بخش كه تئوري اساسي پرسپترون به عنوان يك طبقه بندي كننده الگو مورد توجه قرار مي گيرد نياز به آن داريم كه حالت نورون منفرد را براي آن در نظر بگيريم. بسط اين تئوري براي حالت‌هاي شامل بيش از يك نورون در بخش ‌هاي بعدي عنوان خواهد گرديد. نورون منفرد اساس فيلتر تطبيقي24 را نيز تشكيل مي‌دهد كه يك بخش عملياتي اساسي در زمينه گسترده پردازش سيگنال25 مي‌باشد. پيشرفت‌هاي حاصل شده در زمينه فيلترهاي تطبيقي تا حدود زيادي به مقاله كلاسيك ويدرو26 و هوف27 (1960) وابسته است كه پيشگام به كارگيري الگوريتم حداقل متوسط مربعات28 (LMS) (كه به عنوان قانون دلتا29 نيز شناخته مي‌شود) مي‌باشد. الگوريتم LMS به سادگي قابل به كارگيري مي‌باشد و در عين حال در اغلب كاربردها بسيار مؤثر و كارساز است. در واقع اين روش قلب تپنده فيلتر تطبيقي خطي مي‌باشد. از فيلترهاي تطبيقي در زمينه‌هاي متنوعي نظير آنتن‌ها، سيستم‌هاي مخابراتي، سيستم‌هاي كنترلي، رادار، سونار، زمين شناسي و مهندسي پزشكي (ويدرو و استيرنز(1985) و هيكين (1996) استفاده مي‌شود.الگوريتم LMS و پرسپترون داراي طبيعتي وابسته به يكديگر مي‌باشند. به همين دليل در اين بخش به بررسي همزمان آنها مي‌پردازيم.
2-8-2 مسأله فيلتر تطبيقي
يك سيستم ديناميك را در نظر بگيريد كه مشخصات رياضي آن ناشناخته باشد. تنها اطلاعاتي كه راجع به اين سيستم مشخص مي‌باشد مجموعه‌اي از داده‌هاي ورودي-خروجي برچسب گذاري شده مي‌باشد كه توسط يك سيستم گسسته در زمان‌هاي مشخص با نرخ ثابت توليد شده‌اند. به بيان دقيق‌تر هنگامي كه يك تحريك m بعدي با نام x(i) از طريق m نود ورودي سيستم به آن وارد شود، سيستم با توليد كردن يك خروجي اسكالر d(i) به آن پاسخ مي‌دهد كه i=1،2،…،n،… مي‌باشد (شكل 1-2). بنابراين رفتار بيروني سيستم توسط مجموعه دادگان زير توصيف‌ مي شود:
(2-1)
كه در آن است. نمونه‌هايي كه مجموعهT را بوجود مي‌آورند بر مبناي يك قانون احتمالي نامعين به صورت يكنواخت گسترده شده‌اند. بعد m كه اندازه بردار ورودي x(i) را نشان مي‌دهد با نام ابعاد فضاي ورودي يا به بيان ساده‌تر ابعاد شناخته مي‌شود.

تصویر1-2 سيستم ديناميك ناشناخته
تحريك x(i) مي‌تواند ناشي دو مسير كاملاً متفاوت مكاني يا زماني باشد:
m المان x(i) نقاط مجزايي از فضا توليد مي‌گردند. در اين حالت x(i) را به عنوان يك ثبت لحظه‌اي از داده‌ها در نظر مي‌گيريم.
m المان x(i) نمايانگر مجموعه‌اي از مقادير زمان حال حاضر و (m-1) مقدار گذشته يك تحريك مي‌باشند كه به صورت يكنواخت زماني توزيع گرديده‌اند.
مسئله‌اي كه در اينجا طرح مي‌شود این است كه چگونه يك مدل چند ورودي – تك خروجي از سيستم ديناميك نامعلوم مورد نظر را بر مبناي يك نورون منفرد خطي ايجاد كنيم. مدل نوروني تحت تأثير يك الگوريتم كه وزن‌هاي سيناپسي نورون را كنترل مي‌كند عمل مي‌نمايد به نحوي كه نكات زير در آن در نظر گرفته شده باشد:
الگوريتم از يك مقدار دلخواه اوليه مجموعه وزن‌هاي سيناپسي آغاز به كار مي‌كند.
تنظيم‌هايي كه بر روي وزن‌هاي سيناپسي انجام مي‌شود بر مبناي تغييرات آماري رفتار سيستم وبه يك روش پيوسته صورت مي‌پذيرد (يعني زمان در الگوريتم فوق در نظر گرفته مي‌شود).
(2-2)
كه در آن عبارتند از m وزن سيناپسي نورون كه در زمان i اندازه‌گيري شده‌اند. مي توان y(i) را به شكل ماتريسي به صورت حاصلضرب داخلي بردارهاي x(i) و w(i) به صورت زير بيان نمود:
(2-3)

كه در آن

لازم بذکر است كه علامت گذاري وزن‌هاي سيناپسي را با ذكر نكردن زيرنويس‌هاي اضافي كه نورون را مشخص مي‌كند ساده‌سازي نموده‌ايم، زيرا تنها با يك نورون سر و كار داريم. اين كار در تمامي اين بخش انجام شده است. خروجي نورون y(i) با خروجي مربوطه d(i) كه توسط سيستم ناشناخته در زمان i توليد شده است، مقايسه مي‌شود.
طبيعتاً y(i)‌متفاوت از d(i) است و از مقايسه آنها مي‌توان سيگنال خطا را به دست آورد:
(2-4)
تابع هزينه‌اي كه براي به دست آوردن الگوريتم فيلتر كردن تطبيقي مورد نظر مورد استفاده قرار مي‌گيرد تعيين كننده روشي است كه سيگنال خطاي e(i) براي كنترل تنظيم وزن‌هاي سيناپسي به كار مي‌گيرد. اين موضوع در ارتباط نزديكي با بحث بهينه‌سازي مي‌باشد. مناسب است كه مرور بر روش‌هاي بهينه‌سازي نامشروط داشته باشيم. مطالب مذكور نه تنها براي فيلترهاي تطبيقي خطي بلكه براي شبكه ‌هاي عصبي در حالت عمومي نيز قابل استفاده مي‌باشند.
2-8-3 تكنيك‌هاي بهينه سازي نامشروط
تابع هزينه را كه يك تابع مشتق پذير پيوسته از يك وزن (پارامتر) نامشخص بردار w مي‌باشد را در نظر بگيريد. تابع عناصر w را به فضاي اعداد حقيقي تصوير مي‌كند. اين تابع معياري است كه نشان مي‌دهد بردار وزن (پارامتر) w مربوط به الگوريتم فيلتر تطبيقي را چگونه انتخاب كنيم تا بهترين رفتار را از خود نشان دهد. ما مي‌خواهيم يك پاسخ بهينه بيابيم كه شرط زير را برآورده كند:
(2-5)
اين بدين معناست كه ما بايد مسأله بهينه سازي نامشروط را به روش زير حل كنيم:
(2-6) تابع هزينه نسبت به بردار وزن w حداقل گردد
شرايط لازم براي بهينه سازي اين است كه:

(2-7)
كه در آن عملگر گراديان است:
(2-8)
و بردار گراديان تابع هزينه است:
(2-9)
دسته‌اي از الگوريتم‌هاي بهينه سازي نامشروط كه به ويژه براي طراحي فيلترهاي تطبيقي مناسب هستند بر مبناي ايده كاهش گام به گام30 محلي قرار دارند:
از يك حدس اوليه كه آن را ‌ مي‌ناميم شروع مي‌كنيم و رشته‌اي از بردارهاي وزن ، ، … را به نحوي توليد مي‌كنيم كه تابع هزينه در هر گام از الگوريتم به صورت زير كاهش يابد:

(2-10)
كه در آن w(n) مقدار قبلي بردار وزن و w(n+1) مقدار اصلاح شده آن است.
انتظار داريم كه الگوريتم تدريجاً به پاسخ بهينه همگرا شود. ما عبارت «انتظار داريم» را بكار برديم زيرا ممكن است در صورت در نظر نگرفتن پيش زمينه‌هاي لازم الگوريتم واگرا (يعني ناپايدار) گردد.
در اين بخش سه شيوه بهينه سازي نامشروط را كه بر پايه كاهش گام به گام مي‌باشد شرح مي‌دهيم.
این روش‌ها عبارتند از : روش‌های شیب ترین کاهش31، روش شیب ترین کاهش با نرخ یادگیری تطبیقی و ورش لونبرگ مارکواردت.
2-8-4 روش شيب ترين كاهش32
در روش شيب ترين كاهش تنظيمات متوالي بر روي بردار وزن w در جهت شيب ترين كاهش يا به عبارتي ديگر در جهت خلاف بردار گراديان اعمال مي‌گردد. براي سهولت نمايش عبارت زير را مي‌نويسيم:
(2-11)
بدين ترتيب الگوريتم شيب ترين كاهش را به صورت زير مي‌نويسيم:
(2-12)
كه در آن يك مقدار ثابت مثبت است كه اندازه گام يا پارامتر نرخ يادگيري ناديده مي‌شود و بردار گراديان است كه در نقطه w(n) محاسبه مي‌گردد. هنگامي كه از گام n به n+1 مي‌رويم الگوريتم اصلاح زير را انجام مي‌دهد:
(2-13)
معادله فوق در واقع بيان رياضي قانون اصلاح خطا مي‌باشد. براي اينكه نشان دهيم فرمولاسيون الگوريتم شيب‌ترين كاهش شرايط (2-10) را براي كاهش گام به گام مهيا مي‌كند از بسط سري تيلور مرتبه اول حول w(n) استفاده كنيم تا را به صورت زير تقريب بزنيم

كه استفاده از فرمول فوق براي كوچك توجيه پذير است. جايگزيني معادله (2-13) در اين رابطه تقريبي به عبارت زير منجر مي‌شود:

كه نشان مي‌دهد بازاي پارامتر نرخ يادگيري مثبت، هنگامي كه الگوريتم از گامي به گام ديگر پيش مي‌رود تابع هزينه كاهش مي‌يابد. در اينجا استدلال به اين علت تقريبي مي‌باشد كه نتايج نهايي فقط براي نرخ هاي يادگيري به اندازه كافي كوچك صدق مي‌كنند.
روش شيب ترين كاهش به آرامي به پاسخ بهينه همگرا مي‌شود. علاوه بر اين، پارامتر نرخ يادگيري تأثير زيادي بر رفتار همگرايي آن دارد.
2-8-5 الگوريتم لونبرگ مارکواردت33
سيگنال خطا در خروجي نرون j در گام n كه نشان دهنده n امين نمونه آموزش است به صورت زير بيان مي‌شود:
(2-13) نورون j‌يك نود خروجي است
مقدار لحظه‌اي انرژي خطا براي نرون j را به صورت نشان مي‌دهيم. به همين ترتيب مقدار لحظه‌اي از انرژي خطاي كل با جمع بر روي تمام نورون ها در لايه خروجي به دست مي‌آيد. اينها تنها نورون هاي «مشاهده پذير» هستند كه سيگنال‌هاي خطا براي آنها را مي‌توان به صورت مستقيم محاسبه نمود. به اين ترتيب مي‌توانيم بنويسيم:
(2-15)
كه در آن مجموعه C شامل تمام نورون‌ها در لايه خارجي شبكه مي‌شود. فرض كنيد برابر با تعداد كل الگوها (نمونه‌ها) در مجموعه آموزش باشد. انرژي خطاي متوسط مربعات از جمع بر روي تمامي nها و سپس نرماليزه كرده آن نسبت به اندازه مجموعه N به دست مي‌آيد كه به صورت زير نشان داده مي‌شود:
(2-16)
انرژي خطاي لحظه‌اي و انرژي خطاي متوسط تابعي از تمام پارامترهاي ازاد (وزن‌هاي سيناپسي و سطوح باياس) شبكه هستند. براي يك مجموعه آموزشي معين نمايانگر تابع هزينه به عنوان معياري از عملكرد يادگيري است. هدف از فرايند يادگيري تنظيم كردن پارامترهاي آزاد شبكه براي به حداقل رساندن مي‌باشد. براي پياده كردن اين حداقل رساني، از تقريبي مشابه با تقريب استفاده شده براي الگوريتم LMS در فصل قبل استفاده مي‌كنيم. به بيان دقيق‌تر يك روش آموزش ساده را در نظر مي‌گيريم كه در آن وزن‌ها به صورت الگو به الگو تا يك اپوك كه يك مجموعه كامل از تمامي مجموعه آموزش است- اصلاح مي‌شوند. تنظيمات وزن‌ها بر مبناي خطاهاي محاسبه شده براي

پایان نامه
Previous Entries دانلود پایان نامه ارشد با موضوع شبکه عصبی، رگرسیون خطی، مدل رگرسیون Next Entries دانلود پایان نامه ارشد با موضوع خروجي، لايه، مخفي