مقاله درباره تغيير، توزيع، متغيرهاي، تقريب

دانلود پایان نامه ارشد

ل يافتهها

4-1- مقدمه
بعد از اینکه مدل مولد در فصل قبل تعریف گردید، ميتوانيم از رویکرد استنباط بيزين براي استنباط ماتريس مشخصههاي نهفته Z از ماتريس مشاهدات X، استفاده نماييم. در اینصورت میتوانیم با استفاده از مشاهدات مربوط به جریان عایدیهای نقدی حاصل از اوراق بهادار MBS، تعداد ابعاد استانداردهای پذیرهنویسی که در زمان اعطای وام به متقاضیان توسط بانی وامهای رهنی اعمال شده است، بپردازیم.
به هر حال چون مخرج عبارت (1) در فصل اول، يک مجموع غيرقابل بررسي و غيرقابل حل کردن است، يک الگوريتم استنباط تقريبي بايد مورد استفاده قرار بگيرد. الگوريتم مورد استفاده در اين رساله، الگوريتم استنباط تغيير براي یک مدل مشخصه نهفته با بعد نامتناهی، ميباشد.

4-2- الگوريتم استنباط
4-2-1- نمادگذاري
در این قسمت نمادگذاريهايي که در ادامه مورد استفاده قرار ميگيرند را معرفي مينماييم.
انديس –n، به همه مؤلفه‌ها بجز مؤلفه n اشاره ميکند. انديس . به همه مؤلفه‌ها در يک بعد، اشاره ميکند. براي مثال، Z_(-nk) کل ماتريس Z است بجز آرايه (n,k) و X_n0 کل nامين رديف از ماتریس X است. سرانجام، وجود انديس برای توزیعهای احتمال به پارامترهايي اشاره میکند که آن توزیع را تصريح میکنند. براي مثال، q_τ (υ)=q(υ;τ).
متغيرهايي که به طور مکرر در ادامه مورد استفاده قرار ميگيرند عبارتند از:
X: مشاهدات در ماتريس X ذخيره ميشوند که يک ماتريس با بعد N×D ميباشد. تحت مدل گاوسين خطي داريم X=ZA+ϵ، که ϵ يک ماتريس N×D از عناصر مستقل است، هر عنصر داراي ميانگين صفر و واريانس σ_n^2 است.
آرايه z_nk در ماتريس Z: هر آرايه z_nk مشخص ميکند که آيا مشخصه k در مشاهده n وجود دارد. از اين رو، n∈{1…N} تعداد نقطهدادهها و k∈{1…∞} تعداد مشخصهها را ميشمارند. ماتريس Z اجتماعي از همه z_nkها است و بعد آن N×K ميباشد که K تعداد متناهي مشخصه غيرصفر است. فرض ميشود که ساير z_nkها برای kK صفر هستند. همچنين α پارامتر تمرکز فرآيند IBP را مشخص ميکند.
π: π_k طول شکستها661 (احتمالهاي وقوع مشخصهها) است.
v: v_kها متغيرهاي چسباندن-شکست هستند.
A: اجتماعي است از متغيرهاي مشخصه گاوسين و دارای بعد K×D است. بر این اساس، هر مشخصه نهفته به صورت يک بردار A_k0 بيان ميشود. همچنین بر طبق مدل گاوسين-خطي مذکور، توزیع پيشين، عناصر ماتریس A را مستقل و داراي ميانگين صفر و واريانس σ_A^2 در نظر میگیرد.
4-3- بيز تغيير
در هر مدل احتمالي که چگونگي توليد دادههاي مشاهده شده را مشخص مينمايد، متغيرها به دو دسته متغيرهاي مشاهده شده و متغيرهاي پنهاني تقسيم ميشوند. براي انجام استنباط تنها محاسبه توزيع احتمال حاشيهاي از متغيرهاي قابل مشاهده مورد نياز ميباشد. اما توزيع پسين حاصله از متغيرهاي پنهاني، از اهميت بيشتري برخوردار است. محاسبه توزيع حاشيهاي و توزیع پسين، نيازمند انتگرال گرفتن حول متغيرهاي نهفته از توزيع مشترک متغیرهای نهفته و متغیرهای قابل مشاهده، ميباشد.
در علوم مختلف، تجزيه و تحليلها در مدلهاي احتمالي همواره به تخمين و انجام استنباط پيرامون متغيرهاي مشاهده نشده تصادفي متمرکز شده است. انجام تخمين و استنباط، بر مبناي چگالي پسين از متغيرهاي مشاهده نشده، با مفروض بودن مشاهدات، قرار دارند. آنچه که در اينجا میتواند مشکلساز گردد، آن است که اين عمليات به پيچيدگي ساختار يا پيچيدگي فرآيند فاکتورگيري662 از توزيع احتمال مشترک، بستگي دارد.
همانطور که در فصل گذشته اشاره شد، مدلهاي ناپارامتريک بيزين، شامل فرآيندهاي تصادفي (در اين رساله فرآيند تصادفي IBP) هستند که ابعاد نامتناهي دارند. بنابراين انتگرالهايي که در يادگيري بيزين پديدار ميشوند را نميتوان به فرم بسته حل نمود. به جاي اين، ميتوان آنها را تقريب زد. يکي از روشهاي استنباط تقريب663 که در مقابل رویکرد استنباط دقيق664 قرار دارند، روشهاي تغيير است. روشهاي تغيير اخیراً در
زمينههاي استنباط شهرت زيادي يافتهاند: روشهاي تغيير سابقه طولاني در يادگيري ماشين، فيزيک، آمار، تئوري کنترل و نيز اقتصاد دارند. اخیراً روشهاي تغيير در زمينههاي استنباط و تخمين تغيير نيز665 به کار گرفته شدهاند.
به طور کلي روشهاي تغيير در چهار دسته انتشار باور666، الگوريتم جستجو667، روشهاي نمونهگيري668 و
روشهاي تغيير669 قرار ميگيرند. در اين ميان، در ادبیات از رويکرد بيز تغيير670 (VB) براي ارزيابي چگاليهاي پسين استفاده شده است. (جردن و همکاران، 1999)
در اين رساله بر رويکرد بيز تغيير (VB) تمرکز شده است. در ادامه به توصيف تقريب بيزين تغيير
ميدان-ميانگين671 جهت استنباط، با استفاده از واژه يادگيري ماشين672 و نه مفهوم فيزيک آماري673 ميپردازيم.

4-3-1- رويکرد بيز تغيير ميدان ميانگين
رويکرد تغيير از تئوري يادگيري جمعي674 در علم آمار وارد مباحث استنباط بیزین شده است؛ در تئوري، يادگيري جمعي يا چگالي تغيير (يعني چگالي پسين تقريب زده شده)، با هدف ماکزيممسازي انرژي آزاد، بهينه ميشود. روش بيزين تغيير به منظور تقريب انتگرالهاي چند بعدي پيچيده که در يادگيري بيزين پديدار
ميشوند و مشکل ميتوان آنها را ارزيابي کرد يا از آنها نمونهگيري کرد، مورد استفاده قرار ميگيرد. نظر به اينکه تکنيکهاي مونت-کارلو يک تقريب عددي را براي پسين دقيق675 با استفاده از يک مجموعه از نمونهها فراهم ميکنند، بيز تغيير يک تقريب تحليلي676 از چگالي پسين شرطی از متغيرهاي مشاهده نشده تصادفي – با مفروض بودن دادههاي مشاهده شده – فراهم ميکند.
بيز تغيير يک روش تغيير خاص در مدلهاي احتمالي غيرقابل بررسي است که بر پايه فاکتورگيري از توزيع احتمال مشترک مشاهدات و متغيرهاي نهفته، قرار دارد. براي يافتن يک جواب تغيير677، نيازمند انجام محاسبات در قالب مسئله بهينهسازي هستيم. به عبارت ديگر، در استنباط تغيير هدف تقريب توزيع مشترک واقعي P(Z) از متغيرهاي نهفته Z ميباشد. اين تقريب از طريق مينيممسازي معيار واگرايي-KL678، D_KL [Q(Z;θ)∥P(Z)] (يا آنتروپي نسبي) بين توزيع واقعي، P(Z) و توزيع تقريب زده شده، Q(Z;θ)، بدست ميآيد.
توجه شود که در ضمن اجراي چنين روشي، يک کران پايين براي راستنمايي حاشيهاي (يا شواهد679) دادههاي مشاهده شده، استخراج ميگردد که تحت مفروضات صورت گرفته راجع به توزيع پيشين از پارامترها (مدل)، چگالي پسين را براي خود پارامترها (مدل) فراهم ميکند. (پني و همکاران680، 2004) به طور کلی، استدلال آن است که يک راستنمايي حاشيهاي بالاتر (بلندتر) براي يک مدل مفروض، بر يک برازش بهتر آن مدل از دادهها، دلالت دارد و از اين رو با يک احتمال بزرگتر مدل تحت بررسي مدلي خواهد بود که دادهها را توليد ميکند.
در فيزيک آماري، برای سادهسازي محاسبات، همواره استراتژی ميدان-ميانگين از رويکرد بيز تغيير (VB) (این ایده از فیزیک آماری و با کار پاریسی681، 1988 گرفته شده است) مورد استفاده قرار گرفته میشود؛ در اين رويکرد، چگالي تغيير (پسين تقريب زده شده682) Q، به فاکتورهاي منفرد و مجزا، هر کدام نسبت به يک مجموعه از متغيرهاي مشاهده نشده، فاکتورگيري ميشود، Q(Z)=∏_i▒〖Q_i (Z_i |θ_i)┤ 〗. اين فاکتورها هر کدام توزيعهاي احتمال شناخته شده و مستقل شرطي از متغيرهاي مشاهده نشده، مشروط بر دادههاي مشاهده شده، هستند. (يعني در این توزیع تغییر هر مجموعه از متغيرهاي مشاهده نشده Z_i، از یکدیگر مستقل هستند). اين فرمول، توزيع پسين واقعي را نميدهد بلکه يک تقريب از آن است؛ بويژه اينکه اين فرمول به طور کلي در پايينترين گشتاورهاي متغيرهاي مشاهده نشده يعني ميانگين و واريانس، سازگاري بالايي دارد. در این رساله از معيار D_KL [Q∥P] نامتقارن استفاده شده است تا انجام محاسبات سادهتر گردد.

4-4- بيان مسئله
هدف آن است که مجموعه توزيعهاي (فاکتورگیری شده) {Q_i (Z_i ├|θ_i)┤} را به گونهاي بيابيم که با توزيع مشترک واقعي P(Z) مشابه باشند؛ عدم مشابهت این مجموعه از توزیعها با توزیع واقعی، بر حسب يک معيار واگرايي-KL اندازهگيري ميشود. به عبارت ديگر ميخواهيم مجموعهاي از توزيعهاي با فرم سادهتر {Q_i (Z_i ├|θ_i)┤} را به گونهای بيابيم که معیار واگرايي-KL را مينيمم ميسازند
D_KL [Q(Z)∥P(Z├|X┤)]=∫▒〖dZ.Q(Z) ln⁡〖(Q(Z))/P(Z├|X┤) 〗 〗
که X دادههاي مشاهده شده و Z متغيرهاي مشاهده نشده تصادفي هستند و
Q(Z)=∏_i▒〖Q_i (Z_i |θ_i)┤ 〗
اغلب براي سادگي، از استفاده از نمادگذاري براي نشان دادن وابستگي Q_i به θ_i چشمپوشي ميشود. چون Q_iها اعتقادات تقريب زده شده، هستند در قيد نرمالسازي زير صدق ميکنند
∫▒〖dZ_i Q_i (Z_i )=1〗, ∀i
توجه شود که رویکرد بيز تغيير (VB) توزيعهاي مشترک و نه توزيعهاي حاشيهاي را تقریب میزند. بر این اساس، توزيع احتمال Q، توزيع مشترک را تقريب ميزند و در واقع، توزيعهاي تکي Q_i (Z_i )، تقريبهاي ضعيفي از توزيعهاي حاشيهاي واقعي P_i (Z_i) هستند. نبايد انتظار داشته باشيم که مؤلفه‌های Q_i (Z_i ) با توزيعهاي حاشيهاي واقعي، حتي تا حد جزئی، شباهت داشته باشند. این مؤلفه‌های بهينه بيز تغيير (VB)، ميتوانند تنها در زمينه مطلق و نه موضعي مفهوم پيدا کنند.
شکل 1.4 (a) يک مدل گرافيکي را از يک مثال خاص براي استراتژی بيز تغيير ميدان-ميانگين، نشان
ميدهد. بر طبق این شکل، مشاهده میشود که در استفاده از الگوريتمها دقت لازم بايد صورت بگیرد: فرض کنيد يک کارخانه، پيچهايي با قطر مجهول μ توليد ميکند. ماشينها خيلي دقيق هستند بنابراين دقت قطرها، γ=1⁄σ^2 ، بالا خواهند بود. با این حال، هيچ کسي راجع به متوسط قطرها با اطمينان چيزي نميگويد مگر مهندسي که از هوشياري لازم برخوردار نباشد.
فرض کنید π اعتقاد پيشين ما از μ، مثلاً به اندازه 5±4mm، باشد. همچنین فرض کنيد يک جعبه مهر و موم شده به ما بدهند که شامل يک پيچ است. اعتقاد ما راجع به قطر آن،Z، چيست؟ اعتقاد حاشيهاي دقيق ما درباره Z بايد با اعتقاد ما درباره μ تقریباً مشابه، يعني 5±4mm باشد. شکل 1.4 (b) یک انحراف معيار از توزيع مشترک گاوسين واقعي P(Z,μ) و بهترين توزيع مشترک تقريبي گاوسين ميدان-ميانگين را نشان
ميدهد. همانطور که در بالا بحث شد، اين Q به گونهاي انتخاب ميشود که خطا را در دامنه خودش مينيمم نمايد
بنابراين به صورت يک گاوسين فشرده683 تصور ميشود. مهمتر اينکه، توزيع حاشيهاي Q(Z) اکنون خيلي کوچک است و به هيچ وجه معادل با توزيع حاشيهاي واقعي P(Z) نيست. ما بر چنين مواردي تأکيد داريم زيرا علت اصلي، وجود خطاها در طي زمان، ميباشند.
براي مقايسه مدلها ما ميخواهيم راستنمايي مدل، P(X|M┤) را نيز پيدا نماييم684؛ زيرا به دنبال مينيمم کردن فاصله KL685 هستيم. در اين رويکرد هدف تعادل برقرار کردن ميان سه اصطلاح، با نامهای کران پايين، انرژي و آنتروپي، میباشد. استخراجهايي که در ادامه اين رساله ارائه شدهاند با هدف مينيممسازي فاصله KL شروع
ميکنند. ساير استخراجهاي مشابه نیز وجود دارد که با هدف ماکزيممسازي کران پايين شروع میکنند.

شکل 1.4. مدل گرافيکي براي مسئله ميانگين جامعه. گرههاي مربعي، متغيرهاي مشاهده شده را مشخص ميکنند. (b) توزيع مشترک P و تقريب بيز تغيير Q.

4-5- سادهسازی چارچوب مسئله بهينهسازي KL
در اين بخش معادله KL به فرم قابل بررسيتري نوشته ميشود. نخست، جاي صورت و مخرج معادله KL را به صورت زير تغيير ميدهيم
D_KL [Q(Z)∥P(Z├|X┤)]=∫▒〖dZ.Q(Z) ln⁡〖(Q(Z))/P(Z├|X┤) 〗 〗=-∫▒〖dZ.Q(Z)ln⁡〖P(Z├|X┤)/(Q(Z))〗 〗
سپس، به جاي توزيع شرطي P(Z├|X┤)، يک توزيع مشترک P(Z, X) و يک پيشين P(X) قرار ميدهيم. دليل اين کار آن است که براي شبکههاي بيزين686 با گرههايي از خانواده نمايي، جمله P(Z, X) مجموع خيلي ساده جملات انرژي گره687 است، در حاليکه توزيع شرطي P(Z├|X┤) پيچيده ميباشد. اين کار محاسبات را سادهتر خواهد نمود.
P(Z, X)=P(Z├|X┤)P(X)
⇒ln⁡〖P(Z|X┤)〗=ln⁡〖P(Z

پایان نامه
Previous Entries مقاله درباره باينري، مشتري، ستونهاي، توزيع Next Entries مقاله درباره (Z_i، Q_i، تغيير، توزيع