مقاله درباره باينري، توزيع، نامتناهي، فرآيند

دانلود پایان نامه ارشد

ه توصيف يک دسته از مدلهاي متغير نهفته است که در آن برای هر مشاهده يک بردار (احتمالاً بيکران) از تلاشهاي پنهاني اختصاص داده ميشود. بر اساس ادبيات بيزين ناپارامتريک، مشاهدات همان اشياء و تلاشهاي پنهاني همان مشخصههاي نهفته، ميباشند. براي مثال، هنگام مدلسازي مشاهدات مربوط به اوراق بهادار MBS که وضعيت اعتباري تجمیع وامهاي رهني پايه را منعکس ميسازد، متغيرهاي نهفته که بر الگوي کيفيت اعتباري تجمیع وامهاي رهني پايه تأثیر میگذارند، همان استانداردهاي پذيرهنويسي چند بعدي که باني هنگام اعطاي وام به متقاضيان بايد اعمال نمايد، خواهد بود.
اگر چه تعريف مدلها با يک تعداد کوچک متغير نهفته يا مشخصه نهفته براي هر شيء از نظر محاسباتي مناسب به نظر ميرسد، اما از لحاظ آماري محدود کردن تعداد متغيرهاي نهفته از قبل نامناسب است. مسئله يافتن تعداد متغيرهاي نهفته در يک مدل آماري اغلب به عنوان يک مسئله انتخاب مدل مورد توجه قرار
ميگيرد. يک مدل بايد با ابعادي انتخاب شود که بهترين عملکرد را نتيجه دهد.
به هر حال اين طرز برخورد با مسئله فرض ميکند که يک نمايش با بعد متناهي و منحصر بفرد وجود دارد که به درستي ويژگيهاي اشياء مشاهده شده را مشخص ميکند. در مقابل، اين فرض که اشياء مشاهده شده زيرمجموعهاي تنک591 از يک تعداد بيکران از دستههاي نهفته592 را نمايش ميدهند، اغلب در آمار بيزين ناپارامتريک593 مورد استفاده قرار ميگيرد.
براي اينکه بحث منسجمتر گردد، در اين رساله از يک فرآيند تصادفي خاص جهت توصيف اطلاعات کارفرما درباره کارگزار استفاده شده است. در ابتدا کارگزار تعداد متناهي بعد از استانداردهاي پذيرهنويسي مختلف را متعهد ميشود؛ و امکان دارد که از انجام هر کدام از اين ابعاد شانه خالي کند يا بر عکس آن را انجام دهد. با استفاده از اين فرآيند تصادفي، کارفرما ميتواند استنباط کند که کدام ابعاد از تلاش توسط کارگزار انجام شده است. در اين رساله، ايده تعريف پيشين بر روي ساختارهاي ترکيبي نامتناهي از آمار بيزين ناپارامتريک را در نظر گرفته و آن را جهت توسعه روشهايي براي يادگيري غيرنظارتي که در آن هر شيء توسط يک زيرمجموعه تنک از تعداد بيکران مشخصه بيان ميشود، مورد استفاده قرار ميدهيم. اين مشخصهها ميتوانند باينري باشند، مقادير گسسته چندگانه بگيرند، يا پيوسته داشته باشند.
در تمامي اين نمايشها، مسئله دشوار، تصميمگيري درباره اين است که یک شیء کدام مشخصهها را بايد داشته باشد. مجموعه مشخصههايي که علت يک مجموعه از اشياء هستند (يا به اصطلاح در مالکيت يک مجموعه از اشياء قرار دارند) را ميتوان به فرم يک ماتريس باينري بيان نمود که هر رديفش بيانگر يک شيء و هر ستونش يک مشخصه را مشخص ميکنند. در اين ماتريس باينري، آرايه 1 مشخص کننده آن است که آن شيء، مشخصه خاص مرتبط با بعد دوم آرايه را دارد. توجه شود که چون تعداد مشخصهها (تعداد ستونها) نامتناهي فرض شدهاند، اين ماتريس باينري داراي بعد نامتناهي است.
در ادامه، بر مسئله تعريف يک توزيع احتمال بر روي ماتريسهاي باينري تنک نامتناهي متمرکز ميشويم. اين توزيع بر روي ماتريسهاي باينري نامتناهي را ميتوان جهت تصريح مدلهاي احتمالي که بيانگر اشياء با تعداد نامتناهي مشخصههاي باينري هستند، مورد استفاده قرار داد و ميتواند با پيشينها بر روي مقادير مشخصهها ترکيب شوند تا نمايشهاي عاملي يا پيوسته594 را توليد نمايند.
روشهاي بيزين ناپارامتريک، شامل (1) مدل ترکيبي فرآيند ديريکله595 (فرگوسن596، 1973)، (2) فرآيند رستوران چيني597 (CRP) که اغلب براي بدست آوردن يک توزيع پيشين از تخصيص اشياء به متغيرهاي نهفته مورد استفاده قرار ميگيرد و (3) فرآيند کافه هندي598 (IBP) که اغلب براي بدست آوردن يک توزيع پيشين از تخصيص مشخصههاي باينري نهفته به اشياء مورد استفاده قرار ميگيرد.
اين مدلها فرض ميکنند که دادهها از يک تعداد نامتناهي خوشه599، توليد شدهاند به طوري که تنها يک زيرمجموعه متناهي از آنها قابل مشاهده ميباشد. در اين رساله، بر فرآيند کافه هندي (IBP) براي مدلسازي ماتريسهاي با بعد نامتناهي تأکيد شده است. فرآيند کافه هندي (گرفيث و قهرماني600، 2005) يک فرآيند تصادفي601 با يک توزيع ناپارامتريک بر روي ماتريسهاي باينري است که تعداد نامتناهي مشخصه (ستون)، دارند. به هر حال براي يک تعداد متناهي مشاهدات، اين توزيع تضمين ميکند که تعداد مشخصهها، با احتمال 1 متناهی هستند. علت آن است که فرآيند IBP – به عنوان يک فرآيند تصادفي – در دامنه ماتريسهاي مالکيت مشخصهها با تعداد نامتناهي ستون، تکيهگاه دارد. به محض مشاهده دادهها، فرآیند تصادفی IBP تودهاش602 را در دامنه يک زيرمجموعه از ماتريسهاي باينري با تعداد متناهي ستون از طريق استنباط احتمالي (با فرض استفاده از يک مجموعه دادههاي متناهي) متمرکز مينمايد.
فرآيند IBP يک پيشين بر روي ماتريسهاي باينري نامتناهي است که به ما اين اجازه را ميدهند که همزمان استنباط کنيم که کدام مشخصه بر يک مجموعه از مشاهدات تأثير ميگذارد و چند مشخصه وجود دارد.

3-11-1- مدلهاي مشخصه نهفته603
فرض کنيد N شيء (هر شئء متناظر است با هر مشاهده از جريان عايدي وصول شده از تجمیع وامها در MBS) داريم که توسط ماتريس X با بعد N×D نشان داده ميشود که nامين رديف اين ماتريس، X_n0، شامل D ويژگي قابل مشاهده از شيء nام است. در يک مدل مشخصه نهفته، هر شيء توسط يک بردار از مقادير مشخصه نهفته f_n0 بيان ميشود و بردار X_n0 از توزيعي به تصوير کشيده ميشود که ويژگيهايش را مقادير مشخصههاي نهفته، تعيين ميکنند. با استفاده از ماتريس F=[f_10^T f_20^T…f_N0^T ]^T مقادير مشخصه نهفته پنهاني براي کليه N شيء را مشخص ميکنيم. در اينصورت اين مدل توسط يک پيشين بر روي مشخصهها، p(F) و يک توزيع بر روي ماتريس دادههاي مشاهده شده (در اين رساله وضعيت جريان عايديهاي حاصل از تجمیع وامها در MBS)، مشروط بر اين مشخصهها p(X|F┤)، تصريح ميگردد.
عملکرد اين توزيعها را ميتوان جداگانه در نظر گرفت: p(F) تعداد مشخصهها، احتمال وقوع آنها و توزيع بر روي ماتريس مقادير مربوط به هر کدام از مشخصهها را تعيين ميکند، در حاليکه p(X|F┤) ارتباط بین اين مشخصهها با اشياء (نقطه دادهها) را تعيين ميکند. در اين رساله، تمرکز ما بر p(F) ميباشد و نشان ميدهيم که چگونه چنين پيشيني ميتواند بدون قرار دادن يک کران بالا بر تعداد مشخصهها تعريف گردد.
ميتوان ماتريس F را به دو مؤلفه مجزا نمود: يک ماتريس باينري Z که مالکيت هر کدام از مشخصهها را براي هر کدام از اشياء نشان ميدهد؛ در صورتي که شيء nام مشخصه k را داشته باشد آرايه متناظر در ماتريس Z مقدار يک ميگيرد z_nk=1. در غير اينصورت z_nk=0. توجه شود که در تصريح اين ماتريس، هر نقطه داده ميتواند چندين مشخصه را در مالکيت داشته باشد بنابراين رديفهاي ماتريس Z ميتوانند مجموع بيشتر از 1 داشته باشند. همچنين دو نقطه داده از يک مشخصه سهم ميبرند اگر آن مشخصه براي هر دو فعال باشد: يعني z_ik=z_jk=1,∀i≠j.
ماتريس دوم V، مقدار هر مشخصه را براي هر شيء، مشخص ميکند. بنابراين ماتريس F را ميتوان به صورت ضرب کرونکر Z و V درنظر گرفت، F=Z⊗V که در شکل (4.3) زير توضيح داده شده است. در بسياري از مدلهاي مشخصه نهفته تنک، برای هر شیء تنها يک زيرمجموعه از مشخصهها، مقادير غيرصفر
ميگيرند و Z اين زيرمجموعهها را جدا و انتخاب ميکند. جدول (1.3)، زير مجموعهاي از مقادير ممکن را نشان ميدهد که متغيرهاي نهفته در مدلهاي متغير نهفته مختلف ميتوانند داشته باشند.

شکل 4.3. ماتريس مشخصه. ماتريس باينري Z که مشخص ميکند کدام مشخصه ارزش غيرصفر ميگيرد و به عنوان يک مبنا براي مدلهاي مشخصه نهفته نامتناهي تنک ميتواند مورد استفاده قرار بگيرد در پنل (a)، ضرب کرونکر ماتريس Z در ماتريس V از ارزشهاي (پيوسته) مشخصهها، در پنل (b) و ضرب کرونکر ماتريس Z در ماتريس V ماتريس ارزشهاي (گسسته) مشخصهها، در پنل (c)، نمايش داده شدهاند.

جدول 1.3. مقادير مختلفي که متغيرهاي نهفته در مدلهاي متغير نهفته مختلف ميتوانند داشته باشند
Latent Variable
Finite Model
Infinite Model
f_i∈{1…K}
Finite Mixture Model
DPM
f_i∈[0.1]^K, ∑_k▒〖f_ik=1〗
LDA
HDP
f_i∈{0,1}^K
Factorial Models, CVQ
IBP
f_i∈R^K
FA, PCA, ICA
Derivable from IBP

با توجه به مطالب ذکر شده، يک پيشين بر روي ماتريس F را ميتوان از طريق تصريح پيشينها بر روي ماتريسهاي Z و V به طور جداگانه، تعريف کرد، به صورت p(F)=P(Z)p(V). توجه شود که چون بعد مؤثر يک مدل مشخصه نهفته توسط ماتريس Z تعيين ميشود، ما بر تعريف يک پيشين براي ماتريس Z تمرکز
ميکنيم. با فرض اينکه ماتريس Z تنک است، ميتوان با تعريف يک توزيع بر روي ماتريسهاي باينري نامتناهي، يک پيشين براي مدلهاي مشخصه نهفته نامتناهي مشخص نمود.
توجه شود که در تصريح ماتريس Z، هدف ما آن است که ماتريسهايي توليد شوند که اجازه دهند که مشخصههاي نهفته متعدد، يک متغير مشاهده شده را تحت تأثير قرار دهند. اين ویژگی در بسياري از
چارچوبها مطلوب است از جمله در مورد وظايف چندگانه در اوراق بهادارسازي داراييهاي مالي که در آن لازم است پذیرهنویس چندين بعد تلاش (مشخصههاي نهفته) را جهت اعطاي وام به متقاضيان اعمال نمايد به طوريکه هر کدام از اين ابعاد بر عملکرد تجمیع وامها در اوراق بهادارسازي (همان اشياء) شدیداً تأثيرگذار هستند.
ما در اين رساله براي تعريف چنين توزيعي، دو هدف را در نظر ميگيريم: اشياء (نقطه دادهها) بايد
تعويضپذير باشند و استنباط بايد قابل بررسي و محاسبه604 باشد. ادبيات مدلهاي بيزين ناپارامتريک روشي را پيشنهاد ميکند که از طريق آن چنين خواستههايي برآورده میگردند: از اين رو در اين رساله، با مدلي شروع میکنيم که فرض میکند تعداد متناهي مشخصه وجود دارد و سپس حالت حدي را براي آن در نظر ميگيريم و تعداد مشخصهها را به سمت بينهايت ميل ميدهیم. (نيل،605 2000، گرين وريشردسان606، 2001).

3-11-1-1- يک توزيع بر روي ماتريسهاي باينري نامتناهي
در اين بخش، به دنبال تعریف يک توزيع بر روي ماتريسهاي باينري نامتناهي هستیم. در آمار بيزين ناپارامتريک، معمول است که مدلها با بعد بيکران تعريف شوند، به اينصورت که از مدلهاي با بعد متناهي حد بينهايت گرفته ميشود. با توجه به چنين ديدگاهي، ابتدا با يک مدل ساده که فرض ميکند K مشخصه وجود دارد شروع ميکنيم و سپس در حد K→∞ اين مدل را در نظر ميگيريم. توزيع نتيجه شده متناظر با يک فرآيند مولد ساده است که ما آن را فرآيند کافه هندي ميناميم.

3-11-1-1-1- يک مدل مشخصه متناهي
ما N شيء و K مشخصه داريم و مالکيت مشخصه k توسط شيء n توسط يک متغير باينري z_nk مشخص ميشود. بنابراين آرايههاي z_nk از ماتريس مشخصه باینری Z از بعد N×K را تشکيل ميدهند. فرض ميشود که هر شيء، مشخصه k را با احتمال π_k مالک است و نیز فرض میشود مشخصهها به طور مستقل توليد
ميشوند. احتمالهاي π_k مقاديرشان را در بازه [0,1] اتخاذ ميکنند. تحت اين مدل، احتمال ماتريس باينري Z، با مفروض بودن دنباله احتمالات π={π_1, π_2, …, π_K}، به صورت زير ميباشد
P(Z|π┤)=∏_(k=1)^K▒∏_(n=1)^N▒〖P(z_nk ├|π_k ┤)=∏_(k=1)^K▒〖π_k^(m_k ) (1-π_k )^(N-m_k ) 〗〗
که m_k=∑_(n=1)^N▒z_nk تعداد شيءهايي است که مشخصه k را مالک هستند.
ميتوان يک پيشين بر روي دنباله احتمالات π، تعريف کرد از طريق اين فرض که هر احتمال π_k داراي يک توزيع بتا است. توزيع بتا با پارامترهاي r و s، مزدوج با توزيع دوجملهاي607 ميباشد. احتمال هر π_k تحت توزيع Beta(r,s) به صورت زير ميباشد
p(π_k )=(π_k^(r-1) (1-π_k )^(s-1))/(B(r,s)) 0π_k<1
که B(r,s) تابع بتا است
B(r,s)=∫_0^1▒〖π_k^(r-1) (1-π_k )^(s-1) dπ_k 〗=(Γ(r)Γ(s))/(Γ(r+s))
قرار ميدهيم r=α/K و s=1، بنابراين معادله بالا به صورت زير ميشود
B(α/K,1)=(Γ(α/K))/(Γ(1+α/K))=K/α
در رابطه بالا از تعريف بازگشتي608 تابع گاما استفاده شده است.
بنابراين مدل احتمال609 به صورت زير تعريف ميشود
شکل 5.3. يک مدل گرافيکي که وابستگي ميان متغيرها را نشان ميدهد

π_k |α┤~Beta(α/K,1)
z_nk |π_k ┤~Bernoulli(π_k)
هر z_nk مستقل از ساير اختصاصها، مشروط بر π_k ميباشد و π_kها خود به طور مستقل توليد ميشوند. شکل 5.3، در قالب يک مدل گرافيکي، وابستگي ميان اين متغيرها توضيح داده شده است. توجه شود که به جاي اينکه در مدل، دنباله π صریحاً بيان شود، با تعريف نمودن يک پيشين براي دنباله π، ميتوانيم اين مدل را با حذف π از طريق انتگرالگيري نسبت به آن، ساده نماييم.
در اينصورت احتمال حاشيهاي براي يک ماتريس باينري Z عبارت است از
P(Z)=∫_0^1▒〖P(Z, π_k )dπ_k 〗=∏_(k=1)^K▒〖∫▒(∏_(n=1)^N▒P(z_nk ├|π_k ┤) ) p(π_k)dπ_k 〗
=∏_(k=1)^K▒(B(m_k+α/K, N-m_k+1))/(B(α/K,1))
∏_(k=1)^K▒(α/K Γ(m_k+α/K)Γ(N-m_k+1))/(Γ(N+1+α/K)) (20)
اين عبارت، از مزدوج بودن توزيعهاي دوجملهاي P(Z|π_k ┤) و بتا p(π_k) نتيجه شده است. توجه شود که اين توزيع تعويضپذير است و تنها به تعداد m_k بستگي دارد. مجدداً توجه شود که
P(z_nk=1├|α┤)=E(π_k )=(α⁄K)/(α⁄(K+1))؛ بنابراين با افزايش K، ماتريس تنکتر ميشود.
ويژگي مهمي که اين مدل دارد آن است که اميد رياضي تعداد آرايههاي غير صفر در ماتريس Z، E[1^T Z1]=E[∑_nk▒〖z_nk]〗 براي هر K يک کران بالا دارد. چون ستونهاي Z مستقل از يکديگر هستند، اميد رياضي برابر است با K ضربدر اميد رياضي مجموع يک ستون منفرد، E[1^T z_k]. اين اميد رياضي به سادگی به صورت زير محاسبه ميشود
E[1^T z_k ]=∑_(n=1)^N▒〖E(z_nk )=∑_(n=1)^N▒∫_0^1▒〖π_k p(π_k )dπ_k 〗〗=N (α/K)/(1+α/K)
نتيجه بالا از اين حقيقت بدست آمده است که اميد رياضي يک متغير تصادفي بتا، Beta(r,s)، برابر است با r⁄((r+s)). در نتيجه، خواهيم داشت E[1^T Z1]=KE[1^T z_k ]=Nα⁄((1+(α⁄K))). بنابراين براي هر K، اميد رياضي تعداد آرايهها در ماتريس Z، از بالا در مقدار Nα کراندار شده است.

3-11-1-1-1-1- کلاسهاي همارزي610
براي يافتن حد توزيع تصريح شده در (20)، K→∞، نيازمند تعريف کلاسهاي همارزي از ماتريسهاي باينري هستيم (کلاسهاي باينري را نخستين بار گرفيث و قهرماني (2005) معرفي کردهاند). کلاسهاي
همارزي با لحاظ يک تابع بر روي ماتريسهاي باينري، lof(.)، تعريف ميشوند. اين تابع، ماتريسهاي باينري را به ماتريسهاي باينري مرتب شده از چپ611 نگاشت ميکند. lof(Z) از طريق رتبهبندي ستونهاي ماتريس باينري Z از چپ به راست بر اساس اندازه اعداد باينري بيان شده در آن ستون، بدست ميآيد؛
در رديف اول، ستونهايي که براي آنها z_1k=1 است قرار داده ميشود. در رديف دوم، ستونهايي که براي آنها z_2k=1 است در سمت چپ مجموعههايي که براي آنها z_1k=1 است قرار داده ميشوند و به همين ترتیب ساير ستونها نيز مرتب خواهند شد. بر اين اساس، مشخصهها از درجه اهميتشان (اينکه بيشتر انتخاب شدهاند) از سمت چپ به راست چيده میشوند (براي جزئيات بيشتر به گرفيث و قهرماني (2011) مراجعه شود).

شکل 6.3. ماتريسهاي باينري (شکل سمت چپ) و فرم مرتب شده از چپ (شکل سمت راست). اين ماتريس مرتب شده از چپ توسط يک فرآيند IBP با α=10، توليد شده است. ستونهاي خالي از هر دو ماتريس حذف شدهاند

گذشته612 مربوط به مشخصه k در شيء nام به صورت بردار (z_1k, …, z_(n-1)k) تعريف ميشود. جاييکه براي هيچ شيءي هيچ مشخصهاي، تعيين نشده باشد، گذشته کامل مشخصه k، توسط بردار (z_1k, …, z_Nk)، تعريف ميشود. گذشته مشخصهها، با استفاده از همارزي اعشاري اعداد باينري متتاظر با آرايههاي ستوني مشخص
ميشود.
براي مثال، در شيء 3، هر مشخصهاي ميتوانند يکي از چهار گذشته زير را داشته باشند: 0، براي يک مشخصه با هيچگونه اختصاص قبلي، 1، براي مشخصهاي که براي آن z_2k=1 اما z_1k=0، 2 براي مشخصهاي که براي آن داريم، z_1k=1 اما z_2k=0، و 3 براي مشخصهاي که توسط هر دوي اشياء قبلي تحت مالکيت در آمده است. تعداد مشخصههايي که گذشته h دارند را K_h قرار ميدهيم، همچنین K_0 را تعداد مشخصههايي که براي آنها m_k=0 و K_+=∑_(h=1)^(2^N-1)▒K_h را تعداد مشخصههايي که براي آنها m_k>0 است، قرار میدهیم. در اینصورت K=K_0+K_+. اين روش بيان گذشته یک مشخصه، فرآيند قرار دادن يک ماتريس باينري به فرم مرتب شده از چپ- همانطور که در تعريف lof(.) مورد استفاده قرار گرفت- را نيز

پایان نامه
Previous Entries مقاله درباره اقتصاد اطلاعات، اطلاعات نامتقارن، ارزش اطلاعات Next Entries مقاله درباره باينري، مشتري، ستونهاي، توزيع