تحقیق با موضوع روایی محتوا، انحراف معیار، روایی سازه، استاندارد سازی

دانلود پایان نامه ارشد

همبستگی بین دو آزمون کاهش مییابد. اعتبار نمرات اختلاف زمانی صفر میشود که میانگین اعتبار دو آزمون با همبستگی بین آنها مساوی باشد و زمانی این اعتبار 1+ می شود که اعتبار هر کدام از آزمون ها 1+ باشد که در این حالت میزان همبستگی بین دو آزمون بیتأثیر است. با فرض اینکه نمرات به صورت نمرات Z یا استاندارد شده هستند، فرمول زیر را می توان برای برآورد اعتبار نمرات اختلاف به کار برد.
( آزمون دو اعتبار میانگین – آزمون دو بین همبستگی )/(1- آزمون دو بین همبستگی) = اعتبار نمرات اختلاف
عوامل مؤثر بر اعتبار آزمون
طول آزمون
از کاربردهای جالب CTT این است که با طولانیتر کردن یک آزمون میتوان بر اعتبار آن افزود، زیرا با طولانی کردن آزمون، واریانس واقعی با آهنگ سریعتری نسبت به واریانس خطا افزایش پیدا میکند. طول آزمون شامل تعداد سوالات، تعداد ارزیابان و نیز تعداد جلسات ارزیابی میشود. دفعاتی که اضافه میشود باید مشابه باشند، به بیان گویاتر شرایط سنجش و آزمودن با افزایش طول تغییر نکند. جهت افزایش اعتبار از طریق افزایش طول آزمون، ابتدا باید منابع خطا را شناسایی نمود و سپس منبع خطایی که بیشترین نوسان را ایجاد می کند کنترل کرد و در راستای آن منبع خطا، بر طول آزمون افزود. به طور مثال، اگر تفاوت نمره گذاری منبع خطاست، میتوان برتعداد نمرهگذاران افزود. همچنین اگر منبع خطا، نوسان ناشی از سوالات باشد، میتوان بر تعداد سوالات افزود. نکتهای که باید به آن توجه داشت این است که در افزایش طول آزمون یک سری ملاحظات اقتصادی و عملی (صرف زمان، تلاش، هزینه، خستگی و کسالت آزمودنیها) را باید در نظر گرفت. سقف اعتبار آزمون طولانی شده بستگی به اعتبار اولیه دارد. هر چه اعتبار اولیه آزمون کمتر باشد، سرعت افزایش اعتبار بیشتر است(میلر، 2010؛ رین اسکاف، 2001؛ جزوه فلسفی نژاد، 1391).
استاندارد سازی کردن128
استاندارد سازی کردن شامل شیوههای ایجاد فرمهای معادل آزمون(فرم همتا)، شیوههای ایجاد بانکهای متجانسی از سوالات(همسانی درونی)، یا معادل کردن نیمههای آزمون(دو نیمه کردن) و هم شامل شیوههای ایجاد همسانی در نمرهگذاری از طریق بهبود دستورالعملها و فرایندهای استاندارد شده نمرهگذاری میان ارزیابان خواهد بود. استانداردسازی کردن اثرات خاصی روی انواع معینی از اعتبار خواهد داشت و هنگام توسعه ابزارهای اندازهگیری، یکی از عاملهایی ست که باید برای افزایش اعتبار آن را در نظر داشت (میلر، 2010).
دامنه ی گروه
اعتبار آزمون همچنین بستگی به نمونهگیری افراد مورد مطالعه دارد. رین اسکاف (2001) مطرح میکند، که اگر از دامنه وسیعی از افراد نمونهگیری شود به طوریکه واریانس نمره واقعی بزرگ باشد،نسبت به زمانی که افراد با دامنه محدود شدهتری از نمرات واقعی نمونهگیری شدهاند، آزمون اعتبار بزرگتری خواهد داشت. علت آن ثابت بودن مقدار واریانس خطا در گروههای نمونه متفاوت است.
در نتیجه مقدار ضریب اعتبار آزمون تابع درجه ناهمگنی نمرات واقعی گروه نمونه است. هر چه همگنی گروه نمونه بیشتر باشد، واریانس نمرات واقعی کاهش مییابد و در نتیجه ضریب اعتبار پایین را به دنبال خواهد داشت.
سطح توانایی در گروه
هر چه میزان توانایی افراد مورد مطالعه با سطح دشواری آزمون هماهنگتر و همخوانتر باشد، میزان اعتبار آزمون نیز بالاتر خواهد بود.
تأثیر خطاهای نظامدار و تصادفی
خطاهای اندازهگیری به دو دسته ی؛ خطای تصادفی129 یا شانسی و خطای نظامدار130 یا سیستماتیک تقسیم می شوند. خطای تصادفی خطایی است که از شرایط تصادفی آزمودنیها یا خود سوالات آزمون ناشی میشود. این نوع خطا غیرقابل پیش بینی و غیرقابل کنترل بوده لذا اعتبار را کاهش میدهد. نوع دیگر خطا، خطای ثابت یا سیستماتیک است که به عواملی مربوط میشود که به طور منظم و از روی قاعده و لذا کنترلپذیر در اندازهگیری دخالت میکند و اثرات معین و مشخصی را اعمال میکند. از این رو اعتبار را کم یا زیاد نمیکند.
از دیگر عوامل مؤثر بر اعتبار آزمون میتوان همگونی سوالات و ضریب تشخیص را نام برد.
خطای معیار اندازهگیری131
شخصی را تصور کنید که n بار مورد اندازهگیری قرار میگیرد، با فرض اینکه نمرات به دست آمده
توزیع طبیعی دارند، در این صورت میانگین این توزیع معرف نمرهی واقعی آزمودنی و انحراف معیار آن معرف خطای معیار اندازهگیری(SEM) است. خطای معیار اندازهگیری انحراف معیار توزیع نمرات خطاست و نشان دهنده ی دقت عملکرد آزمودنی است و به ما میگوید که هر نمرهی آزمون چقدر دقیق است. به بیانی دیگر، SEM به ما میگوید که چقدر در یک اندازهگیری انعطاف وجود دارد. دامنه تغییرات SEM از صفر تا انحراف معیار نمرات مشاهده شده〖(σ〗_x) است. وقتی σ_x = SEM ، در روند اندازهگیری هیچ ثباتی وجود ندارد و ضریب اعتبار برابر صفر است. و هنگامیکه 0 = SEM ، ثبات کامل در نمرهها وجود دارد و ضریب اعتبار مساوی یک است. در عمل، مقدار SEM عددی بین این دو کران خواهد بود. SEM بزرگتر، انعطاف زیادی را شامل میشود و فاصله اطمینان بزرگی دارد و اینکه اعتماد کمتری نسبت به دقت ویژگی اندازهگیری شده به ما می دهد. SEM به دو طریق زیر محاسبه میشود:
الف) از طریق نمرات مشاهده شده
آزمون بر روی گروهی از آزمودنیها به کرات اجرا میشود. از آنجا که در هر آزمون برای هر آزمودنی سه نمره (نمره مشاهده شده، نمره واقعی و نمره خطا) وجود دارد، این سه نمره برای هر آزمودنی در اندازهگیریهای متوالی محاسبه میشود. با محاسبه انحراف معیار توزیع نمرات خطا، SEMبهدست میآید. این روش عملی نیست زیرا اجرای اندازهگیریهای متوالی بر روی آزمودنیها غیرممکن است.
ب) از طریق ضریب اعتبار آزمون 〖 (r〗_tt)و انحراف معیار نمرات مشاهده شده آزمودنی ها .(s_t )
SEM = s_t √(1- r_tt )
همچنین لرد فرمول دیگری را برای محاسبه SEM بر مبنای مفروضه آزمونهای تصادفی موازی ارائه داده است که تابع تعداد سوالات آزمون و نیز نسبت پاسخهای درست فرد در جامعه سوال است. این فرمول برخلاف فرمول بالا، مبتنی بر مفروضه یکسانی واریانس توزیع های خطا نیست.
با فرض طبیعی بودن توزیع نمرات، میتوان با بکارگیری SEM، حول نمرات مشاهده شده فواصل اطمینان ایجاد کرد و احتمال اینکه نمرهی واقعی درون یک فاصله معین بیفتد را برآورد کرد.
CIP = x ± z_α . s_e
برخی نیز معتقدند که فواصل اطمینان را میبایست حول برآورد نمره واقعی ایجاد کرد. در صورت نقض مفروضات SEM (یکسانی واریانس و طبیعی بودن توزیع)، فواصل اطمینان گمراه کننده خواهد بود (اسکولتز و همکاران،2011؛ میلر،2010؛ کاپلان و ساکوزو، 2004، ترجمه دلاور و همکاران، 1388؛ مگنوسون، 1967، ترجمه براهنی،1351).

مفهوم اعتبار در IRT
دو شاخص اعتبار در CTT، ضریب اعتبار و دیگری خطای معیار اندازهگیری است. در IRT مفهوم سنتی اعتبار جایی ندارد. به جای آن، بر روی مفهوم اساسیتر خطای معیار اندازهگیری تأکید میشود. به بیانی دیگر، نمره واقعی (سطح توانایی) آزمودنی با چه دقتی برآورد میشود؟
به میزان دقتی که در برآورد توانایی وجود دارد، آگاهی گفته میشود. میتوان گفت آگاهی همزاد واژه اعتبار در CTT است. از تابع آگاهی جهت برآورد خطای معیار استفاده میشود. خطای معیار برآورد، را میتوان از طریق معکوس ریشه دوم آگاهی برای سطوح مختلف توانایی طبق فرمول زیر محاسبه نمود :
SE (θ ̂) = 1/√(I (θ))
خطای معیار برآورد در IRT در زمینههایی مشابه خطای معیار اندازهگیری در CTT است. هر دو، به ترتیب با آگاهی و اعتبار رابطهی معکوس دارند. با این حال تفاوتهای عمدهای نیز دارند. از جمله اینکه مقدار خطای معیار برآورد در سطوح مختلف توانایی تغییر میکند در حالی که خطای معیار اندازهگیری در CTT برای همه سطوح توانایی یکسان است. نکته دیگری که لازم است به آن اشاره شود این است که در CTT نمیتوان سهم هر سوال را در اعتبار آزمون مستقل از سایر سوالات آزمون، برآورد کرد. اما درIRT برای هر سوال به طور جداگانه و همچنین برای کل آزمون میتوان تابع آگاهی را محاسبه نمود (رین اسکاف، 2001؛ جزوه فلسفی نژاد، 1391).
تعریف و مفهوم روایی
کاپلان و ساکوزو132، روایی را به صورت توافق بین نمره آزمون و کیفیتی که قرار است اندازه بگیرد تعریف کردهاند (روان آزمایی، 2004 ،ترجمه دلاور و همکاران، 1388، ص137). برخی گفتهاند آزمونی رواست که چیزی را اندازه بگیرد که برای اندازهگیری آن ساخته شده است. روایی به مناسب بودن، بامعنا بودن و سودمندی تفسیرها و کاربردهایی که از نمرات آزمون به عمل می آید اشاره میکند. تائید این گونه تفسیرها و کاربردهای نمرات آزمون، مستلزم جمعآوری شواهد است و روایی، بیانگر میزان مناسبت و کفایت این شواهد است. وقتی گفته میشود آزمونی رواست، در مورد روایی تفسیرها و کابردهای آن صحبت میشود نه خود آزمون. نکتهی دیگر اینکه، روایی امری نسبی است و یک آزمون میتواند برای کاربرد معینی روا باشد و برای کاربردی دیگر فاقد روایی.
تاریخچه روایی
بنا به آنچه در سایت آماری گارسون در بحث تاریخچه روایی آمده است؛ برخی از نویسندگان اولیه به سادگی روایی را معادل با اثبات همبسته بودن یک مقیاس ساخته شده با یک متغیر وابسته میدانستند و در واقع یک مقیاس ممکن بود روا در نظر گرفته شود در صورتیکه یک اندازه از هر چیزی با آن همبسته باشد (گیلفورد133،1946). در سال 1954 انواع روایی توسط انجمن روانشناسان آمریکا (APA) تدوین شد که در این راستا، 4 طبقه شناسایی شد: روایی محتوا134، روایی سازه135، روایی همزمان136 و روایی پیشبین137. هر نوعی با یک هدف متفاوت تحقیقی مطابقت داشت. روایی محتوا با آزمون محتوای مادههای موضوع، روایی سازه با اندازهگیری مفاهیم ذهنی مانند IQ، روایی همزمان با ابداع مقیاسهای آزمونهای جدید برای جایگزینی آزمونهای موجود و روایی پیشبین با ابداع شاخصهایی از عملکرد آینده مرتبط بود. در سال 1966 نوع شناسی APA دو نوع اخیر را تحت عنوان روایی وابسته به ملاک138 نامگذاری کرد. بعدها برخی افراد از جمله شپارد139 (1993) استدلال کردند که هر دو روایی محتوا و ملاک زیر گروهی از روایی سازه هستند، و تنها یک نوع روایی وجود دارد. کرونباخ (1971) این بحث را مطرح کرد که روایی مسئله مربوط به آزمون یا مقیاس نیست، بلکه مربوط به تفاسیر محققین از یک آزمون یا مقیاس میباشد که این به طور گستردهای امروزه پذیرفته شده است. برخی مثل میسک140 (1989) روایی سازه را به عنوان تنها نوع پذیرفتهاند، اما استانداردهای گوناگونی را برای ارزیابی آن استدلال میکنند. به طورخلاصه، بیش از نیم قرن گذشته، مفهوم روا سازی از برقراری ارتباط با یک متغیر وابسته تا این ایده که محققان باید به هر تفسیر از هر مقیاس، آزمون، یا ابزار اندازهگیری یک سازه را روا ببخشند، بسط داده شده است.
انواع روایی
رواسازی مستلزم جمع آوری انواع متفاوتی از شواهد است که جهت تأئید نتایج حاصل از نمرات آزمون
به کار می رود. با اینکه روایی یک مفهوم بسیط و یگانه است لذا در عمل بسته به هدفهای خاص آزمون
و روشهای برآورد، انواع مختلفی از آن وجود دارد. در اینجا بر مبنای آزمونهای هنجار مرجع، به بررسی
و مطالعه انواع روایی پرداخته می شود.

روایی محتوا
تعیین روایی محتوا، اولین گام در بررسی تمام آزمونهاست. این روایی اشاره به تحلیل منطقی محتوای یک آزمون دارد و مبتنی بر قضاوت ذهنی است لذا در مقایسه با دیگر انواع روایی بیشتر در معرض خطاست. روایی محتوا به دو نوع تقسیم میشود. نوع اول، روایی صوری یا ذهنی است که اشاره به ظاهر آزمون دارد. اینکه آزمودنیها با مشاهده سوالات آزمون بتوانند به محتوایی که آزمون مدعی اندازه گیری آن است پی ببرند. برای برآورد این نوع روایی، از قضاوت متخصصان موضوعی استفاده میشود. نوع دوم، روایی منطقی یا نمونهگیری بیانگر این مطلب است که نمونه سوالات آزمون تا چه حد معرف جامعهی سوالات ممکن است که میتوان از محتوای موضوع مورد نظر تهیه

پایان نامه
Previous Entries تحقیق با موضوع همسانی درونی، ضریب همبستگی، معادله ساختاری، انحراف معیار Next Entries تحقیق با موضوع علوم تجربی، روایی محتوا، جامعه آماری، روش نمونهگیری