Ölçmede geçerlik, bir testten elde edilen puanlara dayanarak yapılan yorumların, bu puanların amaçlanan kullanımı açısından kanıt ve kuramla ne ölçüde desteklendiğini gösterir. Güvenirlik ise aynı özellik tekrar tekrar ölçüldüğünde puanların ne kadar tutarlı kaldığını, başka bir deyişle puanın ölçme hatasından ne ölçüde arınık olduğunu anlatır. Geçerlik ve güvenirlik, bir yazılı sınavdan ulusal bir sınava kadar her ölçme işinin hesabını vermek zorunda olduğu iki temel niteliktir.
Bu yazıda geçerliğin bugünkü anlamı Standards for Educational and Psychological Testing çerçevesi ve Messick’in birleşik geçerlik görüşü üzerinden ele alınmakta; ardından güvenirlik türleri, ölçmenin standart hatası ve bu kavramların öğretmenin sınıf içinde yaptığı ölçmelere yansıması tartışılmaktadır. Ölçek geliştirme ve uyarlama aşamaları ile faktör analizi gibi teknikler ayrı bir yazının konusu olduğu için burada yalnızca anılmaktadır.
Geçerlik: Testin Değil, Yorumun Niteliği
Eski ders kitaplarında geçerlik çoğunlukla “kapsam geçerliği”, “ölçüt geçerliği” ve “yapı geçerliği” gibi ayrı türler hâlinde anlatılırdı. Bu anlatım, bir testin bir kez “geçerli” ilan edildikten sonra her durumda geçerli kalacağı izlenimini doğuruyordu. Amerikan Eğitim Araştırmaları Derneği (AERA), Amerikan Psikoloji Derneği (APA) ve Ulusal Eğitimde Ölçme Konseyi (NCME) tarafından ortaklaşa hazırlanan standartların 2014 baskısı bu bakışı açıkça bırakır. Standartlara göre geçerlik, kanıt ve kuramın test puanlarının önerilen kullanımlara yönelik yorumlarını ne derece desteklediğidir ve tek bir (bütünleşik) kavramdır; farklı kanıt kaynakları, farklı geçerlik türleri anlamına gelmez (AERA, APA ve NCME, 2014).
Bu tanımın pratik sonucu şudur: Aynı test bir amaç için yeterli kanıta sahipken başka bir amaç için yetersiz kalabilir. Bir matematik testi, ünitenin kazanımlarına ulaşılıp ulaşılmadığını yoklamak için uygun olabilir; aynı test öğrencileri özel bir programa yerleştirmek için kullanılacaksa bu yeni kullanımın ayrıca gerekçelendirilmesi gerekir. Standartlar, geçerlik kanıtlarını beş kaynak altında toplar.
| Kanıt kaynağı | Sorduğu soru | Sınıf ortamından örnek |
|---|---|---|
| Test içeriği | Maddeler ölçülmek istenen alanı temsil ediyor mu? | Sınav sorularının ünite kazanımlarına ve derste ayrılan süreye göre dağıtıldığı bir belirtke tablosu |
| Yanıt süreçleri | Öğrenciler soruyu yanıtlarken beklenen zihinsel süreci mi işletiyor? | Bir problem sorusunu doğru yanıtlayan öğrenciye nasıl düşündüğünü sesli anlattırmak |
| İç yapı | Maddeler arasındaki ilişkiler kuramsal yapıyla uyumlu mu? | Aynı beceriyi ölçtüğü düşünülen maddelerin birbiriyle tutarlı sonuç vermesi |
| Diğer değişkenlerle ilişkiler | Puanlar ilgili başka ölçülerle beklenen yönde ilişkili mi? | Okuma testi puanlarının öğretmenin sesli okuma gözlemleriyle örtüşmesi |
| Test kullanımının sonuçları | Puanların kullanımı amaçlanan sonuçları doğuruyor mu, istenmeyen sonuçlar var mı? | Yalnızca çoktan seçmeli sınava dayalı not vermenin öğrencileri ezbere yöneltip yöneltmediği |
Messick’in birleşik geçerlik görüşü
Standartlardaki bütünleşik geçerlik anlayışının kuramsal zemini büyük ölçüde Samuel Messick’e dayanır. Messick (1995), geçerliği kişilerin yanıt ve performanslarından yapılan çıkarımların bilimsel olarak sınanması şeklinde tanımlar ve yapı geçerliğini bütün geçerlik kanıtlarını kapsayan bir çatı olarak görür. Bu çatı altında altı yön sayar: içerik, özsel (substantive), yapısal, genellenebilirlik, dış ilişkiler ve sonuçlar. Messick’in en çok tartışılan katkısı, testin toplumsal ve eğitsel sonuçlarını da geçerlik değerlendirmesinin içine almasıdır. Bir sınavın öğretimi daraltması ya da belirli bir öğrenci grubunu sistematik olarak dezavantajlı duruma düşürmesi, bu görüşe göre yalnızca bir politika sorunu değil, aynı zamanda bir geçerlik sorunudur.
Kane (2013) bu çerçeveyi daha uygulanabilir kılmak için argümana dayalı bir yaklaşım önerir. Önce puandan hangi yorumların ve kararların çıkarılacağı açıkça yazılır; ardından bu zincirin her halkası (puanlama, genelleme, yorumlama, karar) kanıtla sınanır. Yaklaşımın sınıf öğretmeni için de anlamı vardır: “Bu sınav puanı neyi göstermek için kullanılacak?” sorusu yanıtlanmadan geçerlik hakkında konuşmak mümkün değildir.
Güvenirlik Türleri
Klasik test kuramında gözlenen puan, gerçek puan ile hata puanının toplamı olarak düşünülür. Güvenirlik, gözlenen puan farklılıklarının ne kadarının gerçek puan farklılıklarından kaynaklandığını gösterir. 2014 standartları bu nedenle “güvenirlik/kesinlik” (reliability/precision) ifadesini kullanır ve konuyu ölçme hatalarıyla birlikte ele alır (AERA, APA ve NCME, 2014). Hatanın nereden geldiği sorusu, hangi güvenirlik kanıtının toplanacağını da belirler.
Test-tekrar test
Aynı test aynı gruba belirli bir aralıkla iki kez uygulanır ve iki uygulamanın puanları arasındaki korelasyon hesaplanır. Bu katsayı, puanların zaman içindeki kararlılığına ilişkin bilgi verir. Aralık kısa tutulursa öğrenciler soruları hatırlayabilir; uzun tutulursa ölçülen özellik gerçekten değişebilir. Bu yüzden test-tekrar test yöntemi, kısa sürede değişmesi beklenmeyen özellikler için daha anlamlıdır. Aynı alanı ölçen iki eşdeğer form hazırlanabiliyorsa paralel form güvenirliği de benzer bir mantıkla hesaplanır.
İç tutarlılık: Cronbach alfa ve McDonald omega
Testin tek bir uygulamasından güvenirlik kestirmenin en yaygın yolu iç tutarlılıktır. Cronbach (1951) tarafından tanıtılan alfa katsayısı, maddelerin aynı özelliği ne ölçüde birlikte ölçtüğüne dayanır. Alfanın yaygınlığı, hesaplanmasının kolaylığından gelir; ancak katsayı, maddelerin ölçülen yapıyla eşit güçte ilişkili olduğu varsayımına dayanır. Bu varsayım çoğu testte karşılanmaz. McDonald’ın (1999) faktör modeline dayalı omega katsayısı, maddelerin yapıyla farklı güçte ilişkili olmasına izin verdiği için son yıllarda alfaya seçenek olarak önerilmektedir. Hayes ve Coutts (2020) omeganın tercih edilmesi yönündeki çağrıları tartışırken iki katsayının pek çok uygulamada birbirine yakın değerler verdiğini, asıl önemli olanın katsayının dayandığı modelin veriye uygunluğu olduğunu hatırlatır. Ayrıca yüksek bir alfa, testin tek boyutlu olduğunu kanıtlamaz; madde sayısı arttıkça alfa da yükselme eğilimindedir.
Puanlayıcılar arası güvenirlik
Kompozisyon, proje ya da performans görevleri gibi puanlayıcı yargısına dayanan ölçmelerde hata kaynaklarından biri puanlayıcının kendisidir. Kategorik puanlamalarda iki puanlayıcının uyumu için Cohen’in (1960) kappa katsayısı, şans eseri ortaya çıkabilecek uyumu düzelterek kullanılır. Sürekli puanlarda ise sınıf içi korelasyon katsayıları tercih edilir; Shrout ve Fleiss (1979), farklı araştırma desenleri için hangi sınıf içi korelasyon türünün seçilmesi gerektiğini ayrıntılı biçimde göstermiştir. Türkiye’de Bıkmaz Bilgen ve Doğan (2017), 50 öğrencinin çalışmalarını 10 öğretmene puanlattıkları araştırmada kappa, Krippendorff alfası ve log-doğrusal analizi karşılaştırmış; analitik dereceli puanlama anahtarında puanlayıcı sayısı arttıkça güvenirliğin düştüğünü ve uyumun anahtarın daha nesnel kategorilerinde daha yüksek olduğunu bulmuştur.
Ölçmenin standart hatası
Güvenirlik katsayısı grup düzeyinde bir bilgidir; tek bir öğrencinin puanını yorumlarken daha kullanışlı olan, ölçmenin standart hatasıdır. Standart hata, puanların standart sapmasının bir eksi güvenirlik katsayısının kareköküyle çarpılmasıyla bulunur. Standart sapması 10, güvenirliği 0,91 olan bir testte standart hata 3 puandır. Bu durumda 70 alan bir öğrencinin gerçek puanının yaklaşık yüzde 95 olasılıkla 64 ile 76 arasında olduğu söylenebilir. Bu aralık, sınır puanın hemen altında ya da üstünde kalan öğrenciler hakkında verilen kararların ne kadar kırılgan olabileceğini somut biçimde gösterir.
Geçerlik ve Güvenirlik İlişkisi: Türkiye’den Bir Örnek
Güvenirlik, geçerliğin gerekli ama yeterli olmayan koşuludur. Tutarsız puanlardan sağlam yorum çıkarılamaz; ancak çok tutarlı ölçen bir test de amaçlanan özelliği değil, başka bir şeyi ölçüyor olabilir. Türkiye’deki tez ve makalelerde sıkça görülen “geçerlik ve güvenirlik çalışması” kalıbı, bu iki niteliğin bir kez sağlanıp bitirilecek işlemler gibi algılanmasına yol açabilmektedir. Oysa standartların bakışıyla geçerlik, her yeni kullanım için yeniden kurulması gereken bir kanıt bütünüdür.
Bu konuda dikkat çekici bir çalışma Mor Dirlik ve Koç’a (2017) aittir. Araştırmacılar, Rehberlik ve Araştırma Merkezlerinde ve okul rehberlik servislerinde sık kullanılan dört psikolojik testi, ölçme standartlarının geçerlik, güvenirlik, test geliştirme ve uyarlama bölümlerinden türettikleri bir kontrol listesiyle incelemiştir. Sonuçlara göre testlerden ikisi incelenen standartları yeterli düzeyde karşılamamış, bunlardan biri için ek güvenirlik çözümlemelerine ihtiyaç duyulduğu belirtilmiştir. Öğrenciler hakkında yönlendirme ve yerleştirme kararlarında kullanılan araçların bile standartlarla sınanması gerektiğini göstermesi bakımından bu bulgu okul yöneticileri için de önemlidir.
Sınıf İçi Ölçme İçin Çıkarımlar
Ölçme kuramı büyük ölçüde geniş örneklemlere uygulanan standart testler için geliştirilmiştir. Brookhart (2003), sınıf içi değerlendirmenin öğretimle iç içe geçtiğini, sürekli tekrarlandığını ve öğrenciyle öğretmen arasındaki etkileşimin bir parçası olduğunu vurgulayarak bu kuramın sınıfa olduğu gibi aktarılamayacağını, sınıf amaçlarına uygun bir ölçme anlayışı gerektiğini savunur. Bu bakışla öğretmen için şu çıkarımlar öne çıkar:
- İçerik kanıtı öğretmenin en çok denetleyebildiği kanıttır. Belirtke tablosu hazırlamak, sınavın kazanımları dengeli biçimde temsil edip etmediğini görmenin en pratik yoludur.
- Tek bir sınavın puanı yerine farklı zamanlarda ve farklı yöntemlerle toplanan kanıtlar, bir öğrenci hakkındaki kararın güvenirliğini artırır.
- Açık uçlu sorular ve performans görevlerinde dereceli puanlama anahtarı kullanmak ve zaman zaman bir meslektaşla aynı kâğıtları bağımsız olarak puanlayıp karşılaştırmak, puanlayıcı kaynaklı hatayı görünür kılar.
- On maddelik kısa bir sınavdan yüksek bir alfa beklemek gerçekçi değildir. Bu tür sınavlarda düşük iç tutarlılık, sınavın işe yaramadığı anlamına gelmeyebilir; ancak tek başına yüksek riskli bir karar için kullanılmaması gerektiğini gösterir.
- Puanın nasıl kullanılacağı sorusu, Messick’in sonuçlar boyutunu sınıfa taşır: Notun öğrenciyi öğrenmeye mi yoksa yalnızca sınava hazırlanmaya mı yönelttiği de bir geçerlik sorusudur.
Sonuç
Geçerlik ve güvenirlik, testin üzerine yapıştırılmış etiketler değil, puanlardan çıkarılan anlamın ne kadar sağlam olduğuna ilişkin yargılardır. Standartların ve Messick’in çizdiği çerçeve, geçerliği kullanım amacına bağlı ve sürekli kanıt gerektiren bir süreç olarak görmeyi; güvenirliği ise hatanın kaynağına göre seçilen yöntemlerle ve standart hatayla birlikte yorumlamayı gerektirir. Bu yaklaşım, ulusal sınavlar kadar öğretmenin dönem sonunda verdiği not için de geçerlidir.
Kaynakça
American Educational Research Association, American Psychological Association ve National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association. https://www.testingstandards.net/open-access-files.html
Bıkmaz Bilgen, Ö. ve Doğan, N. (2017). Puanlayıcılar arası güvenirlik belirleme tekniklerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(1), 63–78. https://doi.org/10.21031/epod.294847
Brookhart, S. M. (2003). Developing measurement theory for classroom assessment purposes and uses. Educational Measurement: Issues and Practice, 22(4), 5–12. https://doi.org/10.1111/j.1745-3992.2003.tb00139.x
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. https://doi.org/10.1007/BF02310555
Hayes, A. F. ve Coutts, J. J. (2020). Use omega rather than Cronbach’s alpha for estimating reliability. But…. Communication Methods and Measures, 14(1), 1–24. https://doi.org/10.1080/19312458.2020.1718629
Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. https://doi.org/10.1111/jedm.12000
McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates.
Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066X.50.9.741
Mor Dirlik, E. ve Koç, N. (2017). Eğitim kurumlarında kullanılan psikolojik testlerin ölçme standartlarına göre incelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(4), 453–468. https://doi.org/10.21031/epod.365141
Shrout, P. E. ve Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. https://doi.org/10.1037/0033-2909.86.2.420
