Ölçek geliştirme, doğrudan gözlenemeyen bir yapıyı (örneğin örgütsel güven, öğretmen öz yeterliği ya da okul iklimi) ölçmek için yeni bir madde seti oluşturma ve bu setin geçerlik ve güvenirlik kanıtlarını toplama sürecidir. Ölçek uyarlama ise başka bir dilde ve kültürde geliştirilmiş bir aracı hedef dile ve kültüre aktarıp yeni bağlamda da aynı yapıyı ölçtüğünü gösterme işidir. İki süreç ortak istatistiksel araçlar kullansa da farklı sorulara yanıt arar: Ölçek geliştirmede soru “bu maddeler bir yapı oluşturuyor mu?”, uyarlamada ise “bu araç yeni bağlamda da aynı yapıyı aynı biçimde ölçüyor mu?” sorusudur.
Bu yazıda ölçek geliştirmenin madde havuzundan faktör analizine uzanan aşamaları, uyum indekslerinin nasıl okunacağı, güvenirlik kanıtları, uyarlamada Uluslararası Test Komisyonunun (ITC) yönergeleri ve ölçme değişmezliği ele alınmakta; son bölümde eğitim yönetimi tezlerinde sık rastlanan hatalar özetlenmektedir. Konunun tezlerde nasıl uygulandığını görmek için sitedeki Tez Özetleri kategorisi incelenebilir.
Yapının Tanımı, Madde Havuzu ve Uzman Görüşü
Ölçek geliştirmenin ilk adımı maddeleri yazmak değil, ölçülecek yapıyı tanımlamaktır. “Okul müdürüne güven” ile “okula güven” aynı şey değildir; yapının sınırları, kapsadığı ve kapsamadığı davranışlar alanyazın taramasıyla ve gerekirse öğretmen ya da yöneticilerle yapılan ön görüşmelerle belirlenmelidir. Bu tanım yapılmadan yazılan maddeler, sonradan hangi faktöre ait olduğu anlaşılamayan bir yığına dönüşür.
Madde havuzu, ölçeğin son hâlinde yer alacak madde sayısından belirgin biçimde fazla madde içerir; çünkü sonraki aşamalarda maddelerin bir kısmı elenecektir. Maddeler kısa, tek bir yargı içeren ve hedef grubun diline uygun biçimde yazılmalıdır. “Müdürümüz adil ve tutarlıdır” gibi iki ayrı yargıyı birleştiren maddeler, yanıtlayanın hangisine yanıt verdiğini belirsizleştirir. Olumsuz ifadeli maddeler de dikkatle kullanılmalıdır; ters kodlanan maddelerin bazı örneklemlerde ayrı bir yöntem faktörü oluşturabileceği unutulmamalıdır.
Uzman görüşü, kapsam geçerliğine ilişkin ilk kanıttır. Uzmanlardan her maddenin yapıyla ilgisini derecelendirmesi istenir. Lawshe (1975) bu değerlendirmeyi sayısallaştırmak için kapsam geçerlik oranını önermiştir: Maddeyi “gerekli” olarak işaretleyen uzman sayısından toplam uzman sayısının yarısı çıkarılır ve sonuç yine toplam uzman sayısının yarısına bölünür. Oran −1 ile +1 arasında değişir ve bir maddenin şans eseri onaydan ayırt edilebilmesi için gereken en düşük değer, uzman sayısı azaldıkça yükselir. Uzman görüşünün ardından küçük bir grupla yapılan pilot uygulama, maddelerin anlaşılırlığını, uygulama süresini ve madde-toplam korelasyonlarını görmeyi sağlar.
Açımlayıcı ve Doğrulayıcı Faktör Analizi
Açımlayıcı faktör analizi (AFA), maddelerin hangi örtük faktörler altında toplandığını keşfetmek için kullanılır. Fabrigar, Wegener, MacCallum ve Strahan (1999), psikoloji alanındaki AFA uygulamalarını inceledikleri çalışmada araştırmacıların sıklıkla aynı varsayılan ayarlara başvurduğunu ve bu tercihlerin sonuçları bozabildiğini gösterir. Yazarların uyarılarından üçü eğitim yönetimi tezleri için de geçerlidir. Birincisi, temel bileşenler analizi örtük faktörleri değil, toplam varyansı özetleyen bileşenleri verir; amaç bir yapıyı ortaya koymaksa ortak faktör yöntemleri daha uygundur. İkincisi, özdeğeri 1’den büyük faktörleri tutma kuralı faktör sayısını belirlemede güvenilir değildir; paralel analiz gibi yöntemlerle desteklenmelidir. Üçüncüsü, eğitim yönetimindeki yapıların boyutları genellikle birbiriyle ilişkili olduğundan dik döndürme yerine eğik döndürme çoğu durumda daha gerçekçidir.
Doğrulayıcı faktör analizi (DFA) ise önceden belirlenmiş bir yapının veriye uyup uymadığını sınar. Ölçek geliştirmede AFA ile ortaya çıkan yapının DFA ile sınanması için ayrı bir örneklem gerekir; aynı veri kümesinde bulunan yapıyı aynı veri kümesinde “doğrulamak” bağımsız bir sınama değildir. Uyarlama çalışmalarında ise orijinal yapı belli olduğundan doğrudan DFA ile başlamak yaygındır. Orçan (2018), bu iki analizin kullanım sırasının sonuçları değiştirebileceğini ve aynı veri kümesine birden fazla DFA modelinin iyi uyum gösterebileceğini göstererek DFA’nın tek başına en uygun modeli belirlemekte yetersiz kalabileceğine dikkat çeker.
Uyum İndeksleri ve Eşik Değerler
DFA sonuçları raporlanırken en sık başvurulan eşik değerler Hu ve Bentler’in (1999) simülasyon çalışmasından gelir. Yazarlar, kabul edilebilir uyum için aşağıdaki değerlere yakın sınırlar önermiş ve SRMR’nin diğer indekslerden biriyle birlikte yorumlanmasını salık vermiştir.
| İndeks | Önerilen sınır | Yorum |
|---|---|---|
| CFI (Karşılaştırmalı Uyum İndeksi) | .95 ve üzeri | Modelin bağımsızlık modeline göre iyileşmesi |
| TLI (Tucker-Lewis İndeksi) | .95 ve üzeri | Model karmaşıklığını dikkate alan karşılaştırmalı uyum |
| RMSEA (Yaklaşık Hataların Ortalama Karekökü) | .06 ve altı | Serbestlik derecesi başına uyumsuzluk |
| SRMR (Standartlaştırılmış Artık Ortalama Karekök) | .08 ve altı | Gözlenen ve kestirilen korelasyonlar arasındaki ortalama fark |
Bu değerler belirli model ve örneklem koşullarında yürütülmüş bir simülasyondan türetildiği için her çalışmaya uygulanabilecek kesin kurallar olarak görülmemelidir. Tezlerde sık görülen bir sorun, farklı kaynaklardan derlenen daha gevşek sınırların (örneğin .90) hangi kaynağa dayandığı belirtilmeden “kabul edilebilir uyum” diye sunulmasıdır. Hangi sınırın neden kullanıldığı kaynağıyla birlikte yazılmalı, uyum zayıfsa model değişiklikleri kuramsal olarak gerekçelendirilmelidir.
Güvenirlik
Eğitim yönetimi tezlerinde güvenirlik kanıtı neredeyse her zaman Cronbach alfa katsayısıyla sunulur. McNeish (2018), alfanın tüm maddelerin yapıyla eşit güçte ilişkili olduğu varsayımına dayandığını, bu varsayımın uygulamada çoğu zaman sağlanmadığını ve bu durumda alfanın güvenirliği yanlış kestirebileceğini belirtir. Yazar, faktör yüklerinin farklılaşmasına izin veren omega katsayısı gibi seçeneklerin raporlanmasını önerir. DFA zaten yapıldığından omega katsayısını hesaplamak ek bir veri toplama gerektirmez. Ölçek puanlarının zaman içindeki kararlılığı önemliyse test-tekrar test güvenirliği de ayrıca raporlanabilir.
Ölçek Uyarlama: ITC Yönergeleri ve Ölçme Değişmezliği
Uyarlama sürecine ilişkin en kapsamlı uluslararası çerçeve, Uluslararası Test Komisyonunun ITC Guidelines for Translating and Adapting Tests belgesinin ikinci baskısıdır (International Test Commission, 2018). Belge 18 yönergeyi altı başlık altında toplar: ön koşullar, test geliştirme, doğrulama, uygulama, puan ölçekleri ve yorumlama, belgeleme. Ön koşullar başlığı, işe başlamadan önce özgün ölçeğin hak sahiplerinden izin alınmasını ve yapının hedef kültürde de anlamlı olup olmadığının değerlendirilmesini kapsar.
Çeviri aşamasında Türkiye’deki tezlerde en çok bilinen yöntem çeviri-geri çeviridir. ITC yönergeleri bu konuda dikkat çekici bir uyarı yapar: İleri ve geri çeviri desenlerinin her birinin zayıflıkları vardır, ikisinden biri tek başına nadiren yeterli kanıt sağlar ve yalnızca geri çeviriye dayanan bir süreçte hedef dildeki metin hiç gözden geçirilmediği için akıcı olmayan ifadeler ortaya çıkabilir. Yönergeler desenlerin birlikte kullanılmasını, tek çevirmenle çalışmanın artık kabul görmeyen bir uygulama olduğunu ve çevirmenlerin hem iki dili hem iki kültürü hem de ölçülen içeriği bilmesi gerektiğini vurgular (International Test Commission, 2018).
Dilsel eşdeğerlik için Türkçe uyarlama çalışmalarında sık başvurulan yol, iki dili bilen bir gruba ölçeğin özgün ve Türkçe formlarını belirli aralıkla uygulayıp puanlar arasındaki ilişkiye bakmaktır. Bu kanıt yararlıdır, ancak tek başına yeterli değildir; yüksek bir korelasyon, maddelerin iki dilde aynı şeyi ölçtüğünü madde düzeyinde güvence altına almaz. ITC yönergeleri de iki dilli örneklemlerin yanı sıra uzman incelemesini ve küçük deneme uygulamalarını önerir.
Uyarlamanın asıl amacı farklı grupların puanlarını karşılaştırmaksa ölçme değişmezliği sınanmalıdır. Putnick ve Bornstein (2016), çok gruplu DFA ile yürütülen bu sınamanın sıralı adımlarını özetler: Yapının gruplarda aynı faktör örüntüsüne sahip olup olmadığına bakan biçimsel değişmezlik, faktör yüklerinin eşitliğini sınayan metrik değişmezlik, madde kesişim değerlerinin eşitliğini sınayan ölçek (scalar) değişmezliği ve hata varyanslarının eşitliğini sınayan katı değişmezlik. Grup ortalamalarının anlamlı biçimde karşılaştırılabilmesi için en azından ölçek değişmezliğinin sağlanması gerekir. Modeller arası karşılaştırmada ki-kare farkı örneklem büyüklüğüne duyarlı olduğundan uyum indekslerindeki değişime de bakılır. Cheung ve Rensvold (2002) CFI’daki .01’i aşan düşüşün değişmezliğin bozulduğuna işaret ettiğini önermiş; Chen (2007) bu ölçütü RMSEA’daki .015’lik artış ile metrik düzeyde SRMR’deki .030’luk, ölçek düzeyinde ise .010’luk artışla birlikte değerlendirmeyi önermiştir. Bir eğitim yönetimi tezinde örneğin kadın ve erkek öğretmenlerin ya da ilkokul ve lise öğretmenlerinin ölçek puanları karşılaştırılacaksa bu sınamanın yapılmamış olması, farkların ölçmeden mi yoksa gruplardan mı kaynaklandığını belirsiz bırakır.
Sık Yapılan Hatalar
- Yapıyı tanımlamadan madde yazmak ve madde havuzunu son ölçek uzunluğunda tutmak.
- Uzman görüşünü yalnızca “uzman görüşüne sunulmuştur” cümlesiyle geçiştirip uzmanların sayısını, alanını ve değerlendirmenin nasıl sayısallaştırıldığını raporlamamak.
- AFA ve DFA’yı aynı örneklemde yapıp yapıyı doğruladığını ileri sürmek.
- Uyum indeksi sınırlarını kaynaksız ya da çalışmanın sonucuna göre seçmek; kuramsal gerekçesi olmayan hata kovaryansları ekleyerek uyumu yükseltmek.
- Uyarlamada izin almadan çalışmaya başlamak, tek çevirmenle ya da yalnızca geri çeviriyle yetinmek.
- Ölçme değişmezliğini sınamadan grup karşılaştırmaları yapmak ve güvenirlik kanıtını yalnızca alfa katsayısına dayandırmak.
Sonuç
İyi bir ölçek, iyi tanımlanmış bir yapı, özenle yazılmış maddeler ve şeffaf raporlanmış analiz kararları üzerine kurulur. Uyarlamada ise sorun yalnızca dili çevirmek değil, aracın yeni kültürde de aynı yapıyı aynı biçimde ölçtüğünü göstermektir. Eğitim yönetimi alanında yapılan tezlerin büyük kısmı ölçek puanlarına dayandığından bu aşamalarda verilen her kararın gerekçesini kaynağıyla birlikte yazmak, tezin bulgularına duyulan güvenin de ön koşuludur.
Kaynakça
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3), 464–504. https://doi.org/10.1080/10705510701301834
Cheung, G. W. ve Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233–255. https://doi.org/10.1207/S15328007SEM0902_5
Fabrigar, L. R., Wegener, D. T., MacCallum, R. C. ve Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4(3), 272–299. https://doi.org/10.1037/1082-989X.4.3.272
Hu, L. ve Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. https://doi.org/10.1080/10705519909540118
International Test Commission. (2018). ITC guidelines for translating and adapting tests (second edition). International Journal of Testing, 18(2), 101–134. https://doi.org/10.1080/15305058.2017.1398166
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods, 23(3), 412–433. https://doi.org/10.1037/met0000144
Orçan, F. (2018). Açımlayıcı ve doğrulayıcı faktör analizi: İlk hangisi kullanılmalı? Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 9(4), 414–421. https://doi.org/10.21031/epod.394323
Putnick, D. L. ve Bornstein, M. H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71–90. https://doi.org/10.1016/j.dr.2016.06.004
