Meta-analiz, aynı araştırma sorusunu ele alan çok sayıda nicel çalışmanın bulgularını istatistiksel yöntemlerle bir araya getirip ortak bir sonuca ulaşmayı amaçlayan araştırma yöntemidir. Terimi eğitim araştırmalarına kazandıran Glass (1976), meta-analizi tek tek çalışmalardan elde edilmiş çok sayıdaki analiz sonucunun, bulguları bütünleştirmek amacıyla yeniden istatistiksel analize tabi tutulması olarak tanımlar. Kısacası meta-analiz, “analizlerin analizi”dir.
Bu yazıda meta-analizin nasıl yapıldığı, araştırma sorusunun belirlenmesinden moderatör analizine kadar adım adım ele alınmakta; etki büyüklüğü, model seçimi, heterojenlik ve yayın yanlılığı gibi lisansüstü öğrencilerin en çok zorlandığı kavramlar açıklanmaktadır. Yazının sonunda eğitim yönetimi alanında Türkiye’de yapılmış bir meta-analiz örneğine de yer verilmiştir. Alanda yapılmış diğer lisansüstü çalışmalar için sitedeki Tez Özetleri bölümüne bakılabilir.
Meta-Analizin Mantığı
Glass (1976) araştırma türlerini üç düzeyde ele alır. Birincil analiz, bir araştırmacının kendi topladığı veriyi ilk kez çözümlemesidir. İkincil analiz, var olan bir veri setinin başka bir soruyu yanıtlamak ya da daha uygun tekniklerle yeniden incelenmek üzere ele alınmasıdır. Meta-analiz ise bu iki düzeyin üstünde yer alır: Ham veriyle değil, yayımlanmış ya da erişilebilir çalışmaların raporladığı istatistiklerle çalışır.
Bu yaklaşımın gerekçesi oldukça yalındır. Eğitim yönetiminde aynı ilişki, örneğin okul müdürünün liderlik davranışları ile öğretmenlerin iş doyumu arasındaki ilişki, onlarca tezde ve makalede farklı örneklemlerle sınanmıştır. Bu çalışmaların bir kısmı güçlü, bir kısmı zayıf, bir kısmı da anlamsız bir ilişki bulur. Geleneksel anlatı türü derlemeler bu tabloyu çoğu zaman “anlamlı bulan” ve “anlamlı bulmayan” çalışmaları sayarak özetler. Meta-analiz ise her çalışmanın bulgusunu ortak bir ölçüye, yani etki büyüklüğüne dönüştürür ve bu değerleri örneklem büyüklüklerine göre ağırlıklandırarak birleştirir.
Meta-Analiz Nasıl Yapılır?
1. Araştırma sorusu
Süreç, yanıtlanabilir ve sınırları belli bir soruyla başlar. “Liderlik okulu etkiler mi?” gibi geniş bir soru meta-analiz için uygun değildir. “Türkiye’de okul müdürlerinin dönüşümcü liderlik davranışları ile öğretmenlerin örgütsel bağlılığı arasındaki ilişkinin büyüklüğü nedir?” gibi değişkenleri, bağlamı ve ilişki türünü açıkça belirten bir soru, hem tarama stratejisini hem de dahil etme ölçütlerini belirler.
2. Tarama ve dahil etme ölçütleri
Ardından anahtar sözcükler, taranacak veri tabanları ve tarih aralığı belirlenir. Türkiye’de yapılan çalışmalarda YÖK Ulusal Tez Merkezi, DergiPark ve ULAKBİM veri tabanları uluslararası veri tabanlarıyla birlikte taranır. Dahil etme ölçütleri önceden yazılı hâle getirilmelidir: Hangi yıllar, hangi yayın türleri (makale, tez, bildiri), hangi örneklemler ve hangi ölçme araçları kapsama girecektir? Bu aşamada en sık karşılaşılan sorun, çalışmaların etki büyüklüğü hesaplamaya yetecek istatistikleri (ortalama, standart sapma, korelasyon katsayısı, örneklem büyüklüğü) raporlamamasıdır. Aynı veriden üretilmiş tez ve makalenin ikisinin birden analize girmemesine de dikkat edilmelidir; aksi hâlde aynı örneklem iki kez sayılmış olur.
3. PRISMA 2020 akış diyagramı
Tarama ve eleme sürecinin şeffaf biçimde raporlanması için en yaygın kullanılan rehber PRISMA’dır. Page ve arkadaşları (2021) tarafından yayımlanan PRISMA 2020 bildirimi, 2009 tarihli önceki sürümün yerini almıştır ve 27 maddelik bir kontrol listesi ile bir akış diyagramı şablonu içerir. Akış diyagramında kaynaklardan kaç kaydın bulunduğu, yinelenen kayıtların ayıklanması, başlık-özet ve tam metin düzeyinde kaç çalışmanın hangi gerekçeyle elendiği ve sonunda kaç çalışmanın analize alındığı gösterilir. Hakemlerin ve jüri üyelerinin ilk baktığı yerlerden biri bu diyagramdır.
4. Kodlama
Dahil edilen her çalışma için bir kodlama formu doldurulur. Formda yazar ve yıl, yayın türü, örneklem büyüklüğü, örneklemin kademesi (ilkokul, ortaokul, lise), okul türü, kullanılan ölçek ve etki büyüklüğü hesaplamasına esas alınacak istatistikler yer alır. Kodlamanın güvenilirliği için ikinci bir kodlayıcı kullanılması ve kodlayıcılar arası uyumun raporlanması iyi bir uygulamadır. Kodlama formundaki betimleyici değişkenler daha sonra moderatör analizinde kullanılacağından bu aşama özenle yapılmalıdır.
5. Etki büyüklüğünün hesaplanması
Çalışmalar farklı istatistikler raporladığı için hepsinin ortak bir metriğe dönüştürülmesi gerekir. Eğitim yönetimi araştırmalarında en sık kullanılan etki büyüklükleri Tablo 1’de özetlenmiştir.
| Etki büyüklüğü | Ne zaman kullanılır? | Not |
|---|---|---|
| Cohen’s d | İki grubun ortalamaları karşılaştırıldığında (ör. kadın ve erkek öğretmenlerin algıları) | Ortalamalar farkının birleştirilmiş standart sapmaya bölünmesiyle elde edilir. |
| Hedges’ g | d ile aynı durumlarda | d’nin küçük örneklemlerde etkiyi olduğundan büyük gösterme eğilimi için düzeltilmiş hâlidir. |
| Korelasyon katsayısı (r) | İki sürekli değişken arasındaki ilişki incelendiğinde (ör. liderlik ve örgütsel bağlılık) | Analizde genellikle Fisher z dönüşümü uygulanır, sonuç yeniden r’ye çevrilerek yorumlanır. |
Etki büyüklüğünün türü araştırma sorusuna göre seçilir. Grup karşılaştırması yapan bir meta-analizde d ya da g, ilişkisel çalışmaları birleştiren bir meta-analizde r kullanılır. Her etki büyüklüğü, örneklem büyüklüğüne bağlı olarak bir varyansla birlikte hesaplanır ve büyük örneklemli çalışmalar ortalamaya daha fazla ağırlıkla katılır.
6. Sabit etkiler ve rastgele etkiler modeli
Model seçimi meta-analizin en çok tartışılan kararlarından biridir. Borenstein ve arkadaşlarının (2010) açıkladığı gibi sabit etkiler modeli, tüm çalışmaların tek bir gerçek etkiyi tahmin ettiğini ve çalışmalar arasındaki farkların yalnızca örnekleme hatasından kaynaklandığını varsayar. Rastgele etkiler modeli ise gerçek etkinin çalışmadan çalışmaya değişebileceğini kabul eder ve bu etkilerin dağılımının ortalamasını tahmin eder. Farklı illerde, farklı kademelerde, farklı ölçeklerle yürütülmüş eğitim araştırmalarında tek bir gerçek etki varsaymak çoğu zaman gerçekçi değildir; bu yüzden eğitim bilimlerindeki meta-analizlerde rastgele etkiler modeli daha sık tercih edilir. Model, heterojenlik testinin sonucuna bakılarak sonradan değil, araştırmanın varsayımlarına göre baştan seçilmelidir.
7. Heterojenlik: Q ve I²
Heterojenlik, çalışmaların etki büyüklükleri arasındaki farkın örnekleme hatasıyla açıklanabilecek düzeyi aşıp aşmadığını gösterir. Q istatistiği bu farkın anlamlı olup olmadığını sınar; ancak çalışma sayısı az olduğunda gücü düşüktür. Higgins ve arkadaşları (2003) bu nedenle I² istatistiğini önermiştir. I², toplam değişkenliğin ne kadarının şanstan değil çalışmalar arasındaki gerçek farklılıktan kaynaklandığını yüzde olarak ifade eder. Yazarlar %25, %50 ve %75 değerlerini kabaca düşük, orta ve yüksek heterojenlik olarak yorumlamayı önerir. Yüksek bir I² değeri analizin geçersiz olduğu anlamına gelmez; farklılığın kaynağının araştırılması gerektiğini gösterir.
8. Yayın yanlılığı
Anlamlı sonuç bulan çalışmaların yayımlanma olasılığı daha yüksek olduğundan, yalnızca yayımlanmış çalışmalara dayanan bir meta-analiz etkiyi olduğundan büyük tahmin edebilir. Bu sorunun incelenmesinde ilk araç huni grafiğidir: Yatay eksende etki büyüklükleri, dikey eksende kesinlik (çoğunlukla standart hata) yer alır. Yanlılık yoksa noktaların ters bir huni biçiminde simetrik dağılması beklenir. Grafiğin görsel yorumu öznel kalabileceği için Egger ve arkadaşlarının (1997) geliştirdiği regresyon testi asimetriyi istatistiksel olarak sınar. Türkiye’deki eğitim araştırmalarında lisansüstü tezlerin analize dahil edilmesi, yayımlanmamış çalışmaları kapsadığı için bu riski bir ölçüde azaltır.
9. Moderatör analizi
Heterojenlik yüksek çıktığında, kodlama aşamasında kaydedilen değişkenlerin etki büyüklüğünü farklılaştırıp farklılaştırmadığı incelenir. Kategorik moderatörler (yayın türü, okul kademesi, okul türü) için alt grup analizi, sürekli moderatörler (yayın yılı, örneklem büyüklüğü) için meta-regresyon kullanılır. Örneğin liderlik ile iş doyumu arasındaki ilişkinin ilkokullarda liselerden daha güçlü çıkması, moderatör analiziyle ortaya konabilecek bir bulgudur.
Meta-Analiz İçin Kullanılan Yazılımlar
Lisansüstü çalışmalarda en çok başvurulan seçeneklerden biri ticari bir paket olan Comprehensive Meta-Analysis (CMA) programıdır. Menü temelli arayüzü, farklı istatistiklerden etki büyüklüğü hesaplamayı kolaylaştırdığı için yeni başlayanlara uygundur. Ücretsiz ve esnek bir alternatif arayan araştırmacılar R ortamındaki metafor paketini kullanabilir. Viechtbauer’in (2010) tanıttığı paket, sabit ve rastgele etkiler modellerini, meta-regresyonu, huni grafiğini ve yayın yanlılığı testlerini kapsar. Kod temelli çalışmak başlangıçta zor gelse de analizin her adımının yeniden üretilebilir biçimde kayıt altında tutulmasını sağlar.
Eğitim Yönetiminde Türkiye’den Bir Örnek
Eğitim yönetimi alanında yapılmış meta-analizlere iyi bir örnek, Turgut’un (2021) Necmettin Erbakan Üniversitesinde tamamladığı doktora tezidir. Araştırmacı, 2000–2018 yılları arasında yapılmış etkili okul çalışmalarını ulusal ve uluslararası veri tabanlarında taramış, ilk aşamada ulaştığı 1052 çalışmadan dahil etme ölçütlerini karşılayan 82 bağımsız çalışmayı analize almıştır. Dağılımlar heterojen bulunduğu için tüm analizler rastgele etkiler modeliyle yapılmış; yayın yanlılığı Rosenthal ve Orwin’in güvenli N değerleri, Begg ve Mazumdar sıra korelasyonu, Egger regresyon testi ve Duval ve Tweedie’nin kırp-doldur yöntemiyle incelenmiştir. Bulgulara göre okul etkililiği ile liderlik arasında güçlü, okul kültürü arasında çok güçlü, okul iklimi ve iş doyumu arasında ise orta düzeyde pozitif ilişkiler vardır. Çalışmanın ayrıntılı özetine etkili okul özelliklerine ilişkin meta-analiz yazısından ulaşılabilir.
Bu tez, bir meta-analizin yöntem bölümünde hangi kararların gerekçelendirilmesi gerektiğini görmek açısından da yararlı bir modeldir: tarama aralığı, eleme gerekçeleri, model seçimi, yayın yanlılığı testleri ve moderatör değişkenler ayrı ayrı raporlanmıştır.
Sonuç
Meta-analiz, eğitim yönetiminde birbirine benzeyen çok sayıda nicel çalışmanın ne söylediğini toplu olarak görmeyi sağlar. Ancak yöntemin gücü, uygulanan adımların titizliğine bağlıdır. Belirsiz bir araştırma sorusu, eksik bir tarama, gerekçesiz bir model seçimi ya da göz ardı edilen yayın yanlılığı, sayısal olarak etkileyici ama yanıltıcı sonuçlar doğurabilir. Meta-analiz yapmayı düşünen lisansüstü öğrencinin, PRISMA 2020 kontrol listesini baştan rehber edinmesi ve her kararı yöntem bölümünde açıkça gerekçelendirmesi, çalışmanın hem jüri hem de hakem değerlendirmesinden geçmesini kolaylaştırır.
Kaynakça
Borenstein, M., Hedges, L. V., Higgins, J. P. T. ve Rothstein, H. R. (2010). A basic introduction to fixed-effect and random-effects models for meta-analysis. Research Synthesis Methods, 1(2), 97–111. https://doi.org/10.1002/jrsm.12
Egger, M., Davey Smith, G., Schneider, M. ve Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ, 315(7109), 629–634. https://doi.org/10.1136/bmj.315.7109.629
Glass, G. V. (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 5(10), 3–8. https://doi.org/10.3102/0013189X005010003
Higgins, J. P. T., Thompson, S. G., Deeks, J. J. ve Altman, D. G. (2003). Measuring inconsistency in meta-analyses. BMJ, 327(7414), 557–560. https://doi.org/10.1136/bmj.327.7414.557
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., … Moher, D. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71
Turgut, M. (2021). Etkili okul özelliklerine ilişkin bir meta analiz çalışması [Doktora tezi, Necmettin Erbakan Üniversitesi]. YÖK Ulusal Tez Merkezi. https://tez.yok.gov.tr/UlusalTezMerkezi/
Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1–48. https://doi.org/10.18637/jss.v036.i03
