Meta analiz belirli bir konuda yapılmış, birbirinden bağımsız, birden çok çalışmanın sonuçlarını birleştirme ve elde edilen araştırma bulgularının istatistiksel analizi-ni yapma yöntemidir. Meta analiz terimianalizi-ni ilk olarak 1976 yılında kullanan Glass, benzer araştırma sorularına yanıt arayan fakat farklı sonuçlar bildiren çalışmalar nedeni ile bu yöntemi geliştirmiştir (1-3).
Meta analizlerin temel amaçları; bağımsız birçok kli-nik araştırmayı eleştirel olarak gözden geçirmek, istatis-tiksel olarak aralarında bağlantı kurarak birlikte
değer-lendirmek ve tek bir araştırma ile yanıtlanması güç olan sorulara yanıt aramaktır. Olgu sayısının artırılarak araş-tırmanın gücünün artması, nedensel ilişkinin saptanma-sını kolaylaştırması, şansa bağlı ortaya çıkabilecek sonuç-lardan kaynaklanan belirsizliklerin giderilebilmesi, karış-tırıcılara ve etki değiştiricilere bağlı olarak bazı çalışma-larda bulunan farklı sonuçları saptama ve yorumlamanın daha kolaylaşması meta analizin üstünlükleri olarak sıra-lanabilir (3-10).
Bilimsel yazında karşımıza genellikle randomize ÖZ:
Meta analizi anlama ve yorumlama
Meta analiz belirli bir konuda yapılmış, birbirinden bağımsız, fakat benzer çalışmaların sonuçlarını birleştirme ve elde edilen araştırma bulgularının istatistiksel analizini yapma yöntemidir. İyi düzenlenmiş bir sistematik derleme başarılı bir meta analiz öncesi çok önemlidir. Meta analize alınan çalışmalar arasında heterojenite varlığı test edilmelidir. Yayımlanmaya bağlı yanlılık meta analizde önemli bir sorundur. Bu nedenle huni grafi ile olası yayımlanmaya bağlı yanlılık varlığı incelenmelidir. Duyarlılık analizi belirsizliği azaltmada önemli bir istatistiksel yöntemdir. Orman grafiği meta analize alınan çalışmaların birleştirilmiş sonucunun yorumlanmasını kolaylaştıracaktır. Sonuç olarak, yayımlanmış meta analizlerin dikkatlice gözden geçirilmesi ve dengeli biçimde eksikliklerinin belirlenmesi sağlık uygulamalarındaki belirsizliğin çözümünde gittikçe önemi artan bir yol olacaktır.
Anahtar sözcükler: sistematik derleme, heterojenite, yayımlanmaya bağlı yanlılık
ABS TRACT:
Understanding and interpreting meta analyses
A meta-analysis a statistical method that integrates the quantitative findings from separate but similar studies and provides a numerical estimate of interest. A well conducted systematic review is very important before performing a successful meta-analysis. It is necessary to test heterogeneity between studies included in meta-analysis. Publication bias is a major problem in meta-analysis. So funnel plots should use to detect a possible publication bias. Sensitivity analysis is also an important statistical method to reduce the uncertainty. A forest plot will make easier to interpret the aggregate effect size obtained by combining all the studies included in meta-analysis. In conclusion, careful reviewing of published meta-analyses and a balanced assessment of their deficiencies is likely to become an increasingly important way of resolving uncertainty in healthcare practices.
Keywords: systematic review, heterogeneity, publication bias
Journal of Mood Disorders (JMOOD) 2016;6(2):93-8
Meta Analizi Anlama ve Yorumlama
Selim Kılıç
11GATA Epidemiyoloji Bilim Dalı Başkanlığı, Ankara-Türkiye
Ya zış ma Ad re si / Add ress rep rint re qu ests to: Selim Kılıç,
GATA Epidemiyoloji Bilim Dalı Başkanlığı, Ankara-Türkiye
Elekt ro nik pos ta ad re si / E-ma il add ress: [email protected]
Geliş ta ri hi / Date of received: 25 Mart 2016 / March 25, 2016
Ka bul ta ri hi / Da te of ac cep tan ce: 3 Nisan 2016 / April 3, 2016
Bağıntı beyanı:
S.K.: Yazar bu makale ile ilgili olarak herhangi bir çıkar çatışması bildirmemiştir.
Declaration of interest:
kontrollü klinik araştırmalarda uygulanmış olarak çıksa da, gözlemsel çalışmalar (kohort, olgu-kontrol, kesitsel, tanımlayıcı araştırmalar), tanımlayıcı araştırmalar, tanı yöntemlerinin geçerlilik ve güvenilirlik çalışmalarında da uygulanabilir (9,12-14).
Başarılı bir meta analiz gerçekleştirilmesi için gerekli olan uygulama aşamaları şunlardır (4-10):
1. Başlangıç aşamasında çalışmanın amaç(lar)ı ve incelenmesi hedeflenen sorunların net olarak tanımlanmış olması,
2. Analize alınacak çalışmalara yönelik kabul edilme ve dışlama ölçütlerinin belirlenmesi,
3. Kaynakça arama ölçütlerinin belirlenmesi, yayım-lanmış ve yayımlanmamış olabildiğince çok kay-nak taranması,
4. Standart veri toplama formları kullanılması ve maskeleme yapılması,
5. Analize alınan çalışmaların nitelik olarak değer-lendirilmesi, çalışmaların örnek büyüklükleri ve standart hataları dikkate alınarak ağırlıklandırıl-ması,
6. Çalışma sonuçları arasındaki farklılıkların saptan-ması ve grafikle gösterilmesi,
7. Uygun regresyon modellerinin kullanılması, 8. Veri toplama ve değerlendirme yöntemlerinin
duyarlılıklarının değerlendirilmesidir.
Meta analize alınan çalışmalar arası kalite farkı sap-tanmış ise bulguları birleştirmeden önce kötü kaliteli olduğu değerlendirilen çalışmaların meta analizden çıkarılması uygun olacaktır. Bu çalışmaların çıkarılma-sıyla elde edilen birleştirilmiş bulgular ile meta analize alınan tüm çalışmaların birleştirilmiş bulgularının karşı-laştırılması da yapılmalıdır (9).
Bir meta analizi yazarken veya okurken kullanılabile-cek kontrol listesi ise şu basamakları içermelidir (3-12, 15-19):
a) Meta analizin hedefleri net olarak verilmiş midir?
b) Meta analize alınan çalışmaların seçiminin nasıl yapıldığı ayrıntılı açıklanmış mıdır?
1. Çalışmalara nasıl ulaşıldığı ayrıntılı açıklanmış mıdır? 2. Yayınlanmamış raporlara ulaşılmış mıdır?
3. Meta analize alınan çalışmaların dâhil edilme ve dışar-da bırakılma kriterleri nelerdir?
4. Meta analizde dışarıda bırakılan çalışmaların
gerekçe-leri belirtilmiş midir?
5. Meta analiz sonunda saptanan istatistiksel olarak anlamlı birleşik p değerini, istatistiksel olarak anlamsız düzeye getirecek kaç tane (anlamsız p değeri olan) çalışmanın gerektiğine dair bir hesaplama yapılmış mıdır?
Bu sayı küçük olursa kaynak taraması sırasında ulaşı-lamamış birkaç çalışma sonucu ile meta analizde elde edilen birleşik p değerinin anlamlılık durumunun değişebileceği akılda bulundurulmalıdır.
c) Çalışmalar hakkında bilgi
1. Hangi çalışma tasarımlarının (olgu-kontrol, kohort, randomize kontrollü çalışma vb.) meta analize dahil edil-diği bilgisi verilmiş midir?
2. Bu çalışmaların kalitesini değerlendirmek için kullanı-lan kriterler açıkkullanı-lanmış mıdır?
3. Çalışmaların özellikleri arasındaki farklılıklar belirtil-miş midir?
Çalışma tasarımında, katılımcıların özelliklerinde, dâhil etme ve dışarda bırakma kriterlerinde, gruplara katılımcıların atanmasında, izleme sürelerinde, çalış-maların sonlanım kriterlerinde, gerçekleştirilen ista-tistiksel analiz protokollerinde hangi farklılıklar var-dır?
d) Analiz yöntemleri
1. Çalışmalar arasındaki heterojenitenin nasıl test edildi-ği açıklanmış mıdır?
Eğer heterojenite için yapılan istatistiksel analizde düşük p değeri bulunmuşsa çalışmaların bulguları arasındaki farklar ihmal edilemeyeceğinden, sabit etkiler (fixed-effects) modeli (ayrı çalışmalardaki bul-gulardan tahmin edilebilen altta yatan bir tek gerçek etkinin var olduğu varsayımı) savunulamaz.
2. Çalışma kalitesindeki farklılıklar analizde hesaba katıl-mış mıdır?
3. Bulguları birleştirmede sabitler etki veya rassal etkiler modeli kullanılmış mıdır?
çalışmadan çalışmaya değişkenlik gösterdiği kabul edilir.
5. Duyarlılık analizi yapılmış mıdır?
Kötü kaliteli çalışmalar analizden çıkartıldığı zaman, heterojenite istatistiksel olarak önemli bir şekilde kalıyorsa, bu durum gözlenen heterojenitenin sadece meta analize alınan bazı çalışmaların kötü kalitesine bağlı olmadığını gösterir. Eğer verilerin farklı analiz-ler (sabit etkianaliz-ler veya rassal etkianaliz-ler modeli) ile benzer sonuçlara gittiği gösterilirse, duyarlılığın yüksek oldu-ğu söylenebilir.
6. Çalışmaların veya bireylerin alt grupları arasında karşı-laştırma yapılmış mıdır?
Olası karıştırıcı ve etki değiştirici faktörler karşılaştır-malarda dikkate alınarak sonuçlar değerlendirilmiş midir?
e) Bulgular
1.Heterojenite testinin bulgusu nedir?
Eğer açıklanamayan heterojenite var ise, bilinmeyen yan tutmalar veya bilinmeyen etki değiştirici faktörler var olabilir. Böyle durumlarda, farklı çalışmalarda gerçek etkilerin farklı olduğu varsayımı temelindeki bir rassal etkiler modeli bulguları özetlemede kullanı-labilir.
2. Birleştirilmiş bulguların güven aralığı nedir?
Eğer tüm çalışmalar gerçekte benzer bir değeri tah-min ediyor ise, bulguların dağılım aralığının daha dar olması gerekir. Örneklem büyüklüğünün artması veya varyansın azalması ile görünüm yukarıya dara-lan bir huni şeklinde oluşacaktır. Bu “huni görünü-mü”, değerler arasındaki tutarsızlığın temel açıkla-masının rassal hata olduğunu düşündürür. Bu huni görünümünün simetrik olup olmaması da bize meta analize dahil edilen çalışmaların belirlenmesinde yayımlanmaya bağlı bir yanlılık (publication bias) olup olmadığı konusunda bilgi verir.
İki farklı huni grafiği (funnel plot) ile konuya açıklık getirecek olursak; meta analize alınan farklı çalışmalara ait sonuçların karşılaştırıldığı ilk grafikte, örnek büyük-lüğü küçük çalışmalarda tedavi veya plasebo grubu lehi-ne bulunan farkın daha büyük olduğu gözlenmektedir. Meta analize dâhil edilen çalışmaların örnek büyüklüğü arttıkça ise çalışmada tedavi veya plasebo grubu lehine saptanan farkın daha küçük olduğu gözlenmektedir.
Meta analize alınan çalışma gruplarının büyüklüğüne göre daralan fakat huninin alt ve üst ucunda da simetrik dağılım gösteren bu sonuçlar meta analize alınan çalış-maların seçiminde bir yanlılık olmadığını (tedavi lehine veya aleyhine sonuçlar elde edilen çalışmaların meta analize alınmış olduğunu) yani yayımlanmaya bağlı taraf tutma (publication bias) olmadığını gösterir.
Diğer yandan meta analize alınan çalışmaların hemen tamamında tedavi lehine sonuçların görüldüğü aşağıdaki diğer grafikte ise, tedavi aleyhine sonuçlanan çalışmaların meta analize alınmamış veya bunlara ulaşı-lamamış olunabileceğini düşündürmelidir. Bu şekildeki bir görünüm yayımlanmaya bağlı taraf tutma (fark var bulunan çalışmaların yayımlanırken, fark yok bulunan çalışmaların yayımlanmamış olabileceği gerçeğini) ola-bileceğini, bu tür çalışmalara da ulaşılması gerektiğini akla getirmelidir.
sonuçla-rının gösterildiği “forest graph” olarak tanımlanan aşağıdaki grafiği değerlendirirsek (20); tüm çalışmalar-da agomelatin grubu plasebo grubunçalışmalar-dan üstün bulun-muştur, zira 0 (sıfır) çizgisinin solunda plasebo grubu lehine sonuç bildiren herhangi bir çalışma sonucu yoktur. Burada çalışmadan elde edilen sonuçlar kare simgesi ile gösterilmiş iken, karenin solu ve sağındaki çizgiler ilgili çalışmaya ait saptanan %95 Güven Aralığı değerlerini göstermektedir. Yani ilgili çalışmada kare simgesi ile gösterilen sonucun elde edildiği çalışma grubuna benzer 100 grupta bu çalışma tekrarlanmış olsaydı, 95’inde çizginin en solundaki değer agomela-tin lehine en küçük sonuç ve çizginin en sağındaki değer ise agomelatin lehine en büyük sonuç olarak bulunacaktı. Burada dikkat çekici husus meta analize
alınmış ama yayımlanmamış bazı çalışmalarda sapta-nan çizginin en solundaki değer 0’ın solunda yani yapılacak 95 çalışmanın en az birinde plasebo lehine bir sonuç yani antidepresan tedavisinde agomelatinin plasebodan daha kötü olduğuna dair çalışma sonuçları elde edilmiş olmasıdır. Yayımlanmamış çalışmalara ait yukardan aşağı ilk 5 çalışmanın tamamında agomela-tin lehine sonuçlar bulunmakla beraber, %95 Güven Aralığı 0 değerini de içerdiğinden bu çalışmaların tamamı istatistiksel olarak anlamlı değildir. Buna kar-şılık yayımlanmamış çalışmalar grubunda sadece en alttaki 2 çalışmada agomelatin lehine olarak bulunan fark istatistiksel olarak anlamlıdır. Çünkü %95 Güven Aralığı 0 değerini içermemektedir. Bu 7 çalışmanın altında elmas (diamond) simgesi ile gösterilen sonuç
Taylor D, Sparshatt A, Varma S, Olofinjana O. Antidepressant efficacy of agomelatine: meta-analysis of published and unpublis
ise yayımlanmamış 7 çalışmanın birleştirilmiş sonucu-dur ve %95 Güven Aralığı 0 değerini içermediğinden (%95 Güven Aralığı=0.01-0.40) antidepresan tedavisin-de agomelatin grubunun plasebo grubuna göre istatis-tiksel olarak anlamlı üstün olduğunu göstermektedir. Diğer yandan alttaki yayımlanmış 5 çalışmanın sonuç-larına bakıldığında hepsinde agomelatin grubuna ait istatistiksel olarak anlamlı üstünlük bulunmuştur (tamamında %95 Güven Aralığı 0 değerini içermemek-tedir). Bu çalışmaların tamamında agomelatin lehine istatistiksel anlamlı fark bulunmuş olması bu çalışma-ların yayımlanmış olmasını da açıklayabilir. Grafikte “weight” başlığı altında da, meta analize alınan her bir çalışmanın birleştirilmiş meta analiz sonucuna verdiği katkı, başka bir ifade ile birleştirilmiş sonuçtaki ağırlığı olarak gösterilmiştir. Bu durumda grafikten çalışmalar içinde %10 ile Zajecka ve arkadaşlarının 2010 yılında gerçekleştirdiği çalışmanın meta analiz sonucuna en çok katkı veren çalışma olduğu anlaşılmaktadır. Sonuç olarak gerek yayımlanmamış 7 çalışmanın birleştiril-miş sonucunda (%95 Güven Aralığı=0.01-0.40), gerek
yayımlanmış 5 çalışmanın birleştirilmiş sonucunda (%95 Güven Aralığı=0.16-0.36), gerekse yayımlanma-mış ve yayımlanyayımlanma-mış toplam 12 çalışmanın birleştiril-miş sonucunda (%95 Güven Aralığı=0.12-0.35) anti-depresan tedavisinde agomelatinin plasebodan ista-tistiksel olarak anlamlı üstün olduğu sonucu elde edil-miştir.
Sonuç olarak; bir meta analiz yazımında çok iyi sis-tematik derleme yapılmalı, yayımlanmamış verilere mutlaka ulaşılmaya çalışılmalı, analizde çalışmalar arasındaki heterojenite etkisi dikkate alınmalı, istatis-tiksel anlamlı fark bildirmeyen yayımlanmamış kaç çalışmaya gereksinim olduğu bilgisi de meta analizde mutlaka verilmelidir. Meta analizler sonuçları birbiri ile uyumsuz, özellikle küçük gruplarda gerçekleştiril-miş araştırma konularında yön göstericidir. Ancak sonuçları kabul edilmeden önce çok dikkatli incelen-melidir. Uygulama aşamaları özenli ve dikkatli yürü-tülmemiş bir meta analizin yanlış çıkarımlara götürme adına büyük risk taşıdığı göz önünde bulundurulmalı-dır.
Kaynaklar:
1. Greenland S, O Rourke K: Meta-Analysis. Modern Epidemiology, 3rd ed. Edited by Rothman KJ, Greenland S, Lash T. Lippincott Williams and Wilkins; 2008:652.
2. Glass G. V. Primary, secondary, and meta-analysis of research. Educational Researcher 1976;5:3-8.
3. Finckh A, Tramèr MR. Primer: strengths and weaknesses of meta-analysis. Nat Clin Pract Rheumatol. 2008;4:146-52.
4. Walker, E, Hernandez AV, Kattan MW. Meta-analysis: Its strengths and limitations. Cleveland Clinic Journal of Medicine. 2008;75:431-9.
5. Ryś P, Władysiuk M, Skrzekowska-Baran I, Małecki MT. Review
articles, systematic reviews and meta-analyses: which can be trusted? Pol Arch Med Wewn. 2009;119:148-56.
6. Jain V, Sharma R, Singh S. Doing meta-analysis in research: a systematic approach. Indian J Dermatol Venereol Leprol. 2012;78:242-50.
7. Israel H, Richter RR. A guide to understanding meta-analysis. J Orthop Sports Phys Ther. 2011;41:496-504.
8. Montori VM, Swiontkowski MF, Cook DJ. Methodologic issues in systematic reviews and meta-analyses. Clin Orthop Relat Res. 2003;413:43-54.
9. Akgöz S, Ercan İ, Kan İ. Meta-analizi. Uludağ Üniversitesi Tıp Fakültesi Dergisi. 2004;30:107-12.
10. Leucht S, Kissling W, Davis JM. How to read and understand and use systematic reviews and meta-analyses. Acta Psychiatr Scand. 2009;119:443-50.
11. Freemantle N, Geddes J. Understanding and interpreting systematic reviews and meta-analyses. Part 2: meta-analyses. Evid Based Mental Health. 1998;1:102-4.
12. da Costa BR, Juni P. Systematic reviews and meta-analyses of randomized trials: principles and pitfalls. Eur Heart J. 2014;35:3336-45.
13. Mata DA, Ramos MA, Bansal N, Khan R, Guille C, Di Angelantonio E, Sen S. Prevalence of Depression and Depressive Symptoms Among Resident Physicians: A Systematic Review and Meta-analysis. JAMA. 2015;314:2373-83.
14. Eisen RB, Perera S, Banfield L, Anglin R, Minuzzi L, Samaan Z. Association between BDNF levels and suicidal behaviour: a systematic review and meta-analysis. Syst Rev. 2015;4:187.
15. Fleiss JL. The statistical basis of meta-analysis. Stat Methods Med Res. 1993;2:121-45.
16. Engels EA, Schmid CH, Terrin N, Olkin I, Lau J. Heterogeneity and statistical significance in meta-analysis: an empirical study of 125 meta-analyses. Stat Med. 2000;19:1707-28.
18. Macaskill P, Walter SD, Irwig L. A comparison of methods to detect publication bias in meta-analysis. Stat Med. 2001;20:641-54.
19. Sterne JA, Egger M. Funnel plots for detecting bias in meta-analysis: guidelines on choice of axis. J Clin Epidemiol. 2001;54:1046-55.
