İrem Aydaş & Mert Moral & Yasemin Tosun / Fikir Turu
Seçim anketleri ne kadar güvenilir? Araştırmalar ne gösteriyor?
Ülkemizde, son yıllarda sayıları oldukça artan seçim anketleri, anket metodolojisi alanında uzman araştırmacılar tarafından geliştirilen, ulusal ve uluslararası meslek birlikleri tarafından da sıklıkla altı çizilen ilke ve prosedürlere pek de uygun olmayan bir şekilde gerçekleştiriliyor.
Ek olarak, bu anketleri gerçekleştiren kurumlar ve bunları vatandaşlara iletme görevini üstlenen medya organları tarafından seçim anketlerinin doğruluk ve güvenilirliklerini değerlendirebilmek için gerekli olan bilgiler şeffaf bir şekilde paylaşılmıyor.
Bu nedenlerle, seçim anketlerinin bilimsel standartlar ışığında gerçekleştirildiklerine güvenebilmek de ne yazık ki mümkün değil.
295 seçim anketini inceleyen araştırma
Ülkemizde yapılan anketlerin verilerinin güvenilirliği ve geçerliliğini incelemek üzere, 2011 – 2019 arasındaki toplam sekiz seçim için 47 araştırma şirketi tarafından gerçekleştirilmiş, çeşitli geleneksel ve sosyal medya kanalları aracılığıyla en az iki kaynaktan teyit edebildiğimiz 295 seçim anketini inceledik.
2022 yılında kaleme aldığımız ve Pamukkale Dergisi Sosyal Bilimler Enstitüsü Dergisi’nde yayımlanan “Türkiye’de Seçim Anketlerinin Toplam Anket Hatası Perspektifinden Bir İncelemesi” başlıklı çalışmamızda, anketlerde ortaya çıkabilecek hataları asgari düzeye indirmek ve veri kalitesini azami düzeye çıkarmak için uluslararası yazında sıklıkla başvurulan “toplam anket hatası” yaklaşımından yararlandık. Aynı zamanda 295 seçim anketini CNN’in 2020 yılında yapılan Amerikan Başkanlık seçimleri öncesi belirlemiş olduğu “Şeffaflık Kriterleri” ışığında değerlendirdik.
Toplam anket hatası, hem anket çalışmalarını gerçekleştiren uzmanlara hem de anketlerin tüketicileri olan uzmanlar ve vatandaşlara yol gösterici bir yaklaşımdır. Bu yaklaşıma göre, bir anket çalışmasında ortaya çıkabilecek hatalar, temsil ve ölçüm olarak adlandırılan iki ana alanda incelenir.
Ölçüm alanı, ölçülmek istenen kavram, ölçüt (soru), cevap ve düzeltilmiş cevap öğeleri ile ilgiliyken; temsil alanı, hedef kitle, örneklem çerçevesi, örneklem, katılımcı ve anket sonrasında elde edilen verilerin tashihi kaynaklı hatalara odaklanır.
Toplam anket hatası yaklaşımı saha çalışması ilkeleri, anket sorularının ve soru cetvellerinin tasarımı ve saha çalışmasının yürütülme biçimlerine dair çeşitli kuramlara dayanır ve modern anket metodolojisinin temelini oluşturur.
Bu yaklaşımda, bir anketin temsil ve ölçüm alanlarındaki özellikleri dört ana başlık altında incelenir: kapsam, örnekleme, cevap vermeme ve ölçüm hataları. Bu başlıklardan ilk üçü bir anketin örnekleminin hedef kitleyi temsiliyeti ile ilgiliyken, ölçüm hatası genel itibariyle anket çalışmasıyla elde edilen verilerin güvenilirliği ve geçerliliğiyle ilgilidir.
Çalışmamızda ülkemizdeki seçim anketlerinden elde edilen verilerin güvenilirliği ve geçerliliği konusunda endişe verici sorunların mevcut olduğu sonucuna vardık.
Kamuoyu araştırma şirketleri şeffaf değil
Bir anketin tasarım, saha çalışması ve elde edilen verilerin tahlil edilmesi aşamalarında anket araştırmacılarının bu öğelere dair aldıkları tüm kararlar, anket hatalarını ve dolayısıyla elde edilen veriler kullanılarak yapılan çıkarımları etkiliyor.
Kamuoyu araştırmalarının toplam anket hatası yaklaşımına ne ölçüde uygun olarak gerçekleştirildiğinin anlaşılabilmesi için araştırma firmalarının saha çalışması ve sonrasındaki çeşitli aşamaları olabildiğince şeffaf bir şekilde raporlamaları gerekiyor.
Ne yazık ki, ülkemizde araştırma firmalarının ve medya organlarının şeffaflıktan uzak olmaları ve raporladıkları hata paylarından çok daha yüksek bir ölçüde yanılan tahminleri Türkiye’de seçim anketlerinin güvenilirlik ve geçerlilikleri hususunda gerek kamuoyu gerek siyasi elitler gerekse de uzmanlar için soru işaretleri oluşturuyor. Örneğin Nisan 2017 Referandumu’nda pek çok anket şirketi “evet” sonucunu gerçekleşenden çok daha yüksek tahmin etmişti. Benzer bir şekilde 2015 Kasım seçimlerinde de anket şirketleri oldukça yanıldı. Yapılan bir çalışmaya göre yayımlanan 37 anketten yalnızca beşi belirtilen hata payları içerisinde.
Bununla beraber, ülkemizde seçim anketlerinin geçerliliği ve güvenilirliği üzerine yeterli akademik araştırma yapılmıyor ve mevcut çalışmalar da pek az sayıdaki anketin raporlama pratiklerine veya tahminlerin ne ölçüde doğru olduğuna odaklanıyor. Bu noktada, toplam 295 seçim anketinin uluslararası standartlara uygunluğunu sistematik olarak değerlendirdiğimiz çalışmamız ülkemizde yapılan kamuoyu araştırmalarının güvenilirliği ve geçerliliği hakkında da kapsamlı bir perspektif sunmayı amaçlıyor.
Çalışmamızda incelediğimiz seçim anketlerine, araştırma firmalarının resmî web sayfaları, bu firmaların yahut yöneticilerinin Twitter hesapları ve internet arşivlerinin kapsamlı bir taramasıyla ulaştık. Sonuçta bir araya getirdiğimiz veri seti, Yüksek Seçim Kurulu’nun incelediğimiz seçimlerin takvimlerini resmen duyurmasından sonra gerçekleştirilmiş hemen hemen tüm “muteber” seçim anketlerini içeriyor.
Veri setimizde ortalama hata payının üzerinde oy oranları elde etmiş tüm siyasi partilerin, seçim ittifaklarının ve cumhurbaşkanı adaylarının oy oranlarına dair tahminler yer alıyor. Ki bu tahminler2011 Milletvekili Genel, 2014 İstanbul ve Ankara Büyükşehir Belediye Başkanlığı, 2014 Cumhurbaşkanlığı, Haziran 2015 Genel, Kasım 2015 Genel, Haziran 2018 Genel, Haziran 2018 Cumhurbaşkanlığı ve 2019 İstanbul ve Ankara Büyükşehir Belediye Başkanlığı ile tekrarlanan Haziran 2019 İstanbul Belediye Başkanlığı seçimleri için yapılan seçim anketlerinden geliyor.
Bilimsel standartların oldukça uzağında pratikler
CNN’in 2020 yılı Kasım ayındaki ABD başkanlık seçimleri öncesi abonelerine şeffaf ve bilimsel seçim anketlerinin sonuçlarına dayanan tahminleri sunabilmek için geliştirdiği “Şeffaflık Endeksi”nde 16 soru yer alır. Türkiye’deki seçim anketlerini değerlendirmek için bu endeksi, tüm anketlerin sıfır puan aldığı soruları dışarıda bırakarak 10 soruya indirgeyerek, ülkemize uyarladık. Bu endeksi oluşturan maddeler ise şöyle: anketi gerçekleştiren firmanın itibarı, anket yöntemi (modu), anket sponsoru, örneklem boyutu, soru formunun yayımlanmış olması, saha çalışması tarihi, ağırlıklandırma, hedef kitle, örneklem çerçevesi ve çekimi ve hata payı.
İncelediğimiz anketlerin endeks skorlarını oluşturan maddeler arasında en düşük ortalama değerler temsil alanında ve sırasıyla ağırlıklandırma, metot ve anket modu (telefon, yüz yüze, online) alanlarında. Bize göre bunun iki temel nedeni bulunuyor:
Birincisi, ülkemizdeki seçim anketlerini değerlendirebilmek için olmazsa olmaz olan bu maddelere dair gerekli bilgilerin hemen hiçbir araştırma firması ya da bunları seçmenlere aktaran medya organları tarafından yayımlanmıyor oluşu.
İkinci nedense, seçim anketlerinin bilimsel standartların oldukça uzağında olduğunu gösteren pratikler gözlemlemiş olmamız.
Örneğin, ülkemizdeki seçim anketlerinin birçoğunda anketler telefon görüşmeleri yoluyla gerçekleştiriliyor. Bu anketlerde cep telefonu ve sabit hat üzerinden gerçekleştirilen görüşmelerin oranlarının bilgisi ise hemen hiçbir raporda paylaşılmıyor. Yine, bu kaynaklarda telefon numaralarının tesadüfi olarak mı belirlendiği, bir listeden rassal bir seçim yapılıyorsa bu numaraları içeren bir örneklem çerçevesinin mevcut olup olmadığı ve bu örneklem çerçevesinin hedef kitle ile ne ölçüde örtüştüğü gibi soruların cevaplarına ulaşılamıyor.
İncelediğimiz anketlerin büyük bir bölümünde örnekleme aşamasında yaş, cinsiyet, eğitim ve hatta geçmiş seçimlerde oy verilen parti gibi kota değişkenleri ve dolayısıyla kotalı örneklemler kullanıldığını gördük. Ancak bu değişkenler ve bu değişkenlere dair istatistiklerin hangi kaynaklardan elde edildiği nadiren raporlanıyor. Sıklıkla bu tür olasılıklı olmayan (kolayda, örneğin kotalı) örneklemler kullanılmasına rağmen, ancak olasılıklı örneklemler için hesaplanabilen hata payları raporlanıyor; örneklemlerin olasılıklı olması durumunda dahi dizayn etkilerini dikkate alınmadan hata payları tüm anketlerde gerçekte olduğundan düşük şekilde raporlanıyor.
İtibar, güvenilir araştırmalar için yeterli mi?
Ülkemiz koşullarına uyarladığımız endekste yer alan diğer iki madde, seçim anketini gerçekleştiren firmanın itibarı ve anket sponsoru kategorileri, özelinde incelediğimiz seçim anketleri görece yüksek skorlar elde ediyor. Bunun en önemli sebebi, anketleri gerçekleştiren araştırma firmalarının önemli bir kısmının uzun yıllardır faaliyet gösteren ve çeşitli uluslararası ve ulusal meslek birliklerine üye kuruluşlar olması.
Öte yandan, araştırma firmasının itibarı tek başına bir seçim anketinin güvenilirliğini değerlendirmek için yeterli değil. Her bir seçim anketi için ayrı ayrı hesapladığımız endeks skorları oldukça yüksek bir varyans gösteriyor ve tecrübe ve tanınırlığı görece yüksek olan araştırma firmaları tarafından gerçekleştirilen seçim anketleri dahi diğerler anket firmalarına nazaran kayda değer bir fark ortaya koyamıyor.
Seçim tarihine yakın anketler daha başarılı
Son olarak, çalışmanın seçim anketlerinin tahminlerinin ve seçim sonuçlarını karşılaştırdığımız bölümünde, seçim tarihine daha yakın gerçekleştirilen anketlerin seçim tahminlerinin görece daha başarılı oldukları görülüyor.
Ayrıca, 2018 genel seçimleri ile 2019 yılında yapılan yerel seçimlerde isabetli tahminlerde bulunan anketlerin sayılarının artış göstermesi ve bu anketlerin genellikle daha yüksek endeks skorları elde etmiş olmalarını ülkemizdeki seçim anketleri adına olumlu bir gelişme olarak değerlendiriyoruz.
Genel itibariyleyse, seçim anketlerinin raporlanan veya bizim hesapladığımız hata paylarından daha yüksek olan ortalama mutlak hataları ülkemizdeki seçim anketlerinin seçim sonuçlarını tahmin etmede pek başarılı olmadıklarını gösteriyor.
Özetle, ülkemizde gerçekleştirilen seçim anketlerinin gerek Türkiye Araştırmacılar Derneği (TÜAD) gerekse de uluslararası meslek birlikleri tarafından sık sık altı çizilen kuram, ilke ve prosedürlere pek riayet etmiyor oluşu, anket metodolojisi alanında dünyadaki gelişmeleri yakından takip etmemeleri ve bu anketlerin örneklem seçimi, saha çalışması ve raporlama süreçlerinin şeffaf bir şekilde paylaşılmıyor oluşu, seçim anketlerinin güvenilirlik ve geçerliliğini oldukça zedeliyor.
Hangi anketler güvenilir?
Türkiye’de 2011-2019 yılları arasında seçim anketlerini gerçekleştiren araştırma firmalarının sayısında da önemli bir artış olduğu gözlemleniyor. Ancak bu artışa rağmen bu çalışmaların güvenilirliklerini inceleyen bir kuruluş yok. ABD’de FiveThirtyEight (538) gibi seçim anketlerinin metodolojilerinin ve tahminlerinin (yahut örneklemlerinin) güvenilirliklerini inceleyen pek çok kuruluş mevcut.
Uluslararası Sosyal Saha Çalışmaları Programı (International Social Survey Program, ISSP), Dünya Değerler Araştırması (World Values Survey, WVS) ve Karşılaştırmalı Seçim Sistemleri Çalışması (Comparative Study of Electoral Systems, CSES) kapsamında ülkemizde gerçekleştirilen anketler, bilimsel standartlara uygun çalışmaların başında geliyor.
Bu çalışmaların örneklem çerçeveleri hedef kitle ile örtüşen Adrese Dayalı Nüfus Kayıt İstatistikleri. İncelediğimiz anketlerin pek çoğunun aksine bu çalışmalar olasılıklı örneklemler kullanıyor, anketler yüz yüze (sokakta değil hanede) gerçekleştiriliyor. Ayrıca tasarım raporları sponsor, ağırlıklandırma değişkenleri ve bunların kaynakları, görüşme doğrulama araçları, anket soru formu gibi bir anketi değerlendirebilmek için gerekli bilgileri içeriyor.