TESEV ARAŞTIRMASI ELEŞTİRİSİ 1

VERSO Siyasal Araştırmalar Merkezi

KASIM 2006
“Değişen Türkiye’de Din, Toplum ve Siyaset”
TESEV RAPORU ANALİZİ

Prof. Dr. Veysel Batmaz

Araştırma Kapsamı ve Örneklem Dağılımında Kusurlar:

Rapor, en baştan, “23 İlde gerçekleştirilen görüşmelerin yapılacağı mahallelerin, araştırmacılar tarafından belirlenmiş” (s: 3) olmasıyla yanlı (biased) olduğunu ikrar ediyor. Böylece, araştırmanın tesadüfiliği tümüyle bozulduğundan, daha sonraki kota tesadüfilikleri (bunlar belirtilmemiş) ve dolayısıyla, istatistikî anlamlılık (temsiliyet ve büyüklüklerinin genellenebilir anlamında olup olmadığı) bu araştırmacılar tarafından seçilmiş olan mahallelerin niteliklerine örtük olarak ortaya çıkıyor. Araştırmacılar bu mahallelerin adlarını ve seçim ölçütlerini de Rapor’da belirtmiyorlar.

Araştıramanın yapılış tarihi epey eski: 6 Mayıs-11 Haziran 2006. Ayrıca, anket uygulanma süresi de uzun. Anketin bu iki niteliği akla hemen iki önemli aksaklık getiriyor: Birincisi, kamuyla paylaşmak için neden bu kadar beklendiği sorusu; ikinci olarak da, uzun süren alan anketlerinde, konjektürel olarak her ilde ilk uygulanan anket öbekleri ile sürenin sonunda uygulananlar arasında geçen süreden doğan eskimişlikten kaynaklanan bir “içsel güvensizlik” (“wearing out of historical internal reliability”) sorunu ortaya çıkıyor; bu durumun, sonuçlardaki hata paylarını hesap ederken elde bulundurulması gerekiyor.

Proje fonunun TESEV kaynaklarından karşılanmış olması ise genellikle bazı şeyleri örter bir hissi oluşturuyor. Çünkü Vakıf niteliğindeki think-tank’lar, genellikle kendi finansal kazanç kaynakları olmayan; bağış ve proje desteği ile çalışan kurumlar.

İstatistiki bölge birimlerini gösteren haritanın ise, 2002 ve 2004 yıllarında AKP’nin oy oranlarının yüksek olduğu illeri kapsaması düşündürücü:











Solda 2004 YEREL SEÇİM: (Yeşil AKP;Kırmızı CHP;Mavi MHP;Mor SHP-HADEP) Sağda, 2002 Genel Seçim


2006 TESEV ÖRNEKLEMİ: (Renkler bölgeleri gösteriyor; kentteki sayılar ise oradan seçilmiş örneklem sayılarıdır. Rapor, s: 4)


Toplam 1211 Anket (Haritada bulunan); 1492 Anket (Uygulandığı söylenen) (Lütfen, Tablo toplamı ile haritadaki sayıları karşılaştırın.)

Bu tabloya baktığımızda ise (Kaynak: TÜİK ve Resmi Gazete; Tablo ve Tablodaki oranlar Veysel Batmaz tarafından hazırlanmıştır), TESEV örneklemi, hem siyasal dağılım, hem de nüfusa göre anlamlı büyüklük oranlarından sapılmış görünüyor. (Bu, “Anket/Nüfus” veya “Anket/Seçmen” hizasındaki sayının son üç hanesi ne kadar küçükse, o il o kadar az temsil ediliyor demektir.) Bu tabloyu kayıtlı seçmen nüfusu ile de yapabiliriz. Çünkü, anketler 18 yaş üstüne uygulanmışlar. Bu durumda da aynı oransızlıklara varıyoruz (Bkz: Tablodaki en son sütun).

Ayrıca TESEV örneklem haritasında (s: 4) anket sayısı 1211 iken; yine TESEV’in bildirdiğine göre görüşülen kişi (anket) sayısı 1492 (s: 3). Bu tutarsızlık da, sonuçların güvenilirliği açısından önemli.

Analiz Kusurları

Örneklemin bağımsız değişken dağılımında ise, fiziki bir dağılım temsiliyeti görülse de, sosyo-politik ve ekonomik değişkenlerde, Türkiye’yi temsil etmeme sorunları görülmektedir (s: 6). Sol/sağ tanımının nasıl yapıldığı belirsiz ise de, kendini tanımdan yola çıkıldığı düşünülürse, Türkiye’de parti bağı dışında bulunacak bir dağılım, siyasal sol/sağ dağılımıyla örtüşmemektedir. Laik/İslam/Dindarlık arasında “ortada” olmanın tanımı ise çok zor yapılan bir tanım olsa gerektir. Örneklemin % 73’ü kendine dindar demiştir; ancak İslamcı diyenlerin oranı % 48’dir. Bu durumda, İslamcı ne demektir, dinci mi demektir; ya da İslamcı ile dindarlık arasında ne gibi opreasyonel tanım farkları vardır gibi sorular yanıtsız kalacaktır. Bu demektir ki, örneklemin sosyo-politik-ekonomik dağılımında kategorizasyon belirsizlikleri vardır. Bu da yorumlamayı bazı tablolarda güçleştirmektedir.

İslamcı/Laik, süreli ölçülebilecek bir boyut mudur; yoksa birbirinden bağımsız kategorik kümeler midir? Araştırma, bu durumu bir boyut varsaymıştır. Bu da tartışılabilir bir durumdur (s: 7). İnsan az laik, orta İslamcı vs. gibi terimlerle kendini tanmlayabilir ancak nesnel olarak böyle olmak olanaksızdır. Çünkü, “çok İslam” “hiç laikliği” içerir; “çok laiklik” de, “hiç İslam’ı.” Ayrıca, İslam dini bir doktrin olarak, bir bütündür; örneğin dinsel farzları yerine getirmeyen günahkâr olarak nitelenir ve bu anlamda, tam İslamcılar tarafından “zındık” olarak bu dünyada cezalandırılır ve İslam olarak görülmez. Bu nedenle, “orta İslamcı” ya da “yarım İslamcı”, ifade edilse bile, olgusal olarak olunamaz.

Sayfa 11’deki tablo ise kafa karıştırıcıdır. Aslında bu grafik olarak değil de, sayısal çapraz tablo olarak verilseydi, daha anlaşılır olacaktı. Araştırmacılar, zaten analizin genelinde çapraz tablolaştırma yapmaya fazla zaman ayırmamışlar, ayırdıklarında ise, bunu görsel olarak karışık şekilde vermeyi tercih etmişler ve en önemlisi de hep (mal-gelir değişkeni hariç) bağımlı değişkenlerle çapraz tablolama yapmışlardır (S: 44’e kadar). Bu tür bağımlı değişkenlerle yapılan çapraz tablolamalar genellikle, hangi değişkenin öncel ve bağımsız olacağı bilinemeyeceği için nedensellik vermez ve bu nedenle de yorumlanmaları çok belirsizdir; ya da yoruma açıktır.

Sayfa 44’den sonraki tablolamalar ise bağımsız değişken ile bağımlı değişken arası çapraz tablolamalar verilmiş fakat bunların arasında belli bir Gamma (nonmetric) korelasyonu yapılarak, bu çeşitli bağımsız değişkenlerin, yanıt üzerindeki açıklayıcılık ağırlığı verilmemiştir. Bu yapılsaydı, belki de durumu daha iyi saptayabilecektik. Çünkü anlamlılık testleri (test of significance) olmaksızın verilen tabloların, eğer bulunan oranlar arasındaki fark az ise, genellenebilir olduğu kuşkuludur.

Sayfa 38’deki oranların ise hangi tabana göre verildiği belli değildir. Üç rengi topladığınız zaman 100’ü aşmaktadır.

Buraya kadar örneklem seçimi, istatistik kullanımı (testleri) ve tablolaştırma olarak incelediğimiz araştırmayı, şimdi, soru kağıdı (anket) üzerinden değerlendirelim (Bu incelemeyi pdf dosyasında tablo başlıklarında yer alan soruları sorulmuş varsayarak yapıyoruz. Her tabloyu değil, çok sorunlu bulduğumuz tabloları sadece örnek olarak inceliyoruz. Bu tür bir incelemenin soru sırasını da kapsayıcı daha ayrıntılı incelemesi yapılabilir.):

Demografik olmayan ilk soru “Türkiye’de İslamcı ve Laiklerden bahsedildiğini sık sık duyuyoruz... Siz kendinizi bu cetvelin neresine yerleştirirdiniz?” Bu tür soru şekli, önyargı oluşturan soru şeklidir. “Cetvel” ya da “skala” sıralaması, genellikle bir boyut olarak düşünülen değişkenlere uygulamak için geliştirilen Likert Ölçeği gibi ölçeklerin kullanılmasıyla daha yerinde olurdu. Bu cetvelde, hem nümerik (metrik) bir ağırlık hissi uyandırarak, hem de metrik olmayan bir değişkeni (Laik-İslamcı boyutu) skala şeklinde ölçmek, yanıtlardaki önyargıyı arttırır. Örneğin, bu cetvelde 2 laiklik ile 8 İslamcı arasında ne kadar eşit uzaklık vardır? Bu nedenle zaten ortalamaya yığılma olacaktır. Nitekim % 23 çıkan 5 noktası, büyük bir ihtimalle kararsız veya Fikri Yok’ları kapsamaktadır. Ya da bu cetveli şöyle sorgulamak da mümkündür. Az laik (2); çok İslamcı (9) olmak mümkünse, 9’a veya 2’ye işaretlenen kişinin “laiklik” ile “islamcı” tanımı nedir?

Sayfa 9’daki tablo ise, bu ilk sorunun doğru olarak sorulmuş biçimidir: “Dindar mısınız?” şeklinde bir sorudur bu. Cevaplar ise, bir önceki (ilk) soruya verilen cevaplarla çelişkilidir. Bu iki tabloyu tek sayısal bir tabloda görelim (Laik-İslamcı cetvelindeki yüzdeler tek haneli alınmıştır, hesaplama yapılırken Rapordaki tablo yüzdeleri kullanılmıştır.):

Şimdi bu iki yüzde dağılımından mantıksal sonuçlar çıkartmaya çalışalım: Tam laik ile hiç dindar değilim aynı kategori(ise), aralarında yüksek fark vardır: %1-2,7 ve 8,5. Eğer, “pek dindar değilim” ile “hiç dindar değilim”, “tam laiklikse” (cetvelin 1 ve 2’sindeyse), o zaman da her iki tablodaki dağılm, araştırmanın hata payı kadar bir fark içermektedir: % 1,0+3,6=4,6 ve 2,7+9,4=12,1 ile 8,5+2,6=11,1. Burada dikkat edilmesi gereken nokta, 1999’da 12,1 olan yüzde, 2006’da bir tabloda, 4,6; diğerinde ise 11,1 olmasıdır. Yani, tablolar arasında ifadelerin öbekleştirilmesinde bir tutarsızlık vardır. Denecektir ki, “dindar” olmamakla, “laik” olmak arasında ilişki yoktur; ya da, insan “tam İslamcı” ama “tam da laik” olabilir. Eğer durum bu kadar tanımsız ve genelse, araştırma yaparak bazı dağılımları bulmak da, o kadar imkânsız ve gereksiz hale gelir. Birinci tablodaki “Dindar sayılırım” ifadesi ile Laik-İslamcı cetvelindeki 3-4-5 veya 6 öbeklerinde genel bir tutarlılıktan söz edilebilir: 1999’da bu oran % 55 iken, 2006’da % 33’e düşmekte ve Laik-İslamcı cetvelinin 3-4-5 öbeklerinin toplamı da 2006’da % 29 veya % 38 yapmaktadır. Arada her iki durumda % 4-5 bir fark varsa da, bunu makul karşılamak, sosyal ölçümlerde olasıdır. Ancak, birinci tablodaki “oldukça dindarım” ile “çok dindarım” dağılımları ile, Laik-İslam cetvelindeki dağılımlar yine derin sapmalar göstermektedir. Yani, aslında bu incelemeden kestirme olarak şu sonuç çıkar: Laik-İslamcı olmak bir boyut değildir; bu tür boyut olmayan değişkenleri nümerik-metrik ölçümlerle boyut gibi ölçtüğünüzde, orta değerde (skala buradaki gibi 10 üzerindense, 4-5,6) bir toplanma gözükür. Nitekim, Raporda sayfa 15’deki tabloda, zaten araştırmacılar da işin içinden çıkamamış olacaklar ki, Laik-İslamcı cetvelini üç kategoriye indirgeyerek, Laik, Orta, İslamcı demişlerdir. Ancak buradaki öbekleştirmenin skalanın hangi sayıları ile yapıldığı tarafımızdan bilinememekle birlikte, Laik olarak adlandırılanların % 80’i, “Türkiye’de din temelinde politika yapan parti olmamalı” demişlerdir. Bu da, Laiklik ile İslamcılıkın tek bir boyutta incelenemeyeceğini gösteren ampirik bir kanıttır.

Soruların kategorizazyonu ve skalalaştırılması ile ilgili sorunlar, araştırmanın her tablosunda şu veya bu biçimde vardır: Örneğin, sayfa 19’daki, “Türkiye’de şeriata dayalı bir din devleti kurulmasını ister miydiniz?” sorusuna, 1995-2006 yılları arasında tutarlı olarak % 10 ile % 20 arasında “fikrim yok” veya “cevap yok” diyenlerin bu oranı, kendilerinin islamcılığı veya dindarlığı sorulduğunda cevap yok diyenlerin ortalama % 7’lik oranını bir hayli geçmektedir. Anca, “Kasım 2006 TESEV” araştırmasında bu soruya verilen % 15 “cevap yok-fikri yok” kategorisi, yukarıdaki Tablo 1 ve Tablo 2’de, sırasıyla % 2,3 ve % 7 oranlarıyla büyük oranda çelişmektedir. Bu çelişki, soruların ya keyfe keder cevaplandığı ya da sıralama önyargısı (yönlendirme) oluşturduğu şeklinde yorumlanabilir.

Sayfa 21’deki tablo ise incelemeye ayrıca değer bir tablodur. Burada, Türkiye’de şeriata dayalı bir din devleti kurulmasını ister miydiniz?” sorusu, Laik-İslam boyutu (Laik-Orta-İslam olarak üçe ayrılmış biçimde) ile çapraz tablo olarak verilmiştir.



Her şeyden önce dikkat edilmesi gereken husus, “Genel” ile Üçlü kategorinin ortalaması birbirlerini tutmamaktadır. Bu araştırmanın genel yanlışlığından değil, bilemediğimiz başka nedenlerle de (örneğin “missing value”) olabilir ancak, eğer bu nedenler araştırmacılarca biliniyorsa, tabloda belirtilmeliydi.

Tabloya göre İslamcıların % 68’i din devleti kurulmasını istememektedir. Laiklerin % 1’i ise bir din devleti istemektedir. Ortadakilerde ise din devleti isteği % 6’ya çıkmaktadır. Bu durumda bu tablo nasıl yorumlanabilir? Ya da yorumlanabilir mi? Laiklik şeriat istemek midir? Buradaki yüzdenin düşüklüğüne kimse aldanmamalıdır. Eğer bir veri kodlama hatası ise, bu zaten 6 aydır süren bir analiz sürecinde görülüp düzeltilmeliydi. Eğer gerçek bir yüzde ise, bu oran, araştırma hata payına göre % + 3,5 da olabilir. Laiklerin bu konuda cevap vermeyenleri de bu kategoriye eklediğimizde çıplak % 8, hata paylı olarak ise % 10’luk bir oran görülmektedir. Yani, hatasıyla sevabıyla, Türkiye’de kendine Laik diyenlerin önemli bir miktarı Türkiye’de şeriat devleti kurulmasını istediklerini ifade etmişlerdir. Bu oran % 1 bile olsa, önemlidir. Laiklik din işleri ile devlet işlerinin ayrılması, şeriat ise birleştirilmesi demektir. Yani cevapsız ve fikri yok laikçilerle birlikte, kafası karışık olup da şeriat devleti isteyen laikçiler de “farklılıklarımızdan” biri olmaktadır bu araştırmaya göre. Laiklerin toplamı 100 etmediğine göre (99 ediyor), bu sayı % 2 de olabilir tabloya göre. Sayfa 22’deki Partilere göre bu sorunun çapraz tablosu ise, evlere şenliktir. CHP’ye oy verenlerin % 7’si “Türkiye’de bir şeriat devleti kurulsun” demektedir. Ancak tabloda, CHP’ye isabet eden % 7 rakamı yanlışlıkla oraya konmuş olabilir. Fakat, eğer çizgi değerine bakarsak, yine de en az % 3-4 kadar şeriat yanlısı CHP’li bulunmaktadır Türkiye’de. Bu oran merkez sağda da, % 5-7 arasındadır. Yani, şeriatı istemek, Türkiye’de bir parti bağımlılığı veya ideolojik tercih olmaktan çıkmaktadır. Eğer gerçek buysa durum vahimdir ama eğer tablo yanlışsa bu araştırma daha vahimdir.

Sayfa 36’daki tablo ise bizat araştırmacılar tarafından yıllar itibariyle soru şekli açısından karşılaştırılamayacak iki değeri karşılaştırmakta ve Türkiye’de dindar insanlara baskı yapılıyor mu yanıtının “evet, yapılıyor” kategorisindeki 2002-2006 düşüşü (2002’de % 40; 2006’da % 17) bu nedenle oluşmaktadır.

Demokratik Değerleri ölçen soruların tabloları ise, hem bir boyut olarak aynı skalada sıralanamayacak olguları içerdiğinden, hem de iki bağımlı değişken arasındaki ilişkiyi anlamaya çalıştığından, tablo olarak yorumlanmalarında bir gerek yoktur. Tablolardaki her kategori, tek başına bir anlam ifade ediyorsa, ediyordur.

Tabloların tamamını bu incelememizde kapsamadık. Sadece yukarıdaki bazı örnekleri vermekle yetindik. Genel olarak soruların soruluş şekilleri, bu soruların kategorikleştirilmesi ve kullanılan ölçeklerin (skalaların) çeşililiği, sanki bu araştırmanın tek bir örneklemde değil de, birden fazla benzer sayıda değişik örneklemlerde, değişik araştırmacılarca uygulandığı ve yapıldığı izlenimi vermektedir. Tabloların sunum biçimleri bile, farklı farklıdır. Eğer farklı örneklemlerde uygulanmışlarsa, bu araştırmanın hiç bir zaman Türkiye genelini temsil etmeyeceğini göstermektedir. Araştırmanın alan (anket) uygulamasının uzunluğu (1 ay) ve analiz süresinin 6 ay olması da bu düşüncemize bir karine oluşturmaktadır. Tablolarda sayısal tutasızlıklar da bu nedenle olabilir.

Sonuç

Özetle, gerek örneklem seçimi, gerekse değişkenlerin operasyonel tanımlarının sadece “ifade” olması ve gerekse de tablolaştırmalardaki tutarsızlıklar (istatistikî analiz), bu araştırmayı Türkiye’ye genellenebilir olmaktan (bazı tablolar hariç) uzakta tutmaktadır.

Türkiye’de nüfusun mekana dağılımı, diğer başka bağımsız (demografik) değişkenlere göre orantılı (görece homojen) olmadığı için, Türkiye genelinde zaten temsili sonuçlar bulmak fizik olarak imkânsızdır. Bu araştırmada ise, zaten hem örneklem seçiminde AKP tandanslı illere ağırlık verilmesi, hem de en önemli örneklem kategorisi olan mahallelerin araştırmacılarca, Raporda belirtilmeyen biçimde ölçütsüz ve keyfî olarak seçilmesi, araştırma bulgularını, ne noktasal (single shot), ne de zamansal (longitudinal; çünkü 2006 verileri 1999’la karşılaştırılmış) olarak Türkiye toplam nüfusuna genellenemeyeceğini göstermektedir.


Bu araştırma da, TESEV’in başka araştırmaları gibi, belli bir konjektüre girdi sağlamak ve bir anlamda önce ve örtük olarak manipülasyon yapmak için medyaya sunulmuş olabilir. Araştırmanın beş ay sonra kamuya açılması da buna karine olarak görülebilir. Medyanın bu araştırmayı, sanki burada incelediğimiz tür analiz, güvenirlilik ve geçerlilik sorunları yokmuş gibi sunması ve nesnel “olgu” gibi tartışması ise, Türk medyasının acizliğini ve bilgisizliğini göstermektedir.

Prof. Dr. Veysel Batmaz
27 Kasım 2006