Yapay Zekâ Markanızı Tanıyor Ama Önermiyor: AIVI Endeksi ve Altı Boyutlu Görünürlük Ölçümü

Pilot çalışmada altı gözlemlenebilirlik yazılımını üç farklı dil modeline sordum. Sorularda hiçbir ürünün adı geçmiyordu; "orta ölçekli bir mühendislik ekibi hangi platformu seçmeli" gibi açık uçlu sorulardı. Yani her marka adı, modelin kendi seçimiydi.

Sonuçlardan biri diğerlerinden ayrıldı. Coroot adlı ürünü üç modelin ikisi doğrudan sorulduğunda tanıdı, ne olduğunu ve kimin yaptığını doğru anlattı. Ama on sekiz açık uçlu yanıtın hiçbirinde adı geçmedi. Hiçbirinde.

Tanınmak ile önerilmek aynı şey değil

Klasik dijital görünürlük ölçümleri tek boyutludur: sıradasınız ya da değilsiniz, trafik var ya da yok. Üretken yapay zekâda ise görünürlük bir zincir. Model önce varlığınızı tanımalı, sonra sizinle ilgili bilgiyi getirmeli, sonra soruya uygun bulmalı, sonra cevaba koymaya karar vermeli. Zincirin herhangi bir halkasında kopuş olursa cevapta yoksunuz.

Coroot örneği bu zincirin ilk halkasının sağlam, sonraki halkalarının kopuk olduğu bir durumu gösteriyor. Tek sayılık bir "yapay zekâ görünürlük skoru" bu ayrımı yapamaz; size sadece düşük bir puan verir ve nedenini söylemez.

AIVI’nin altı boyutu

Bu yüzden endeksi altı ayrı ölçüye böldüm. Her biri zincirin farklı bir halkasını ölçüyor ve her biri 0 ile 1 arasında normalize ediliyor.

• Entity Recognition Rate (ERR) — model varlığınızı tanıyor mu? Zincirin ön koşulu.
• Visibility Recall (VR) — konuyla ilgili sorularda cevapta gerçekten çıkıyor musunuz?
• Citation Consistency (CC) — sizi desteklerken tekrar tekrar aynı kaynaklara mı dayanıyor?
• Recommendation Confidence (RC) — sadece anılıyor musunuz, yoksa öneriliyor musunuz? İkisi arasında büyük fark var.
• Prompt Robustness (PR) — aynı niyeti farklı cümlelerle sorduğunuzda görünürlüğünüz sabit mi?
• Cross-Model Stability (CMS) — bir modelde var olup diğerinde yok olmuyor musunuz?

Altısı ağırlıklandırılıp tek bir AIVI skoruna indirgenebiliyor. Ama makalede sabit ağırlık önermiyorum; ağırlıkların veriyle belirlenmesi gerektiğini savunuyorum. Elinizde veri yoksa başlangıç için altısına eşit ağırlık (1/6) vermek en dürüst varsayım.

Pilotun sonuçları

Dikkat çeken bir başka nokta: hepsi tanınma boyutunda tam puan alan beş üründen SigNoz’un görünürlüğü diğerlerinin yarısı kadar. Üstelik bu ortalama bir yanılsama — bir model SigNoz’u yanıtlarının üçte ikisinde anarken başka bir model hiç anmadı. Tek modelde ölçüm yapsanız tamamen yanlış sonuca varırdınız.

Sahada çıkan iki sınır durumu

Pilotun asıl değeri, çerçevenin kâğıt üstünde görünmeyen iki zayıf noktasını ortaya çıkarması oldu.

Birincisi: Prompt Robustness ve Cross-Model Stability düşük değişkenliği ödüllendirir. Hiçbir yerde görünmeyen bir marka için değişkenlik sıfırdır — yani hiç görünmeyen marka bu iki boyutta tam puan alır. Coroot tam olarak bu durumdaydı. Çerçeveye bir koşul ekledim: görünürlük sıfırsa bu iki boyut hesaplanmaz, tanımsız yazılır.

İkincisi: Citation Consistency hiçbir üründe hesaplanamadı. Çünkü modeller web erişimi olmadan çalıştırıldı ve hiçbir yanıtta kaynak yoktu. Bu, bir hata değil bir bulgu: atıf tutarlılığı yalnızca arama yapabilen kurulumlarda ölçülebilen bir boyut. Aynı markayı hem erişimli hem erişimsiz kipte ölçmek gerekiyor.

Beş katmandan altı boyuta

Daha önceki çalışmamda AIVI’yi beş katmanlı bir çerçeve olarak sunmuştum: teknik erişilebilirlik, bilgi kalitesi, makine okunabilirliği, semantik güven ve atıf otoritesi. O model, görünürlüğü etkileyen faktörleri sınıflandıran bir teşhis aracıydı — neyi düzeltmeniz gerektiğini söylüyordu.

Bu çalışma o çerçevenin devamı ve tamamlayıcısı. Beş katman girdileri tarif ediyor; altı boyut ise çıktıyı ölçüyor. Biri sitenizde ne yapmanız gerektiğini, diğeri yaptığınızın modelin cevabında karşılık bulup bulmadığını söylüyor. Aynı sorunun iki ucu: yapılacak iş listesi ve termometre.

Ne işe yarar, ne işe yaramaz

AIVI bir kalite ölçüsü değil. Yüksek skor işinizin iyi olduğunu göstermez; sadece üretken sistemlerin sizi bulup önerme olasılığının yüksek olduğunu gösterir. Zaten "üretilmiş otorite" üzerine yazdığım çalışmanın tüm noktası, bu ikisinin birbirinden kopabildiğiydi.

Pilotun sınırlarını da açık yazayım: üç model de tek sağlayıcıdan. Yani ölçtüğüm şey gerçek anlamda sağlayıcılar arası tutarlılık değil, aynı ailenin sürümleri arası tutarlılık. Tek alan, tek dil, tek gün. Kodlama güvenilirliği iki değerlendiriciyle sınandı (uyum κ = 0.87) ama ikinci değerlendirici insan değil, bir dil modeliydi. Bunların hepsi makalede yazıyor; çünkü ölçüm önerisi yapan bir çalışmanın kendi ölçümünü abartması en baştan çelişki olurdu.