Dil modelleri, emin olmadıkları konularda bile akıcı, kendinden emin ve ikna edici metinler üretebilir. Bu duruma genellikle "halüsinasyon" ya da daha sade bir ifadeyle uydurma denir. Gündelik bir metinde uydurma bir cümle can sıkıcıdır; sigorta yazışmasında ise müşteriye yanlış teminat bilgisi verilmesi, olmayan bir belge talebinde bulunulması ya da yanlış bir tarih iletilmesi anlamına gelebilir. Üstelik uydurma bilgi çoğu zaman metnin geri kalanı kadar doğal göründüğü için gözden kaçar. Bu yazıda sigorta yazışmalarında karşılaşılabilecek uydurma türlerini, bunları yakalamak için kullanılabilecek pratik kontrol yöntemlerini ve ekip içinde bu kontrolü alışkanlık haline getirmenin yollarını ele alıyoruz.
Uydurma neden olur?
Dil modelleri bir bilgi veritabanı gibi çalışmaz; bir metnin devamında en olası kelimeleri üretir. Bu yöntem dili son derece doğal kılar ama doğruluğu garanti etmez. Model, eğitim verisinde sık görülen kalıpları birleştirerek kulağa doğru gelen ama gerçekte var olmayan bir bilgi üretebilir. Özellikle sayılar, tarihler, mevzuat atıfları ve kurum adları bu riske en açık alanlardır. Bir modele bilgi sorulduğunda "bilmiyorum" demek yerine makul görünen bir cevap üretmesi, bu yapının doğal bir sonucudur.
Sigorta yazışmalarında tipik uydurma türleri
Uydurma rakamlar
Prim tutarı, muafiyet oranı, teminat limiti veya süre gibi sayısal bilgiler. Model bir örnek metin yazarken bu değerleri "örnek olsun diye" doldurabilir ve çalışan fark etmeden metni gönderebilir.
Uydurma mevzuat atıfları
"İlgili yönetmeliğin şu maddesi uyarınca" gibi ifadeler, gerçekte var olmayan bir madde numarası veya yanlış bir düzenlemeye atıf içerebilir. Bu tür ifadeler metne resmi bir hava kattığı için daha da ikna edicidir.
Uydurma süreç adımları
"Hasar ihbarınızı 24 saat içinde şu forma yapmanız gerekir" gibi süreç tarifleri, sigorta şirketinin gerçek prosedürüyle uyuşmayabilir.
Branş karışıklığı
Model trafik, kasko ve DASK'ı tek bir "araç ve konut sigortası" kavramında birleştirebilir ya da bir branşa ait kuralı diğerine uygulayabilir. Örneğin DASK için araç bilgisi isteyen ya da trafik sigortası için konut adresini öne çıkaran bir metin, bu karışıklığın işaretidir.
Uydurma kişisel ayrıntı
Müşteriye hitap eden bir taslakta model, istemde olmayan bir detayı ekleyebilir: "Geçen yıl yaptığımız görüşmede belirttiğiniz gibi" gibi. Böyle bir görüşme hiç yapılmamış olabilir.
Uydurmayı yakalamak için kontrol yöntemleri
1. Somut bilgi taraması
Metindeki her sayı, tarih, kurum adı, belge adı ve atıf işaretlenir. Bu ögelerin her biri için tek bir soru sorulur: Bu bilgi istemde var mıydı veya müşteri kaydından mı geldi? Cevap hayırsa, bilgi ya çıkarılır ya da güvenilir kaynaktan doğrulanır.
2. Kaynak eşleştirme
Teminat ve şart bilgisi içeren cümleler, poliçe metni veya sigorta şirketinin resmi dokümanıyla karşılaştırılır. Eşleşmeyen cümle, ne kadar doğru görünürse görünsün metinden çıkarılır.
3. Branş kontrolü
Metnin tek bir branşa ait olup olmadığı, başka bir branşın kavramlarını içerip içermediği kontrol edilir. Trafik, kasko ve DASK'ın ayrı sorgu ve teklif akışları olduğu, yazışmada da korunmalıdır.
4. Bağlam kontrolü
Metinde müşteriyle ilgili geçmişe dair bir ifade varsa, bu ifade müşteri kaydındaki notlarla karşılaştırılır. Kayıtta karşılığı olmayan her geçmiş atfı çıkarılır.
Uydurmayı baştan azaltmak
Kontrol kadar önemli olan, uydurma ihtimalini istem aşamasında düşürmektir:
- Asistandan bilgi istemek yerine, bilgiyi istemde vermek ve yalnızca dili düzenlemesini istemek.
- "Sayı, tarih, kurum adı veya mevzuat atfı ekleme" talimatını istemin standart parçası yapmak.
- "Emin olmadığın bilgiyi yazma, yerine köşeli parantez içinde boş alan bırak" demek. Böylece çalışan neyin eksik olduğunu açıkça görür.
- Uzun metinler yerine kısa taslaklar istemek; kısa metinde kontrol daha kolaydır.
Ekip alışkanlığı haline getirmek
Uydurmaları yakalamak bireysel dikkatle başlar ama ekip pratiğiyle kalıcı olur. Birkaç öneri:
- Yakalanan uydurmaları anonim olarak paylaşmak için basit bir ortak liste tutun. Gerçek örnekler, soyut uyarılardan çok daha öğreticidir.
- Yeni çalışan eğitimlerinde bu listeden örneklerle kısa bir alıştırma yapın.
- Müşteriye giden metinlerde somut bilgi taramasını kontrol listesinin zorunlu maddesi yapın.
- Bir uydurma müşteriye ulaşmışsa, düzeltme yazışmasının nasıl yapılacağını önceden tanımlayın.
Güvenilir kaynak olarak kayıt sistemi
Uydurmayı yakalamanın her yöntemi, karşılaştırma yapılacak güvenilir bir kaynağa ihtiyaç duyar. Müşteri geçmişi, poliçe bitiş tarihleri ve teklif kayıtları dağınık durduğunda, bir metnin doğru olup olmadığını anlamak için dakikalarca arama yapmak gerekir. Bu kaynağın tek yerde olması kontrolü pratik hale getirir. InsureHub'da müşteri kayıtları, teklif geçmişi ve poliçe takibi aynı yapıdadır; trafik, kasko ve DASK teklifleri kendi akışlarında üretilir ve PDF teklif formuna dönüştürülebilir. Yazıda anlatılan kontrol yöntemleri ise yazılımdan bağımsız, her acentenin kendi iş disiplinine ait önerilerdir. Kayıt yapısını acente CRM sayfasında görebilirsiniz.
Müşteriye ulaşmış bir uydurmayı düzeltmek
Tüm önlemlere rağmen hatalı bir bilgi müşteriye ulaşabilir. Bu durumda hızlı, açık ve kısa bir düzeltme mesajı gönderilmeli, gerekirse müşteri telefonla aranmalıdır. Düzeltmenin ardından hatanın nasıl gözden kaçtığı ekip içinde konuşulmalı ve kontrol listesine yeni bir madde eklenmesi gerekip gerekmediği değerlendirilmelidir.
Son söz
Uydurma, dil modellerinin bir arızası değil, çalışma biçiminin doğal sonucudur. Bu nedenle çözüm aracı terk etmek değil, onu doğru yerde kullanmak ve çıktıyı güvenilir kaynakla karşılaştırmaktır. Sayıları, atıfları, süreç adımlarını ve branş bilgisini işaretleyip doğrulayan bir ekip, yapay zekadan zaman kazanırken itibarını riske atmaz. Altyapınızı değerlendirmek için demo talebinde bulunabilirsiniz.