Bir yapay zeka aracını acentede kullanmaya başladığınızda ilk haftalar genellikle dikkatle geçer. Çıktılar okunur, hatalar yakalanır, istemler iyileştirilir. Birkaç ay sonra ise araç günlük rutinin parçası haline gelir ve kontrol gevşer. Tam da bu dönemde kalite sessizce değişebilir: Araç sağlayıcısı modeli güncelleyebilir, gelen taleplerin türü değişebilir, ekipte yeni çalışanlar istemleri farklı kullanmaya başlayabilir. Bu değişimler tek tek fark edilmeyecek kadar küçüktür ama birikerek ciddi bir kalite düşüşüne yol açabilir. Bu yazıda yapay zeka çıktılarının kalitesini zaman içinde izlemek için acentelerin uygulayabileceği sade bir yöntemi ele alıyoruz. Bu yöntem pilot aşamasından sonrası, yani aracın düzenli kullanımda olduğu dönem içindir.
Kalite neden zamanla değişir?
Model değişiklikleri
Dış bir yapay zeka hizmeti kullanıyorsanız, sağlayıcı modeli sizin haberiniz olmadan güncelleyebilir. Yeni model genel olarak daha iyi olsa bile, sizin istemlerinize farklı tepki verebilir; örneğin daha uzun metinler üretebilir veya talimatlardaki sınırlara daha gevşek uyabilir.
Girdi değişiklikleri
Acenteye gelen talepler mevsime, kampanyalara ve dış olaylara göre değişir. Yenileme dönemleri, bölgesel bir afet sonrası DASK yoğunluğu ya da yeni bir ürünün tanıtımı, aracın daha önce az gördüğü türde girdilerle karşılaşmasına neden olur.
Kullanım değişiklikleri
Zamanla çalışanlar istemleri kısaltır, kütüphanedeki şablonlar yerine kendi ifadelerini kullanır veya aracı başlangıçta düşünülmemiş işler için denemeye başlar. Bu doğal bir süreçtir ama kaliteyi etkiler.
İzleme yönteminin üç parçası
1. Düzenli örnekleme
Tüm çıktıları ayrıntılı incelemek sürdürülebilir değildir. Bunun yerine her hafta belirli sayıda çıktı rastgele seçilir ve ayrıntılı olarak değerlendirilir. Örnek sayısı acentenin büyüklüğüne göre belirlenir; önemli olan düzenli olmasıdır. Rastgele seçim, yalnızca sorun çıkan çıktılara bakmanın yaratacağı yanıltıcı tabloyu önler.
2. Sabit değerlendirme ölçütleri
Seçilen her çıktı aynı ölçütlerle değerlendirilir. Örnek bir ölçüt seti:
- Talimattaki sınırlara uyuldu mu? (Prim, şirket adı, teminat taahhüdü yok mu?)
- Somut bilgiler doğru mu, uydurma bir ifade var mı?
- Branş bilgisi doğru mu; trafik, kasko ve DASK karışmış mı?
- Uzunluk ve ton beklenen düzeyde mi?
- Çıktı az düzeltmeyle kullanılabilir mi?
Her ölçüt için basit bir evet/hayır işareti yeterlidir. Ölçütlerin sabit kalması, haftalar arası karşılaştırmayı mümkün kılar.
3. Hata kaydı
Günlük kullanımda fark edilen her önemli hata, kısa bir kayıtla not edilir: tarih, iş türü, hatanın türü ve nasıl fark edildiği. Bu kayıt kişisel veri içermemelidir. Hata kaydı, örneklemenin yakalayamadığı nadir ama ciddi sorunları görünür kılar.
Uyarı işaretleri
Aşağıdaki durumlardan biri görüldüğünde daha yakından inceleme yapılmalıdır:
- Haftalık örneklemede belirli bir ölçütten kalan çıktıların belirgin şekilde artması.
- Aynı türde hatanın kısa sürede birkaç kez kaydedilmesi.
- Çalışanların aracı kullanmayı bırakmaya başlaması veya çıktıları baştan yazdığını belirtmesi.
- Sağlayıcının model güncellemesi duyurması.
- Yeni bir iş türünde aracın kullanılmaya başlanması.
Bir sorun tespit edildiğinde
- Kapsamı belirleyin: Sorun tüm çıktılarda mı, belirli bir iş türünde mi?
- Nedeni ayırın: Model mi değişti, girdi mi, kullanım mı? Aynı istemi eski bir örnekle yeniden denemek bu ayrımı yapmaya yardımcı olur.
- Geçici önlem alın: Gerekirse ilgili iş türünde aracın kullanımını durdurun veya kontrol adımını sıkılaştırın.
- Düzeltin ve izleyin: İstemi güncelleyin, kütüphaneyi yenileyin veya ekibe kısa bir hatırlatma yapın; ardından birkaç hafta yoğun örnekleme yapın.
Referans örnek seti
İzlemeyi güçlendiren pratik bir araç, sabit bir referans örnek setidir. Kişisel veri içermeyen, tipik iş türlerini temsil eden on beş yirmi örnek girdi ve bunlar için kabul edilebilir çıktı örnekleri hazırlanır. Sağlayıcı bir güncelleme duyurduğunda veya istem kütüphanesi değiştiğinde, bu set yeniden çalıştırılır ve sonuçlar önceki çıktılarla karşılaştırılır. Bu yöntem, değişikliğin etkisini gerçek müşteri işlerine yansımadan önce görmeyi sağlar.
Sorumluluk ve ritim
İzlemenin bir sahibi olmalıdır. Bu kişi haftalık örneklemeyi yapar veya organize eder, hata kaydını takip eder ve üç ayda bir kısa bir değerlendirme notu hazırlar. Bu not, aracın kullanımına devam edilip edilmeyeceği, kapsamın genişletilip daraltılacağı ve istemlerin güncellenip güncellenmeyeceği kararlarına temel oluşturur.
Kayıt altyapısıyla ilişkisi
Kalite izlemenin anlamlı olması için çıktıların hangi iş bağlamında kullanıldığının bilinmesi gerekir. Bir yazışma taslağının hangi müşteri işlemine ait olduğu, hangi branşta kullanıldığı ve sonucunun ne olduğu, düzenli bir kayıt sisteminde izlenebilir. InsureHub'da müşteri kayıtları, teklif geçmişi ve poliçe takibi aynı sistemdedir; trafik, kasko ve DASK işlemleri kendi akışlarında ayrışır. Bu ayrışma, izleme sırasında hangi branşta sorun yaşandığını görmeyi kolaylaştırır. Yapay zeka aracının kendisi ise yazılımın parçası değildir; acentenin dışarıdan seçtiği bir araçtır. Altyapıyı sigorta acentesi yazılımı sayfasında inceleyebilirsiniz.
İzleme sonuçlarını ekiple paylaşmak
Haftalık örnekleme ve hata kaydının sonuçları yalnızca araç sahibinde kalmamalıdır. Ayda bir kısa bir notla, hangi iş türünde sorunların arttığı, hangi istemin güncellendiği ve kullanıcıların nelere dikkat etmesi gerektiği ekibe duyurulabilir. Bu paylaşım, kullanıcıların kontrol adımlarını ciddiye almasını ve fark ettikleri sorunları kaydetmeye devam etmesini teşvik eder.
Özet
Yapay zeka aracının kalitesi, kullanıma başlandığı gün sabitlenmez. Düzenli rastgele örnekleme, sabit ölçütler, hata kaydı ve referans örnek seti; kalitedeki sessiz değişimleri erken fark etmenin sade yollarıdır. Kayıt düzeninizi değerlendirmek için demo talebinde bulunabilirsiniz.