Yapay zekâ uydurursa ne olur? İş süreçlerinde doğruluk

Yapay zekâ bir teklif taslağına bulunmayan bir ürün özelliği yazabilir, belgedeki tarihi yanlış okuyabilir veya kaynağı olmayan bir açıklamayı kesin bir dille sunabilir. Metnin düzgün olması bu hatayı fark etmeyi zorlaştırır. İş aracı tasarlarken soru yalnızca ‘model ne kadar iyi?’ değildir. Yanlış cevap üretildiğinde bunun müşteriye gönderilmesini veya bir sisteme kaydedilmesini hangi adımın durduracağı da belirlenmelidir.

Bu risk gerçektir. NIST'in üretken yapay zekâ risk profili, yanlış içeriğin güvenle sunulmasını ‘confabulation’ başlığı altında ele alır. İşletme açısından bunun karşılığı somuttur: hatalı fiyat, yanlış stok bilgisi veya kaynakta olmayan bir taahhüt. Aşağıdaki örnekler bir müşteride gerçekleştiği iddia edilen olaylar değil, iş akışını değerlendirmek için hazırlanmış örnek durumlardır.

Bilgi üretmekle kayıt okumayı ayırın

Bir müşteri e-postasını daha anlaşılır yazmak ile ürünün güncel fiyatını belirlemek aynı iş değildir. İlki dil desteği gerektirebilir; ikincisinin kaynağı onaylı fiyat kaydı olmalıdır. Fiyatı modelin belleğinden istemek yerine ilgili ürün koduyla kayıt sisteminden alın. Model açıklamayı düzenleyebilir, fakat sayısal değerin hangi kayıttan geldiği korunmalıdır.

Aynı ayrım hesaplamalarda da geçerlidir. Tanımlı iskonto, adet ve toplam hesabını belirli kurallarla çalışan yazılıma yaptırmak mümkündür. Yapay zekâya bütün tabloyu yorumlatmak, bilinen bir hesabın yerine geçmemelidir. Sonuçta ürün kodu, para birimi, ölçü birimi ve tarih birlikte görünmelidir. Tek başına doğru görünen bir rakam, yanlış ürün veya eski sürümle eşleşiyorsa yine yanlış sonuçtur.

Kaynak bağlamak riski azaltır; doğrulamayı kaldırmaz

Araca ilgili şirket belgelerini veya kayıtlarını sunmak yararlıdır. Ancak doğru belge bulunamamış, eski sürüm seçilmiş veya cevap belgenin desteklemediği bir sonuca atlamış olabilir. Bu nedenle yalnız bir bağlantı göstermesiyle yetinmeyin. Cevabın hangi bölümden çıkarıldığı ve o bölümün gerçekten söyleneni destekleyip desteklemediği incelenebilmelidir.

Kaynağın adı, sürümü ve geçerlilik tarihi mümkün olduğunda çıktıyla birlikte tutulmalıdır. İki belge farklı bilgi veriyorsa modelden birini tahmin ederek seçmesini istemek yerine çelişkiyi işaretleyin. Hangi kaynağın öncelikli olduğunu işletmenin sorumlusu belirlesin. Belge yenilendiğinde eski içeriğin arama sonuçlarında kalıp kalmadığını da kontrol edin. Kaynak yönetimi bir defalık dosya yüklemekten ibaret değildir.

‘Bilmiyorum’ işlenebilir bir sonuç olmalı

Modelin bilmediğini söylemesini istemek iyi bir başlangıçtır, fakat tek başına yeterli kontrol değildir. Uygulama, eksik bilgi durumunu ayrı bir sonuç olarak kabul etmelidir. Örneğin zorunlu ürün kodu yoksa, kaynak bulunamıyorsa veya iki kayıttaki fiyat çelişiyorsa çıktı ‘inceleme gerekiyor’ durumuna geçebilir. Sonraki adım da bu durumda gönderimi durdurmalıdır.

Aksi hâlde ekranda bir uyarı görünse bile otomasyon arkada aynı belgeyi gönderebilir. Uyarı metniyle işlem iznini birbirine bağlayın. Eksik bilgiyi kimin tamamlayacağı ve kontrol edilen kaydın nasıl yeniden işleneceği belli olsun. Müşteriye cevap veren araçların sınırlarını AI asistan yanlış cevap verirse yazısında ayrıca ele alıyoruz; burada konu bütün iş sürecinin doğruluğudur.

Kontrolü işin sonucuna göre seçin

Bir iç toplantı özetindeki ifade ile müşteriye gönderilecek teklif aynı sonuçları doğurmaz. Kontrolün ayrıntısı da buna göre değişmelidir. Basit biçim kontrolleri otomatik yapılabilir: zorunlu alanların dolması, tarihin beklenen biçimde olması veya ürün kodunun listede bulunması gibi. İçeriğin doğru yorumlanması ve istisnai bir taahhüt ise yetkili kişinin incelemesini gerektirebilir.

• Kaynakla birebir eşleşmesi gereken alanları belirleyin.
• Hesap ve tutarlılık kurallarını metin üretiminden ayrı çalıştırın.
• İnceleme gereken kayıtları açık gerekçeyle ayrı sıraya alın.
• Gönderim öncesinde hangi kişinin hangi alanları onayladığını kaydedin.
• İşlemden sonra gerçek kayıt veya gönderim sonucunu doğrulayın.

İkinci bir modele ‘kontrol et’ demek ek sinyal sağlayabilir; bağımsız doğrulama garantisi vermez. İki model aynı eksik belgeye dayanabilir. Özellikle hesap, kimlik eşleştirme ve kaynakta bulunan değerler için mevcut kayıtlarla karşılaştırma daha doğrudan bir kontrol sağlar. İnceleyen kişiye de yalnız son metni değil, ilgili kaynağı ve farkları gösterin.

Yayına çıkmadan önce yanlış durumları deneyin

Yalnız düzgün bir örnekle yapılan deneme yetersizdir. Okunamayan PDF, eksik satır, aynı adlı iki ürün, eski fiyat listesi ve çelişkili belgeler gibi durumları kontrollü örneklerle sınayın. Beklenen sonuç her seferinde cevap üretmesi değildir. Bazı örneklerde doğru sonuç, işlemi durdurup belirli bir eksikliği bildirmesidir. Bu ayrımı kabul ölçütlerine baştan yazın.

Deneme kayıtlarında giriş, kullanılan kaynak, üretilen sonuç, kontrol bulgusu ve son işlem durumu birlikte yer almalıdır. Hata görülürse hangi kayıtların etkilendiğini belirlemek böylece kolaylaşır. Düzeltme sonrası yalnız güzel örneği değil, hatayı ortaya çıkaran örneği de yeniden çalıştırın. Gerçek müşterilere test mesajı göndermek veya üretim verisi oluşturmak yerine uygun deneme verileri kullanın.

Dikkat: doğruluk ve veri güvenliği ayrı konulardır

Doğru cevap veren bir akış, her verinin o araca gönderilebileceği anlamına gelmez. Gereksiz kişisel bilgileri ayırın; hangi verinin hangi hizmete gittiğini, kimin erişebildiğini ve ne kadar saklandığını ayrıca değerlendirin. URİKEM'in mevcut uygulamalarını veri güvenliği bölümünde okuyabilirsiniz. Doğruluk kontrolü ile erişim ve saklama kuralları birlikte tasarlanmalıdır.

Başlangıç için tek bir tekrarlanan işi seçin ve hatanın nerede durdurulacağını kâğıda çizin. Kaynak yoksa dur, çelişki varsa incelemeye gönder, kontrol geçtiyse yetkili adıma ilerle. Bu düzen, hiçbir zaman hata olmayacağı sözü vermez. Hatanın görünür olmasını, etkisinin sınırlanmasını ve aynı işlemin yanlışlıkla tekrar edilmeden düzeltilebilmesini sağlar.

Sık sorulan sorular

Modele yalnız kaynaklara dayanmasını söylemek yeterli mi?

Hayır. Bu yönergeye ek olarak kullanılan kaynağın gerçekten cevabı desteklediği kontrol edilmelidir. Eksik, eski veya çelişkili kaynak geldiğinde işlemin nasıl duracağı da tanımlanmalıdır.

Bir başka yapay zekâya kontrol ettirmek hatayı bitirir mi?

Hayır. İkinci bir model de hata yapabilir veya aynı eksik kaynaktan etkilenebilir. Kritik alanlar mümkün olduğunda kaynak kayıtla ve belirli kurallarla doğrulanmalı; gerekli durumlarda yetkili kişi incelemelidir.

Hata çıktığında bütün işi baştan mı yapmak gerekir?

Her adımın sonucu ayrı kaydediliyorsa etkilenen kayıtlar belirlenebilir ve yalnız gerekli bölüm düzeltilebilir. Yeniden çalıştırma, daha önce tamamlanan bir gönderim veya kaydı ikinci kez oluşturmamalıdır.