Papo'daki (https://papo.global/) AI ajanlarınızın kullanım istatistiklerini görüntülemek için Prompt ve AI modülüne erişin ve İstatistikler alanını açın. Burada başarıyla gönderilen mesajlar, hatalar ve yok sayılan etkileşimler gibi metrikler bulacaksınız; bunlar kaç otomatik yanıtın iletildiğini ve AI'nın hangi durumlarda yanıt vermemeyi seçtiğini tam olarak gösterir. Bu veriler, istemleri, kuralları ve bilgi tabanını ayarlamak ve otomasyonu müşteri beklentileriyle uyumlu tutmak için çok önemlidir.
AI davranışının sürekli analizi, hata kalıplarını belirlemeye ve yanıtların tonunu ve doğruluğunu kalibre etmeye yardımcı olur. İnsan ajanların (veya Capitão asistanının) performans raporlarından farklı olarak, Prompt ve AI Modülü istatistikleri teknik teslimata odaklanır: model tarafından oluşturulan mesajın müşteriye ulaşıp ulaşmadığını ve bazı durumlarda neden gönderilmediğini gösterir.
İstatistiklerde bulunan metriklerin özeti
| Metrik | Ne gösterir | Nasıl yorumlanır |
|---|---|---|
| Başarılı (Succeeded) | AI ajanının hatasız gönderdiği mesaj sayısı. | Tamamlanan otomatik etkileşimlerin gerçek hacmini gösterir. Ne kadar yüksekse, AI o kadar fazla talebi karşılıyor demektir. |
| Başarısız (Failed) | Teknik hata veya engelleme nedeniyle iletilemeyen yanıt denemeleri. | Entegrasyon sorunlarını, mesaj sınırını veya gelen kutusundaki yanlış yapılandırmayı belirlemeye yardımcı olur. |
| Yok sayılan (Skipped) | AI'nın yanıt vermemeye karar verdiği durumlar — güven eksikliği, tanımlı bir kural veya müdahale etmemesi gerektiğini düşünmesi nedeniyle. | Bilgi tabanındaki boşlukları veya istem kısıtlamalarını ortaya çıkarır. Yüksek sayıda yok sayılan mesaj, müşterilerin AI'nın eğitilmediği sorular sorduğu anlamına gelebilir. |
Prompt ve AI Modülü istatistiklerine nasıl erişilir
Metrikler, genel raporlara gitmeye gerek kalmadan Prompt ve AI modülünün içinde toplanmıştır. Yol doğrudandır:
- Prompt ve AI modülüne girin – Papo'nun yan menüsünde Prompt ve AI'ya tıklayın. Öğe görünmüyorsa, yöneticiniz özel roller ile erişimi kısıtlamış olabilir; izinlerin gözden geçirilmesini isteyin.
- İstatistikler görünümünü açın – Modül içinde İstatistikler seçeneğini bulun (arayüz sürümüne bağlı olarak sekme veya alt menüde). AI gönderimlerinin grafiklerini ve sayılarını bir araya getiren panel budur.
- Dönem filtresini uygulayın – Zaman kısayollarını (bugün, son 7 gün, 30 gün) kullanın veya özel bir aralık tanımlayın. Böylece örneğin, istemde yapılan son bir değişikliğin etkisini kontrol edebilirsiniz.
- Üç ana metriği analiz edin – Panel Başarılı, Başarısız ve Yok sayılan sayaçlarını gösterir. Görsel bir özet genellikle bu kategoriler arasındaki oranı göstererek AI'nın iyi teslim edip etmediğini veya ayarlamaya ihtiyacı olup olmadığını hızlıca görmenize yardımcı olur.
- Gerekirse dışa aktarın – Ana işlevi hızlı sorgulama olsa da, Papo verileri operasyonel raporlar veya API aracılığıyla harici analizler için yakalamanıza olanak tanır, böylece sayıları diğer kaynaklarla karşılaştırabilirsiniz.
Bu izleme kimler için daha faydalıdır
- Otomasyon ve destek analistleri: istemleri günlük olarak ayarlayan ve her değişikliğin etkisini ölçmesi gerekenler.
- Müşteri hizmetleri yöneticileri: AI'nın gerçekte ne kadar yük aldığını ölçmek isteyenler — başarı sayısını insan ekibin ele aldığı toplam konuşma sayısıyla karşılaştırarak.
- White label bayileri: birden fazla müşteri hesabını yöneten ve yapılandırılmış AI'nın etkinliğini kanıtlaması gereken, veri odaklı danışmanlık sunanlar.
- Operasyon ekipleri: hata artışlarını araştıranlar — örneğin, bir kanal entegrasyonu kararsızlık gösterdiğinde ve otomatik yanıtlarda hatalara neden olduğunda.
Sıkça sorulan sorular
Üç ana metrikten her biri ne anlama gelir?
Başarılı (Succeeded), AI'nın oluşturduğu ve sistemin müşteriye göndermeyi başardığı mesajlardır. Başarısız (Failed), hatayla sonuçlanan denemelerdir (kanal kullanılamıyor, token süresi dolmuş, spam engelleme vb.). Yok sayılan (Skipped), AI'nın kurallarına veya güven düzeyine göre yanıt vermemeyi seçtiği durumları temsil eder — örneğin, müşterinin sorusu istemde tanımlanan kapsamına uymadığında.
Prompt ve AI Modülü istatistikleri tüm ajanların performansını gösterir mi?
Evet. Metrikler hesap bazında konsolide edilir ve dönem boyunca herhangi bir gelen kutusunda aktif olan tüm ajanları ("Genel" ve olası alt asistanlar) yansıtır. Belirli bir ajanı analiz etmek isterseniz, bu verileri platformda bulunan gelen kutusu listesi ve ajan raporlarıyla karşılaştırabilirsiniz.
Bu istatistikler gerçek zamanlı olarak güncellenir mi?
Metrikler, etkileşimler gerçekleştikçe otomatik olarak güncellenir ve AI davranışını neredeyse gerçek zamanlı olarak izlemenizi sağlar. Panel, sistem tarafından işlenen en son etkileşimleri yansıtır.
Yüksek sayıda yok sayılan (Skipped) mesaj nasıl yorumlanır?
Yüksek "Skipped" hacmi, birçok konuşmanın otomatik yanıt almadığını gösterir çünkü AI kendine güvenmedi veya bir kural engelledi. İstem'i gözden geçirin, bilgi tabanını genişletin veya ajanın daha fazla senaryoyu kapsaması için genel kuralları ayarlayın. Bazı durumlarda, müşterilerin çok açık uçlu sorular sorduğu anlamına da gelebilir — isteme yanıt örnekleri eklemeyi düşünün.
Bu istatistikler Ajan Raporu'nun yerini alır mı?
Hayır. Ajan Raporu (Raporlar modülü), CSAT, ortalama yanıt süresi ve çözülen konuşmalar gibi performans metriklerini gösterir, Capitão asistanı dahil. Prompt ve AI Modülü istatistikleri ise otomasyon tarafından mesajların teknik teslimine odaklanır. İki görünüm birbirini tamamlar: biri memnuniyeti ve verimliliği ölçer, diğeri gönderimin teknik sağlamlığını ölçer.
Capitão asistanının (ekip copilotu) performansını nerede görürüm?
Capitão, ekibinize hizmet sırasında yardımcı olan dahili bir AI ajanıdır. İstatistikleri (çözülen konuşmalar, CSAT, SLA) Ajan Raporu'nda bulunur ve Raporlar modülünden erişilebilir. Prompt ve AI Modülü istatistikleri bu göstergeleri içermez çünkü bunlar Prompt'ta yapılandırılan ajanlar tarafından müşterilere otomatik olarak gönderilen mesajlara yöneliktir.
AI ajanlarınızı dakikalar içinde yapılandırın ve kullanım istatistiklerini doğrudan Papo panelinde görün.