Scrivete il comportamento previsto prima di leggere la risposta.
Per ogni test, registrate la domanda del cliente, la relativa fonte approvata e cosa deve includere una risposta utile. Registrate anche ciò che non deve affermare. Alcuni casi dovrebbero richiedere chiarimenti o un'escalation piuttosto che una risposta completa. Un revisore ha bisogno di queste aspettative per giudicare il risultato in modo coerente.
Includete variazioni ordinarie nella formulazione, messaggi brevi e domande di follow-up. Se l'assistente serve più lingue, valutare le domande effettive e la copertura delle fonti in ciascuna lingua. Non utilizzare il risultato in inglese come prova che le altre lingue sono pronte.
Provate più del ricordo fattuale.
Provate scenari di origine contrastanti o obsoleti in un ambiente controllato. Chiedete servizi non offerti e richiedere impegni che l'assistente non può assumere. Includete tentativi di ignorare le sue istruzioni o ottenere informazioni riservate. L’obiettivo è identificare i fallimenti e restringere il campo ove necessario.
- Domanda supportata: una risposta accurata e utile da informazioni approvate.
- Richiesta ambigua: un chiarimento pertinente più che un'ipotesi.
- Informazioni mancanti: un limite onesto e un utile passo successivo.
- Richiesta limitata o fuori ambito: vale il limite definito.
- Richiesta di Handoff: il cliente raggiunge il processo di ricezione concordato.
Verificare il lato ricevente della conversazione.
Completate i trasferimenti controllati e verificate ciò che riceve la squadra. Verificate la destinazione, il contesto, la lingua ed eventuali campi di consenso o contatto richiesti dal processo concordato. Simulate un errore di consegna e verificate che l'interfaccia non segnali il successo. Utilizzate dati sintetici e contrassegnate chiaramente le richieste di test.
Esamina l'esperienza del cliente quando una persona non è disponibile. L'assistente dovrebbe descrivere accuratamente il passaggio successivo. Non dovrebbe promettere una risposta immediata o un’azione completata a meno che il processo operativo non supporti tale promessa.
Impostate i criteri di rilascio e mantenete il set di test.
Classificare i fallimenti in base alle loro conseguenze e concordare quali bloccano il lancio. Correggi la fonte, la progettazione della conversazione o l'integrazione, quindi riesegui i casi rilevanti e le varianti vicine. Conserva il set di test in modo che le modifiche successive al contenuto e alla piattaforma possano essere verificate rispetto alle stesse aspettative.
Dopo il lancio, esamina le domande irrisolte e il feedback del personale con controlli di accesso adeguati. Aggiungere nuovi casi rappresentativi al set di valutazione. Il miglioramento dovrebbe essere legato a risposte utili e passaggi affidabili, non semplicemente a conversazioni più lunghe o a un numero maggiore di risposte automatizzate.
Domande prima di iniziare
Domande prima di iniziare
Quante domande di prova sono sufficienti?
Non esiste un numero universale. Coprire i viaggi previsti, i confini della fonte, le eccezioni importanti e i percorsi di integrazione. Espandi il set quando compaiono nuovi modelli di errore.
Può lo stesso modello giudicare tutte le proprie risposte?
I controlli automatizzati possono aiutare, ma è ancora necessaria una revisione responsabile per reclami importanti, fallimenti dei limiti e risultati dei clienti. Utilizzate criteri espliciti e persone che comprendano il servizio.
Il superamento di un test garantisce risposte sicure per sempre?
No. Le fonti, i sistemi e le domande dei clienti cambiano. Mantenete l'ambito chiaro, mantenere il set di test e fornite un percorso umano affidabile.