Écrivez le comportement attendu avant de lire la réponse.
Pour chaque test, enregistrez la question du client, la source approuvée pertinente et ce qu'une réponse utile doit inclure. Enregistrez également ce qu'il ne doit pas revendiquer. Certains cas devraient nécessiter des éclaircissements ou une escalade plutôt qu'une réponse complète. Un évaluateur a besoin de ces attentes pour juger le résultat de manière cohérente.
Incluez des variations ordinaires dans la formulation, des messages courts et des questions de suivi. Si l'assistant travaille dans plusieurs langues, évaluez les questions réelles et la couverture des sources dans chaque langue. N'utilisez pas le résultat en anglais comme preuve que les autres langues sont prêtes.
Testez plus que le simple rappel factuel.
Essayez des scénarios de sources conflictuelles ou obsolètes dans un environnement contrôlé. Renseignez-vous sur les services qui ne sont pas offerts et demandez des engagements que l'assistant ne peut pas prendre. Inclut les tentatives visant à contourner ses instructions ou à obtenir des informations restreintes. L’objectif est d’identifier les échecs et de restreindre la portée si nécessaire.
- Question prise en charge : une réponse précise et utile à partir d’informations approuvées.
- Demande ambiguë : une précision pertinente plutôt qu’une supposition.
- Informations manquantes : une limite honnête et une prochaine étape utile.
- Requête restreinte ou hors de portée : la limite définie est valable.
- Demande de transfert : le client atteint le processus de réception convenu.
Vérifiez le côté récepteur de la conversation.
Effectuez des transferts contrôlés et inspectez ce que l’équipe reçoit. Vérifiez la destination, le contexte, la langue et les éventuels champs de consentement ou de contact requis par le processus convenu. Simulez un échec de livraison et confirmez que l'interface ne signale pas de succès. Utilisez des données synthétiques et marquez clairement les demandes de test.
Passez en revue l’expérience client lorsqu’une personne n’est pas disponible. L'assistant doit décrire la prochaine étape avec précision. Il ne doit pas promettre une réponse immédiate ou une action achevée à moins que le processus opérationnel ne soutienne cette promesse.
Définissez les critères de publication et conservez l’ensemble de test.
Classez les échecs par leurs conséquences et décidez lesquels bloquent le lancement. Corrigez la source, la conception ou l'intégration de la conversation, puis réexécutez les cas pertinents et les variantes proches. Préservez l’ensemble de test afin que les modifications ultérieures du contenu et de la plate-forme puissent être vérifiées par rapport aux mêmes attentes.
Après le lancement, examinez les questions non résolues et les commentaires du personnel avec des contrôles d'accès appropriés. Ajoutez de nouveaux cas représentatifs à l’ensemble d’évaluation. L’amélioration doit être liée à des réponses utiles et à des transferts fiables, et non simplement à des conversations plus longues ou à un plus grand nombre de réponses automatisées.
Questions avant de commencer
Questions avant de commencer
Combien de questions de test suffisent ?
Il n'existe pas de numéro universel. Couvrez les parcours prévus, les limites des sources, les exceptions importantes et les chemins d'intégration. Développez l'ensemble lorsque de nouveaux modèles de défaillance apparaissent.
Le même modèle peut-il juger toutes ses propres réponses ?
Les contrôles automatisés peuvent être utiles, mais un examen responsable reste nécessaire pour les réclamations importantes, les défaillances de limites et les résultats pour les clients. Utilisez des critères explicites et des personnes qui comprennent le service.
La réussite d’un test garantit-elle des réponses sûres pour toujours ?
Non. Les sources, les systèmes et les questions des clients changent. Gardez la portée dégagée, maintenez l'ensemble de test et fournissez un itinéraire humain fiable.