
Die fünf Evaluatoren
Summary und Generated fields arbeiten mit der Antwort als Ganzem. Criteria, Scoring und Skills arbeiten Frage für Frage, deshalb braucht jeder von ihnen einen zweiten Schalter auf jeder Frage, die er sich ansehen soll.
Zuerst für das Formular einschalten
Die Reihenfolge überrascht viele. Der Evaluator-Schalter einer Frage tut für sich allein nichts.- Öffnen Sie den Evaluation-Tab und schalten Sie den Evaluator für das Formular ein.
- Klicken Sie auf den Namen des Evaluators, um ihn zu öffnen. Jede Frage des Formulars erscheint darunter mit einem eigenen Schalter.
- Schalten Sie die Fragen ein, die er sich ansehen soll, und konfigurieren Sie jede davon.
Welche Fragen evaluiert werden können
Jeder Feldtyp außer Ending Screen und Redirect URL. Die beiden Endings sammeln nichts, also gibt es nichts zu evaluieren. Was sich je nach Typ unterscheidet, ist, wie präzise eine Regel die Antwort lesen kann. Eine Yes/No-Antwort ist einer von zwei bekannten Werten. Eine File Upload-Antwort lässt sich nur über Dateiname, Typ und Größe prüfen. Jede Evaluator-Seite enthält die Operator-Tabelle für ihre Regeln.Regeln oder KI
Criteria, Scoring und Skills fragen pro Frage How to evaluate?, mit zwei Antworten.- Use answer rules vergleicht die Antwort mit Bedingungen, die Sie schreiben. Dieselbe Antwort liefert immer dasselbe Ergebnis, und es findet kein KI-Aufruf statt.
- Evaluate with AI übergibt die Frage, die Antwort und Ihre Notiz an das Modell, das entscheidet. Verwenden Sie es für Freitext, wo eine Regel eine gute Antwort nicht von einer schwachen unterscheiden kann.
Eine Notiz pro Frage
Das Feld am Ende der Evaluator-Einstellungen einer Frage nimmt eine Anweisung für die KI auf. Seine Beschriftung ändert sich mit dem Evaluator, aus dem Sie es geöffnet haben: What should AI look for?, How should AI award points?, What skill signals should AI look for? Das Feld ist eine Notiz pro Frage, geteilt von allen dreien. Schreiben Sie sie unter Criteria, und derselbe Text erscheint unter Scoring und Skills. Halten Sie sie auf die Antwort bezogen statt auf einen einzelnen Evaluator.Wann welcher Evaluator läuft
Eine Antwort wird evaluiert, wenn sie abgeschlossen wird, und noch einmal in Test & Evaluate, während Sie bauen. Die Schritte laufen in dieser Reihenfolge.- Jede regelbasierte Frage wird evaluiert. Keine KI ist beteiligt.
- Die auf Evaluate with AI gestellten Fragen gehen in einem Aufruf an das Modell.
- Die Ergebnisse pro Frage werden zum Urteil, zum Score und zu den Skill-Prozentwerten.
- Generated fields läuft zuletzt, über die ganze Antwort plus die Ergebnisse aus Schritt 3.
Wohin die Ergebnisse gehen
- Im Builder zeigt Test & Evaluate jedes Ergebnis neben den Antworten, die es erzeugt haben.
- Bei einer eingereichten Antwort werden die Ergebnisse mit ihr gespeichert. Export CSV und Export Excel im Drei-Punkte-Menü des Builders ergänzen eine Spalte pro Ergebnis, einschließlich einer pro Skill und einer pro Generated field.
- In einer Automatisierung ist jedes Ergebnis eine Variable, etwa
{{form_response.evaluation.scoring.band.label}}. Test & Evaluate listet sie alle unter Automation variables auf, mit dem Wert aus dem Lauf direkt vor Ihnen. Siehe Variablen.
Verwandte Themen
- Criteria, Scoring, Skills und Generated fields behandeln die vier Evaluatoren, die Sie konfigurieren.
- Test & Evaluate lässt die Evaluatoren über eine Antwort laufen, die Sie sich ausdenken.
- Bewerbende mit einem Pre-Screening-Formular prüfen und bewerten baut ein Formular, das Criteria, Scoring und Summary gemeinsam nutzt.
- Formular-Builder: Überblick behandelt den Builder, die gemeinsamen Einstellungen und jeden Feldtyp.