6. küldetés · Bizonyítékokon alapuló áttekintés
Pontozd azt, amit az átirat támogat, ne azt, amit a modell elképzel.
Készítsen egy korlátozott, mesterséges intelligencia által támogatott áttekintést idézett átírási bizonyítékokkal, kifejezett bizonytalansággal, tényszerű összefoglalóval, javasolt műveletekkel és emberi felülírási útvonallal.
Az AI áttekintése tanácsadó jellegű. Nem helyettesíti az emberi minőségbiztosítást, és nem hozhat nagy hatású foglalkoztatási, hitelezési, jogi, egészségügyi vagy hasonló döntéseket.
Építési sorrend
- Határozza meg az egyes rubrikakritériumokat, a korlátos pontszámot, a szükséges átírási bizonyítékokat, az érvelést, a magabiztosságot és a hiányzó bizonyítékok viselkedését.
- Különítse el a tényszerű összefoglalást az értékelő pontszámtól, és tiltsa le a kitalált kötelezettségvállalásokat, az ügyfelek tényeit vagy az eredményeket.
- Verziózza a minden eredményhez használt rubrikát, promptot és modellútvonalat.
- Futtasson rögzített pontszám-normalizációs regressziót minden támogatott tartományhatár alatt, azon és felett.
- Futtasson le egy ellenséges átiratot és egy ember által felülvizsgált kalibrációs példát.
- Írja vissza a pontszámot, az érvelést, az összefoglalót és a következő műveleteket a megfelelő CRM elemhez, és ellenőrizze a read-back-t.
Szükséges igazolás
- Rubrika verzió, strukturált pontszám JSON és pontos határ-regressziós eredmények.
- Az idézetek átírása vagy egy kifejezett elégtelen bizonyíték minden feltételhez.
- Ellentétes eredmény, kalibrálási összehasonlítás, emberi felülbírálás és CRM read-back.
Referenciafájlok és források
- Szintetikus átirat példa
- Példa szintetikus pontszámításra
- A rubrik átadása, átdolgozása és sikertelensége
Hivatalos szállítói dokumentáció
Értékelő kapu
Pass
Megfelelt: minden pontszám ellenőrizhető, bizonyítékokhoz kötött, behatárolt, verziószámmal ellátott, határértékeken tesztelt, és emberi felülvizsgáló által visszafordítható.
Tekintse át
Felülvizsgálat: létezik hasznos kimenet, de az idézetek, a bizonytalanság, a ponthatárok, a kalibráció vagy az emberi felülírás hiányos.
Kemény kudarc
Súlyos kudarc: koholt bizonyítékok, alátámasztatlan pontozás, rejtett bizonytalanság vagy autonóm, nagy hatású döntések jelennek meg.
Ember által felülvizsgált beadvány