Misia 6 · Preskúmanie podložené dôkazmi
Bodujte to, čo podporuje prepis, nie to, čo si model predstavuje.
Vytvorte ohraničenú recenziu s pomocou AI s citovanými dôkazmi prepisu, explicitnou neistotou, faktickým zhrnutím, odporúčanými akciami a cestou ľudského prepisu.
Kontrola AI je odporúčaná. Nenahrádza ľudské zabezpečenie kvality a nesmie robiť rozhodnutia týkajúce sa zamestnania, úverov, právnych, lekárskych alebo podobných rozhodnutí s vysokým dopadom.
Zostavte postupnosť
- Definujte každé kritérium rubriky, ohraničené skóre, požadované dôkazy prepisu, zdôvodnenie, dôveru a správanie pri chýbajúcich dôkazoch.
- Oddeľte faktické zhrnutie od hodnotiaceho skóre a zakážte vynájdené záväzky, fakty o zákazníkovi alebo výsledky.
- Verzia rubriky, výzvy a trasy modelu použitého pre každý výsledok.
- Spustite pevné regresie normalizácie skóre pod, na a nad každou podporovanou hranicou rozsahu.
- Spustite jeden prepis protivníka a jeden príklad kalibrácie skontrolovaný človekom.
- Napíšte skóre, odôvodnenie, zhrnutie a ďalšie akcie späť do správnej položky CRM a overte read-back.
Požadovaný dôkaz
- Rubriková verzia, štruktúrované skóre JSON a presné výsledky hraničnej regresie.
- Citácie prepisu alebo jednoznačný výsledok nedostatočných dôkazov pre každé kritérium.
- Nepriaznivý výsledok, porovnanie kalibrácie, ľudské prepísanie a CRM read-back.
Referenčné súbory a zdroje
- Príklad syntetického prepisu
- Príklad syntetickej partitúry
- Prechádzať, revidovať a ťažko zlyhať rubriku
Oficiálna dokumentácia predajcu
Hodnotiaca brána
Pass
Prejde: každé skóre je kontrolovateľné, prepojené s dôkazmi, ohraničené, verzované, testované na hraniciach a reverzibilné ľudským recenzentom.
Revidovať
Revízia: užitočný výstup existuje, ale citácie, neistota, hranice skóre, kalibrácia alebo ľudské prepísanie nie sú úplné.
Ťažké zlyhanie
Ťažké zlyhanie: objavujú sa vymyslené dôkazy, nepodporované bodovanie, skrytá neistota alebo autonómne rozhodnutia s veľkým dosahom.
Podanie skontrolované ľuďmi