Peraturan pensampelan dan kalibrasi
Hantar sebahagian perbualan yang dimarkah AI untuk semakan manusia, dan pastikan penyemak dan AI memarkah dengan selaras.
Untuk: Ketua QALangkah
- Pergi ke MetriQA → Semakan → Peraturan pensampelan dan tambah peraturan: saluran, markah bawah, gagal automatik, berisiko, keyakinan AI bawah, dan bahagian padanan untuk dimasukkan ke baris gilir.
- Selepas setiap perbualan dimarkah, peraturan aktif pertama yang dipadankan meletakkannya dalam baris gilir Untuk disemak.
- Pergi ke tab Kalibrasi dan pilih Sesi baharu. Namakan dan pilih sehingga 20 perbualan yang dimarkah AI.
- Setiap penyemak memarkah setiap perbualan. Markah penyemak lain disembunyikan sehingga anda menghantar markah anda.
- Bandingkan purata penyemak dengan AI bagi setiap perbualan dan kriteria. Jurang 10 mata atau lebih diserlahkan. Tutup sesi apabila selesai.
Perlu diketahui
- Gunakan kalibrasi selepas mengubah kad skor untuk memastikan arahan AI jelas.
- Peraturan keyakinan rendah (contohnya bawah 60%) menghantar perbualan yang AI tidak pasti kepada manusia.
Masih perlukan bantuan? Hubungi sokongan