排序与评分 on 据吉文档

ASR 假设选择 (ASR Hypotheses)

Wed, 01 Apr 2026 08:00:00 +0000

ASR 假设选择使用说明

ASR 假设选择可以理解为「先听清，再选对」：同一段音频会对应多条略有差异的转写候选，标注员需要结合听觉判断，选出与说话内容最一致的一条。

这个模板适合语音识别纠错、候选重排序、听写评测等任务。播放器支持音量调节、语速调节、前进/后退，以及在波形上选区循环播放，适合对可疑片段反复比对后再选择答案。

标注核心作用

为 ASR 多候选输出提供人工裁决，形成高质量监督数据；
帮助识别音近词、形近词与语义干扰，提升模型鲁棒性；
支持检索难例与误识别模式，反哺模型迭代。

基础操作步骤

先完整听一遍音频，了解整体语义；
用前进、后退、调速和选区循环精听关键片段；
在候选列表中勾选与音频最一致的一项；
提交前再次核对关键差异词。

说明：建议优先以音频事实为准，不要仅凭文本流畅度做判断。

注意事项

听不清时优先降低语速并重复播放问题区间；
关注专有名词、术语和否定词，避免“听起来像”但语义错误；
候选列表应与音频内容同域同任务，避免无效干扰项。

模板预览

基于内容图像检索 (Content-Based Image Search)

Wed, 01 Apr 2026 08:00:00 +0000

基于内容图像检索使用说明

基于内容图像检索可以理解为「看查询图，再从候选里挑出像它的」：上方为 查询图（query），下方三张为 候选图；勾选「图片一 / 图片二 / 图片三」对应左、中、右三张图是否 内容相近。支持多选（choice="multiple"），即可以同时认为多张候选与查询相似，也可以只选一张或不选（若项目允许空选，需单独约定；本配置中 required="true" 表示必须至少选一项）。

每张图旁通常带有缩放、平移等查看工具，便于放大细节后再判断相似性。

标注核心作用

提供「查询–候选」相关性的人工标签，用于训练或评估检索模型；
区分「看起来像」与「语义相关」（如物种、场景、风格），可按项目定义相似口径；
多选支持召回型标注：凡符合标准的候选均可勾选。

基础操作步骤

观察查询图的主体、场景、风格与关键细节；
依次查看三张候选图，必要时使用缩放工具；
勾选与查询在既定标准下相似的选项，可多选；
提交前确认勾选与图片位置一一对应。

文档检索 (Document Retrieval)

Wed, 01 Apr 2026 08:00:00 +0000

文档检索使用说明

文档检索可以理解为「先看查询，再选最相关文档」：上方显示用户查询，下方展示多条候选文本。标注员根据语义匹配程度，在候选中选择与查询最相关的一项。

本模板采用每行一个单选按钮（choice="single-radio"）的形式，让标注员在三条候选文档中完成相关性判断。适用于 FAQ 检索、知识库问答召回、搜索排序训练等任务。

标注核心作用

构建查询-文档相关性样本，提升检索模型排序质量；
用人工判断纠正词面匹配误差，强化语义匹配能力；
为问答系统提供高质量“命中文档”监督信号。

基础操作步骤

阅读查询句，并逐条查看候选文档内容；
在最相关的一条右侧勾选对应选项，可多选；
提交前确认未误选、漏选。

说明：若两条候选都部分相关，优先选择“更直接回答查询”的那一条。

注意事项

当前配置是“每行一个独立单选组件”，默认可出现多行同时被选；若业务要求“全局只能选一条”，建议改为单个 Choices 包含多个 Choice；
相关性判定以“是否回答查询”优先，不只看关键词重合；
若候选数量扩展，需同步新增 Text 与对应 Choices 区块。

模板预览

成对分类 (Pairwise Classification)

Wed, 01 Apr 2026 08:00:00 +0000

成对分类使用说明

成对分类可以理解为「给你两个候选，只选更优那个」：界面同时展示两条待比较内容，标注员基于统一标准做二选一判断。它适合答案偏好学习、文案 A/B 对比、模型输出优劣评估等场景。

标注核心作用

构建“成对偏好”监督信号，支撑排序与偏好模型训练；
将主观质量判断结构化，便于后续统计和回放分析；
相比绝对打分更稳定，适合快速批量标注。

基础操作步骤

阅读两条候选文本，按任务标准比较质量；
在界面中选择更优的一项。

说明：若两项质量接近，优先依据项目既定规则（如事实准确性、完整性、可读性）做出稳定选择。

注意事项

两条候选应保持可比性（同任务、同维度）；
标注前建议先统一“更优”的判断标准，降低主观漂移；
若业务需要“可平局”机制，需在模板层增加第三种选择。

模板预览

模板配置

完整代码块

<View>
 <Header>请从以下两个项目中选择一个</Header>
 <Pairwise name="pw" toName="text1,text2" />
 <Text name="text1" value="$pairText1" />
 <Text name="text2" value="$pairText2" />
</View>

配置说明

以上代码用于实现“两条候选文本的二选一偏好判断”。

成对回归 (Pairwise Regression)

Wed, 01 Apr 2026 08:00:00 +0000

成对回归使用说明

成对回归可以理解为「看两张图，给一个相似度分数」：它不是二选一，而是用连续评分表达“两张图代表同一对象的可能性”。该模板适合图像相似度学习、检索重排打分、视觉质量评测等任务。

标注核心作用

提供连续监督信号，支持细粒度相似度建模；
兼顾“是否相似”与“相似程度”两层信息；
可作为检索排序或匹配模型的高质量训练样本。

基础操作步骤

对比两张图片的主体、场景、构图和关键细节；
使用评分组件给出“同一对象可能性”分值；
提交前确认评分与任务标准一致。

说明：建议先制定统一评分口径（如 1~5 每档含义），再开展批量标注，减少个体偏差。

注意事项

评分应重点关注任务定义的“同一对象”标准，而非单纯视觉好看与否；
相似但非同一对象的样本应给中低分，避免误导模型；
数据集若包含风格差异较大的图像，建议加强标注前校准。

模板预览

模板配置

完整代码块

<View>
 <Header>请设置这些图片代表相同对象的可能性：</Header>
 <Rating name="rating" toName="image1,image2"/>
 <View style="display: flex; gap: 16px; align-items: flex-start;">
 <Image name="image1" value="$image1" />
 <Image name="image2" value="$image2" />
 </View>
</View>

配置说明

以上代码用于实现“两张图像的相似度连续评分”。

搜索页面排序 (SERP Ranking)

Wed, 01 Apr 2026 08:00:00 +0000

搜索页面排序使用说明

搜索页面排序可以理解为“根据搜索判断哪些结果相关、整体质量如何、你有多确定”：上方显示查询词，中间是可多选的搜索结果列表，底部补充搜索质量星级与标注置信度。该模板适用于搜索引擎排序评估、检索模型重排训练与人工质检场景。

标注核心作用

结果多选标注：支持一次标记多个相关结果，贴合真实检索场景；
质量信号增强：Rating 提供查询级别整体质量分；
置信度补充：低/高置信度可用于后续样本加权与复核分流。

基础操作步骤

阅读查询词，明确用户意图；
在结果列表中勾选相关项，支持多选与嵌套项；
对当前搜索结果整体质量进行星级评分；
选择“低/高置信度”并提交。

说明：遇到边界样本时，先按相关性标准打标，再用“低置信度”标记不确定样本，便于二次复核。

注意事项

selection="checkbox" 与 choice="multiple" 表示结果可多选；
allownested="true" 支持父子结果结构，注意父子项的相关性独立判断；
showInLine="true" 为当前模板写法，如平台仅识别 showInline，请按运行环境调整。

模板预览

文本到图像生成 (Text-to-Image)

Wed, 01 Apr 2026 08:00:00 +0000

文本到图像生成使用说明

文本到图像生成可以理解为「先看提示词，再选匹配图」：界面顶部展示生成提示词，下方展示多张候选图，标注员根据“是否符合提示词语义与细节”勾选一张或多张更匹配的结果。

标注核心作用

建立“提示词-图像”对齐监督，提升生成质量评测能力；
支持多选，便于保留多个合格候选；
通过统一视觉标准，沉淀可用于模型迭代的偏好数据。

基础操作步骤

阅读提示词，提取主体、场景与风格约束；
对比下方候选图，判断哪些图更符合描述；
勾选符合要求的候选图后提交。

说明：当多张候选都满足提示词时可同时勾选；当存在明显违背提示词要素的图像时不勾选。

注意事项

勾选依据优先看“语义匹配”，其次看清晰度与美观度；
若提示词包含关键约束（如物体、动作、风格），需重点核对；
choice="multiple" 为多选模式，若业务要求单选需改为单选配置。

模板预览

模板配置

完整代码块

<View>
 <View className="ch-title">
 <Text name="prompt" value="$prompt"/>
 </View>
 <View className="highlight">
 <Choices name="images" toName="prompt" value="$images" choice="multiple" layout="inline"/>
 </View>
</View>

文本到图像生成配置代码说明

1、提示词展示：Text name="prompt" 显示生成任务描述。
2、候选图选择：Choices name="images" 通过 value="$images" 动态加载图像选项，layout="inline" 横向展示，choice="multiple" 支持多选。
3、样式高亮：通过 Style 隐藏默认复选框并用边框高亮选中项，提升视觉可读性。