Question

背景

我正在机械土耳其人上设置数据注释任务。用户必须给出成对句子的分数。每对句子都有一个带7个单选按钮的表格。对于每个这样的表，用户必须给出答案。

问题

文档中有194个这样的表，所以很容易错过一个。如果用户在提交时错过了一个或多个问题，则不会向用户发出警告，但是由于一个简单的遗漏而迫使我们拒绝他们的输入。

限制

不幸的是，我们没有选择将每个表作为单独的匹配提交，因为：

a）我们需要知道单个用户的完整数据集的分数。

b）我们有质量控制问题，用户必须回答这些问题，并且无法告知他们这些问题。

问题

是否有一种简单的方法可以确保用户通过以下方式回答每个问题：

a）如果他们没有回答所有问题，提出警告？如果是这样，这是怎么做到的？

b）在一个单独的页面上呈现每个表格，用户必须单击“下一步”才能获得下一个表格，在这种情况下，仍然可能错过一个但不太可能（因为您不必向下滚动大页）？如果是这样，这是怎么做到的？

提前感谢您解决此问题的任何帮助或解决方案。

Answer 1

查看mTurk API docs，并特别查看QuestionFormStructure部分。

如果格式化问题并添加IsRequired标志，如果未明确设置，则默认为false。

<Question>
  <QuestionIdentifier>my_question_id</QuestionIdentifier>
  <DisplayName>My Question</DisplayName>
  <IsRequired>true</IsRequired>
  <QuestionContent>
    [...]
  </QuestionContent>
  <AnswerSpecification>
    [...]
  </AnswerSpecification>
</Question>

但是，如果您在一个HIT中有194个这样的表，那么最好将其作为外部问题进行操作，这样您就可以添加一些javascript来帮助人们更快地导航到他们错过的部分。

检查机械土耳其人调查中是否已回答所有问题

1 个答案: