贝叶斯真相法:如何在调研中激励诚实回答?
贝叶斯真相法:如何在调研中激励诚实回答?
贝叶斯真相法是一种通过奖励机制激励人们在问卷调查中给出诚实回答的方法。这种方法要求参与者不仅提供自己的答案,还要估计其他人可能给出的答案。通过奖励相对大众预测更普遍的回答,贝叶斯真相法能够有效减少社会期望效应带来的偏差。
问题背景
小 A 想了解过去一年校内同学的纸质图书阅读量,于是设计了一个简单的问卷:
在过去的一年里,你看过10本及以上的纸质图书吗?
- A. 否,我在过去一年里看过小于10本纸质图书。
- B. 是,我在过去一年里看过10本及以上纸质图书。
然而,她发现问卷的回答率并不高,而且可能存在社会期望效应带来的偏差:一些实际阅读量不足10本的同学可能会因为认为多阅读纸质书是更"理想"的行为而选择"是"。
初始尝试
小 A 首先尝试了两种简单的奖励机制:
固定参与奖励:每位回答问题的同学可以获得1元。这种方法虽然能提升回答率,但无法保证回答的诚实性。
多数回答奖励:如果超过50%的回答是"是",就奖励每位回答"是"的同学1元;否则,奖励每位回答"否"的同学1元。这种方法也不可行,因为参与者可能会根据对他人选择的预期来调整自己的答案。
贝叶斯真相法的解决方案
小 A 最终采用了贝叶斯真相法,其核心思想是奖励相对大众预测更普遍的回答。具体来说:
- 如果回答"是"的比例为20%,而大众预测只有10%的人会回答"是",那么回答"是"相对大众预测更普遍。
- 如果大众预测有50%的人会回答"是",那么回答"是"相对大众预测更不普遍。
这种机制利用了以下观察:持有某个观点或特征的人往往会高估该观点或特征在人群中的普遍性。例如,在过去一年里看过10本及以上纸质图书的人可能会认为更多人和他们一样,因此他们的预测会比实际更高。
具体实施
贝叶斯真相法通过两个问题来实现:
- 问题1:参与者需要回答自己在过去一年里是否看过10本及以上的纸质图书。
- 问题2:参与者需要预测有多少比例的人会在问题1中回答"是"。
奖励机制如下:
其中,k表示同学的回答,frequency(k)表示回答k在所有回答中的占比;average-prediction(k)是大众预测中回答k的占比。
为了获得真实的大众预测,小 A 使用了一种对数评分规则:
其中,p(k)表示同学对回答k占比的估计。这种规则能保证诚实汇报估计最大化同学的期望收益。
总结
贝叶斯真相法由 Drazen Prelec 在2004年提出,它通过要求参与者同时提供自己的答案和对他人可能答案的预测,来激励诚实回答。这种方法在市场调研、社会科学研究等领域具有广泛的应用前景。
下次设计调查问卷时,不妨试试这种方法!