用科学决策改进情报分析

释放双眼,带上耳机,听听看~!

【培训】第十届刑侦、禁毒、反恐新技术新产品应用交流暨高峰论坛11月将在海口举办

刑科协[2019]45号 关于举办“第十届刑侦、禁毒、反恐新技术 新产品应用交流暨高峰论坛”的通知 为推动刑事侦查、禁毒、反恐等警用装备现代化建设,提高侦破案件能力,提供更加强有力的技术支撑。根据公安部刑侦局“关于组织人员参加2019年度刑事科学技术协会

摘要

情报分析在政策决策中起着至关重要的作用。情报分析的关键功能包括准确预测重大事件,适当地表征此类预测中固有的不确定性,并有效地将这些概率预测传达给利益相关者。

我们回顾了关于概率预测和不确定性沟通的决策研究,提请注意可用于改革情报过程并有助于更有效的情报监督的调查结果。

我们建议情报界定期和定量监测其预测准确性,以便更好地了解其实现其功能的程度。我们还建议情报界使用决策科学来改进这些功能(即在不确定条件下进行的情报估计的预测和沟通)。

在预测的情况下,决策研究提供改进建议,涉及对数据的干预(例如,将预测转换为消除直流偏差)和行为(例如,通过选择,培训和有效的团队结构)。在不确定性交流的情况下,文献表明,当前的情报程序强调使用语言概率,是无效的。因此,情报界应该利用研究来指出可以改善口头概率使用的方法,以及在可行的情况下探索数值概率的使用。

前言

情报分析涉及搜索,选择,处理和解释数据,以便了解当前情况并预测决策利益相关者感兴趣领域的潜在重要未来发展。虽然情报分析不是科学的一个分支,但它具有一些重要的相似之处。与科学一样,它涉及生成和检验假设,并准确地表征所得到的证据和结论中的不确定度。

虽然情报界通过标准流程指导分析,收集,处理和传播情报(例如,国防部,2013),但这些过程往往不是基于科学方法,理论或过去的研究成果(见国家研究理事会,2011; Pool,2010)。

在本文中,我们确定了决策科学领域的两个相关文献机构,可用于为情报界的情报分析和分析产品传播的政策和实践提供信息。第一个研究领域研究评估和提高预测准确性的方法,而第二个研究区域则使用语言和数字概率检查不确定性的交流。实际上,这两个领域密切相关,因为情报预测必须通过不确定度准确地进行评估,而这些概率预测必须以高保真度的方式传达给决策者。

预测准确性的决策研究

情报界确定了分析师标准(例如,国家情报总监办公室,2015)。但是,情报界不会定期和定量地跟踪预测准确性,以验证其预测是否准确。情报界应该以积极的方式跟踪准确性至少有三个充分的理由:

首先,预测准确性是一个经验问题,如果没有适当的定量跟踪,就无法知道准确度有多好或者改进是否可行。

此外,用于评估预测技能方面的各种方法是容易获得的(e.g., Swets, 1986; Yaniv, Yates, & Smith, 1991),并且还可以应用于排序有序的数据,例如使用语言概率标度来表征不确定性(Liberman&Tversky,1993)。

其次,政治专家对地缘政治事件的预测表现得过于自信,除了最基本的统计模型外,他们很容易超越所有人(Tetlock,2005)。实际上,在专家判断的其他领域,例如医学诊断s (e.g., Dawson et al., 1993)和法律判断(Goodman-Delahunty,Granhag,Hartwig,&Loftus,2010)中已经记录了对判断的过度自信。

第三,研究分析师对实际情报预测的预测准确性的少数研究得出了不同的结果。迄今为止最全面的研究发现,使用数值概率的战略情报分析师(Mandel&Barnes,2014)以及使用语言概率来传达不确定性的人(Mandel,Barnes,&Richards,2014)都表现出非常好的表现。

然而,在另一项预测较少的研究中发现,语言概率符合预测的性能大幅下降(Lehner,Michelson,Adelman,&Goodman,2012)。

除了评估预测准确性之外,决策科学还可以帮助情报界提高预测准确性。最近对预测的心理学研究已经检验了大大提高概率预测准确性的统计干预措施。这些包括聚合算法,通过给予在相关主题判断中表现出更大一致性的预测者更多的权重(Karvestski, Olson, Mandel, & Twardy, 2013) 或更好的跟踪记录显示对未加权线性意见池的改进(Satopaa et al, 2014)。同样,最近记录了改进校准的转换规则,这是预测技能的一个重要方面 (Baron et al., 2014),包括与情报预测一起使用(Mandel&Barnes,2014)。

其他预测研究已经检查了提高准确性的行为干预措施。例如,概率判断在概率推理训练,错误和偏见的警告故事(例如,过度自信和确认偏差)以及做出预测的实用建议(例如考虑多个参考类别)方面更准确(Mellers et al. 2014)。同样,使用固有频率形式的嵌套集的可视化表示的训练对于提高分析师的概率判断是有效的(Mandel,2015)。

其他研究表明,个体差异测试可用于识别更好的预测者的属性,例如积极开放的思维,任务特定技能的知识和计算能力(Karvetski et al., 2013; Mellers et al, 2015a)。通过使用协调良好的团队合作,预测人员可以分享信息,辩论理由并激励彼此表现良好(Mellers et al., 2014),也可以改善预测。最后,将最佳预测人员分配到所谓的“超级人员”中,允许精英表演者在线互动,从而进一步提高预测准确性(Mellers et al., 2015b; Tetlock & Gardner, 2015)。

传播不确定性的决策研究

【工具】“IP定位”和“好友定位”小程序关联丁爸微信公众号

好消息!!!丁爸微信公众号关联“IP高精定位”和“圈圈好友”小程序了! 以后大家直接从丁爸微信公众底部菜单栏就可以进入和使用IP定位,查找好友位置和查找IP地址的位置了。 这两个小程序均是郑州埃文计算机科技有限公司埃文科技产品。 公司官网地址:http:

如前所述,分析师在不确定的条件下工作,并且有望准确描述其结论的不确定性。由于他们的判断是针对决策者的,因此他们必须对不确定性进行描述,并向最终用户明确表达。通常使用语言概率来传达情报评估中的不确定性。例如,关于伊拉克大规模杀伤性武器的国家情报评估报告称,“如果不加制止,它[伊拉克]可能会在这十年内拥有核武器” (Friedman & Zeckhauser, 2012, p. 829, italics added)。一个重要的问题是决策者是否以产生评估的情报组织所预期的方式解释这些陈述的含义。

决策研究澄清了有关使用与该问题相关的口头概率的几点,政策制定者应该考虑这些问题。

首先,接收有关不确定估计的通信的人更喜欢用数字表示,即使传播者更喜欢使用文字来表达不确定性(Brun&Teigen,1988; Murphy,Lichtenstein,Fischhoff,&Winkler,1980; Wallsten,Budescu,Zwick,&Kemp ,1993)。

其次,由于语言概率的模糊性,大多数术语在0-1区间缩放时具有广泛的可允许含义(Dhami&Wallsten,2005; Karelitz&Budescu,2004)。

第三,也存在问题,个人在范围和最佳估计方面差异很大(Budescu,Weinberg,&Wallsten,1988; Dhami&Wallsten,2005)。

最后,人们对语言概率的解释受到若干背景因素的影响,例如,其不确定性被表征的事件是否具有低或高基数 (for review, see Wallsten & Budescu, 1995)。

决策研究还揭示了不确定性沟通如何得到改善。例如,考虑到语言概率中固有的模糊性,已经开发了一些方法,用于将通信者词汇中的语言表达翻译成听者词汇中等效排名的表达(Dhami&Wallsten,2005; Karelitz&Budescu,2004)。

另一种方法是建立语言概率的标准化词汇,事实上许多情报组织已经这样做了(e.g., Barnes, 2015; Dhami, 2013)。行为研究方法已被用于开发人们更可能遵守的标准化词典(Ho, Budescu, Dhami & Mandel, in press)。通过表达方法也可以改善沟通。例如,当人们给出将词汇概率与数值范围等同的词汇时,他们往往会忽略等价物(Budescu,Por,Broomell,&Smithson,2014)。然而,通过在每次在陈述中使用概率项时提供数值范围等价物,可以显着改善与词典的一致性。

研究意义

预测的准确性

我们关于提高情报界内预测准确度的建议是双管齐下的。首先,情报界应立即采取措施监控其预测准确性。这将要求情报组织收集概率预测,结果(即,预测事件是否发生?),以及预测技能的推定主持人(例如,分析师经验,预测时间范围,预测难度)。

这些数据将使情报界能够对分析预测进行定量评分,从而可以随时间跟踪预测技能的关键方面,例如校准和歧视,代理商和其他关键变量,其中一些可能被证明是预测技能的重要调节者。

其次,我们建议情报界利用决策研究,理论和方法来提高其预测能力。我们概述了几个最近的发展,可以分为两个改进路线。第一个侧重于通过干预数据源(包括原始预测)来提高预测质量的方法,而第二个侧重于通过行为干预(例如,通过选择,培训和团队结构)这样做。我们还建议情报界与行为科学家合作,对所实施的这些方法的有效性进行公平的测试。这是情报界在结构化分析技术应用中非常缺乏的一个重要步骤,以促进分析的严谨性(Pool,2010)。

不确定性的沟通


我们建议采取两种行动方案来改善不确定性的沟通。首先,正如我们前面提到的,第一个侧重于利用语言概率来改善沟通的手段,例如使用翻译方法或表示方法,至少提醒用户模糊术语的含义。

情报界还应监测不同组织颁布的标准之间的不一致性,并采取措施消除可能激增的差异,而不是减少混淆。

我们建议的第二个行动方案是在可行的情况下使用数值概率代替语言概率。如果关于不确定性,风险和概率的通信尽可能准确,那么前面回顾的科学文献就可以使用数值概率。数值概率可以是精确的(例如,87.5%的几率)或不精确的(例如,75%的下雨几率加上或减去10%)。然而,即使这种概率表达不精确,它们也不含糊。

结论

情报界应采用基于证据的方法来监测和改进其性能。这种方法将解决上述关键挑战,并加强情报界的问责流程,使其能够更好地保护自己免受因重大错误而导致责备的不利后果(Tetlock&Mellers,2011)。决策科学有利于协助情报界,因为它的测量和测试认知和行为的定量方法,人类判断和决策的理论模型,以及处理应用问题的历史。情报界应该利用它。

本文源自微信公众号:丁爸 情报分析师的工具箱

【论文】演变中的五眼情报联盟:历史与现状

内容摘要 通过分析五眼情报联盟的演变历史与现状,进一步丰富我国对该情报网络的研究,为我国提供对策与借鉴建议。根据美国近年公开的历史档案、前官员的讲话记录、国外相关研究成果,综合运用历史分析法和文献研究法,试图描绘出该情报网络的演变路径并评估

人已赞赏
安全工具

【情报论文】对于美国情报的认识

2019-10-15 16:02:13

安全工具

【培训】第十届刑侦、禁毒、反恐新技术新产品应用交流暨高峰论坛11月将在海口举办

2019-10-15 16:02:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索