【情报】数字化时代与美国情报部门的开源信息利用

释放双眼,带上耳机,听听看~!

【培训】明略知识图谱小课堂第1讲 | 从知到行,一站式了解公安知识图谱

昨天,明略知识图谱小课堂正式开讲啦! 明略科技是国内最早在公安行业进行知识图谱实践的企业。自2014年底起,明略就开始在公安客户的指导下,结合公安情报的具体业务,开展知识图谱技术在公安行业实战落地的探索,技术积累和实施经验丰富。 目前,明略科技以

[导读]本文节选自兰德公司2018年9月发布的报告《远景与机会:美国领导层的情报领域规划——情报界应如何更好地履行自己的使命》。本文作者认为,美国作为一个全球大国,其国家利益遍及全球,但美国情报界却没有很好地履行其职责。在如今这个数字化时代,国际环境在快速发生变化,与美国实力相当的对手正在崛起,美国情报界需要进行改革、解放思想,拓宽认识,应充分利用包括公开信息在内的各种信息源和手段来进行情报生产,才能在和平时期和危机暴发时满足决策者和作战指挥官的情报需求。

充分利用开源信息

情报分析人员可以从公共和商业来源获得比历史上任何时候都要多的公开数据。这种增长为决策者和政策制定者带来了相应的信息增长——他们也可以获得与情报界相同的公开信息,而无需等待最终的情报产品。这种数据的广泛可获得性改变了信息范式,使得开源信息,也叫公开信息(PAI),很容易从各种途径获得。

然而,这种丰富的公开信息有时并不是很准确、可靠。政策制定者还是要依靠情报分析人员对各种来源的信息(机密的和非机密的)进行分析,以确定每个信息来源的可信度、准确性和与所关注主题的相关性。这种丰富的信息给情报周期带来了压力。决策者从媒体、社交和互联网上获得开源信息的速度超过了情报分析人员对所有可用资源进行综合、分析和报告的速度。

由公开信息或由公开信息综合分析而来的结果即为开源情报(OSINT),情报机构常常把公开信息和开源情报按另一个分类来对待,类似于另一个情报搜集学科,而不是所有分析产品的基本来源。

领导者可以通过回答以下问题来继续开展全源分析:

在基础情报和目标数据库中,使用公开信息的规程是什么(包括众包信息)?如何对全源情报进行同行评审,以识别分析过程中的偏差、弱点和缺陷?什么样的情报分析技术标准可以用来确定大数据分析和数据科学的可信度和准确性?这些方法通常用于从非机密来源合成大型数据集。

对于包括中情局和国防情报局在内的许多全源情报分析机构来说,这些关于社交媒体数据的问题很简单。这两个情报机构都有从社交媒体中挖掘、综合、分析和评估可用信息的小组。在本章我们将讨论情报界领导层如何通过对现行政策、训练模式和评估机制进行修改以更广泛地将公开信息和开源情报运用到全源情报分析中去。

公开信息的情报价值何在?

在情报界经常听到这样一种说法:“如果它不是机密的,那么它就不是情报”。这种观点认为,机密就是一种区分,而情报部门的特别之处在于,它可以拥有政府以外的组织和个人所无法获得的机密来源和方法。

然而,随着越来越多的高价值来源和方法可从非机密的公开市场上获得,这种观点变得不那么令人信服了。新技术、新方法和新媒体正在使大众能够获得信息搜集和分析能力。情报搜集的技术在公共领域变得更为普遍,其结果是,非政府用户现在比任何时候都更容易获得信息来源及方法。此外,非机密和公开来源和手段通常比依赖于机密源的传统全源程序产生情报价值的速度快得多,而且还没有机密障碍来妨碍其与未经许可的相关方和外国合作伙伴共享。

开源商业图像市场正在蓬勃发展。每个智能手机用户都可以通过谷歌地图免费观看商业图像。政府、企业、非营利组织和个人还可以通过付费从谷歌购买高分辨率图像或更新的图像。据估计,到2023年,商业图像市场的规模将达到68亿美元。

随着越来越多的商家开始发射商业图像卫星,美国国家地理空间情报局已经改变了其业务模式,将非机密商业图像纳入其产品线。非机密图像包括全色(灰度)图像;多光谱图像,可在不同波长的多光谱波段中提供更多的信息;甚至还有合成孔径雷达(SAR)拍摄的夜间和全天候图像。

社交媒体上的非机密信息以及遍布世界各地的非机密传感器也让分析员发现了新的价值,这些分析员以往从来没有接触到如此多样化和高质量的信息来源。例如,朝鲜人权委员会是一个非营利组织,曾对有关朝鲜的非机密图像、囚犯证词进行过人工分析,并翻译了2012年《朝鲜刑法》,仔细寻找朝鲜的任意拘留制度(目的是散播恐惧和压迫民众)和政治犯监狱集中营(旨在将持不同政见者从群众中分离出来并惩罚他们和“多达三代的家庭成员”)之间的区别。他们的分析详细说明了这些营地的位置(如图1所示),这些营地如何运作,以及如何对待囚犯。

图1. 朝鲜监狱和集中营分布图

 

英国民间独立调查新闻机构“贝林凯特”(Bellingcat)采用了不同的方法,在网上公布了民间记者对战争和地下犯罪的调查结果。例如,他们将卫星图像与开源社交媒体上的发帖结合起来,以追踪俄罗斯军队的动向。贝林凯特采用了开源图像(如图2中展示的俄罗斯士兵在网上粘贴的自己的图片)、来自图像的元数据和其它非机密来源的图像来定位俄军的位置和动向。2017年,贝林凯特采用了一位乌克兰人在推特上发布的照片(见图3),和卫星图片一起来展示,推断俄罗斯违背撤除重武器协定。依靠社交媒体数据的分析方法,如果不将这些信息与其它来源结合,就无法得到贝林凯特最后的分析结论。

 

图2. 俄罗斯士兵的照片,在谷歌地球上显示的坐标为东经39°50’2.55″,北纬47°56’10.33″(位于俄罗斯的Pavlovka


图3.来自@GirkinGirkin@loogunda的推特图片

 

上述方法可用于了解大规模杀伤性武器计划和外国导弹技术,这些都是情报部门需要搜集的一些最重要的威胁。贝林凯特利用社交媒体上的照片和帖子、YouTube上的视频、目击者采访、化学分析和其它开源报道,记录了阿萨德政权在叙利亚境内使用化学武器、伊斯兰国武装组织使用化学武器对付库尔德人以及俄罗斯与化武袭击有关的活动。在情报界内部,这些消息来源如果被列为机密,就会被认为是人工情报或测量与特征信号情报,但如果是公开获得,全源情报分析人士就只能核实这些报告的可信度和准确性,但他们往往没有时间或工具去做这两件事。

美国地理空间情报局要求密苏里大学地理空间情报中心的研究人员开发机器学习和人工智能工具,以加速和实现传统上由人类分析员执行的工作的自动化,这种新方法能够发现散布在广阔地理区域的导弹:

研究人员……利用深度学习神经网络协助人类分析人员在中国东南部大片地区目视搜寻地对空导弹阵地。结果显示,这台计算机在大约9万平方千米的区域内平均搜索时间仅为42分钟。

密苏里大学的研究小组报告称,研究结果“比传统的人类视觉搜索效率高出80多倍”,“在准确定位导弹阵地方面,其总体统计精度达到了人类分析师的90%”。

其他非政府组织也在部署他们自己的非机密传感器,而不仅仅是依靠公开信息。挪威地震研究中心(NORSAR)是挪威的一个非营利研究组织,其地震监测站可以检测和测量地震的强度,确定地震是人为的(如核爆炸或常规爆炸)还是自然发生的(如地震),并计算出地震的位置和震级。2017年9月3日,挪威地震研究中心探测到了位于朝鲜的一次地震并报告如下:

“本研究中心在距测试地点约7360千米的地震站记录到了地下核试验爆炸的信号。信号用了11分钟从朝鲜传到挪威,在挪威时间05点41分出现在我们的仪器上。我们对爆炸信号进行了深入的研究,以评估这次核试验的震级及其爆炸威力。我们的评估为结果为6.1级,估计核当量为250千吨。这是朝鲜迄今为止进行的最大规模核试验。


图4. 挪威地震研究中心探测到的朝鲜核试验地震数据

【资讯】人工智能已经开始参与审讯和取笔录了,留给你的时间还有多少?

当警察肯定都是做过笔录的,不会做笔录和没有做过笔录的警察肯定不是真警察。 以前做笔录都是手写笔录,还是学徒时,做的不好的笔录师傅会一把给你撕了,又得花几个小时的时间重新来过,有时一份笔录要写几十页,手都写疼了,字也越写越潦草了。            

 

这些数据,如图4所示,让分析人士得出了这样一个结论:朝鲜声称其进行氢弹试验是有道理的,尽管他们仍然怀疑该政权实现这一目标的技术能力。非机密技术搜集——如果得到情报分析人员的证实——就能为政策制定者提供这样一种能力,即不需要解密就能将确凿证据带入有关联合国决议、制裁和联军行动的国际辩论中。

非政府组织还利用技术搜集和非机密分析方法来分析朝鲜的导弹试验和飞行轨道。分析人士比较了朝鲜在2017年的3次导弹发射,从而计算出该政权的导弹计划是如何将导弹的攻击距离从不足4800千米增加到近11000千米的。图5显示新的射程足以到达芝加哥或更远的地方。



图5.根据3次试验计算和预测出来的朝鲜导弹的飞行弹道

 

2017年10月,朝鲜问题专家马丁·威廉姆斯(Martyn Williams)和互联网技术专家道格·马多里(Doug Madory)发现,俄罗斯电信公司(TransTeleComTTK)与朝鲜之间建立了一条新的互联网连接通道。此前,朝鲜与互联网的唯一连接通道是通过中国;2014年,这条线路曾短暂中断,导致朝鲜无法接入互联网。

威廉姆斯(Williams)和马多里(Madory)在戴恩(Dyn)公司的博客上发表了这条连接通道的网络使用和传输速度。他们的发现促使俄罗斯TTK公司发表了一项声明,但该公司在声明中既没有证实也没有否认与朝鲜存在此类联系。在情报界,这类信息将会被认为是信号情报,而且有可能被划分为高机密情报,但政策制定者可能无法公开利用它来证明俄罗斯和朝鲜之间的这种联系。

全源情报分析员要改变对开源情报的认识

有很多这样例子都展示了使用开源信息和手段来描述朝鲜这个封闭的所谓“隐士王国”中的活动、能力和意图。如果开源信息可以在互联网、社交媒体和地面传感器极为受限的地方发挥作用,那么开源情报对其它情报学科的价值可能会更大。我们根据情报学科对开源能力进行了分类,见图6。

图6. 根据相关情报学科进行分类的开源情报和搜集手段

 

像38North(专门研究朝鲜问题)和贝林凯特等非政府组织的全源分析师专门从事图6中最右栏里的全源分析活动。因此,对于能够访问机密源的情报分析员来说,其价值就是将机密源添加到这些非机密源中,从而生产出比机密或非机密的全源产品本身更有价值的全源情报产品。

然而,为了充分利用各种各样的信息源,每个情报学科的分析人员都需要认识到开源数据和方法的价值,并且要具备使用它们的能力。这种方法在今天的情报界中并不典型,因为所有非机密的信息源往往都被归为开源情报,并统统被认为是开源情报官员及其办公室的职责。如果没有各情报学科、搜集现象学、技术和国家队的专家寻找非机密源来帮助情报分析人员的工作,那他们将会忽略大量可能有价值的数据,因为“这不是我的职责”。

阻碍分析员全面接受公开信息的障碍并不新鲜,克服这些障碍的解决方案也不新鲜。但这并不意味着它们就容易克服。这些障碍包括但不仅限于:

认知偏见

“非我产出综合症”描述了一种认知偏见,这种认知偏见会排斥来自可信机构之外的信息和手段。这种偏见导致一些情报官员有意或无意地认为,来自情报部门之外的信息源和手段都不可能像情报分析员所熟悉的、由他们自己的同事生成的信息源和手段那样高质量或可靠。

“非我产出综合症”的延伸就是认为“如果我们没有搜集到它,我们就不能相信它”。这种心态描述了无法信任那些没有经过机构人员审查的人所搜集的信息,认为那些“外部”搜集可能会捏造数据,从而得出这样的结论:如果不能一直信任所有数据,那么在任何时候受都不能信任任何数据。

这两种认知偏差都适用于分析员的风险补偿模型。那些相信消息来源、但后来被发现存在欺诈行为的分析员会受到惩罚,要么通过正式渠道,要么在同行中感到尴尬。而忽略传统渠道之外的开源情报分析员很少会受到惩罚或羞辱。

通过让分析人员更多地接触公开信息和评估非机密信息来源的可信度的技术,可以减少或消除这些偏见。应该要求分析员定期在团队中使用公开信息及其技术工具,就像情报机构使用结构化分析方法那样。兰德公司之前的一项研究描述了结构化分析方法的好处以及如何去使用它们:

结构化分析方法为分析人员提供了清晰的、通常是逐步进行的指导,以便对情报问题进行分析。通过为分析程序提供更大的结构,它们可减少主观性,增加分析的严密性和透明性。在分析中减少主观性的一个关键因素就是要识别并减少认知偏见。这一改变将建立和增强定期使用开源信息所需要的分析能力,使其具备信心和分析的完整性。通过在团队中实施这些方案,分析人员可以相互学习,而不需要单独承担作为引用公开信息源的唯一分析员所带来的风险。

大数据,大挑战

开源情报的一个挑战是,即使分析员想要使用它们,也有太多的开源数据需要分析,这些信息以太多的格式存在,而分析员却缺乏充分解读它们的分析工具。这一挑战令人生畏,但并非不可克服:分析人员需要数据处理和分析的方法来理解开源的含义,以及处理数据的新政策,而不是将所有数据转移到政府系统中去。

开源情报机构可通过搜集、合成和分析开源情报来为解决这一挑战提供极大帮助,但这些机构通常只处理特定的开源数据子集,并且全源分析人员在如何有效地利用这些功能和产品线方面可能缺乏训练。全源分析员需要掌握更多的数据学技术,并要更好地理解其机构中的同行们所提供的技术。

行动中的行为经济学

在过去的30年里,行为经济学——位于经济学和心理学之间的交叉点——研究了人类的决策和理性选择,为人们为什么更倾向于选择他们认为最容易的道路,而不是能带来更好结果的道路找到了解释。例如,这个领域的研究解释了为什么很少人锻炼和吃健康食品,尽管他们知道这样做会对身体有益。

行为经济学还可以解释为什么分析员不太可能从他们的保密计算机系统切换到非保密计算机,即使他们知道在互联网上可以找到更多有用的数据。那些看似可以克服的障碍——比如跨机密和非机密计算领域工作——可能成为情报改革的障碍。当业务通信、业务流程、数据和数据处理工具主要驻留在机密计算系统内时,情报人员不太可能在非机密系统上执行大量工作。除了这些计算障碍带来的不便和烦恼之外,分析人员任何行为上的改变都包含着数据泄漏的风险(机密数据被泄漏到非机密计算机系统上),这将带来严重后果。交换网络、在IT系统之间移动数据和分析所涉及的工作量和风险太大,而回报——质量更高的情报产品——对个人来说太小。

各情报机构可以通过增加非机密计算系统上的应用程序的数量和质量以及加大向用户提供IT支持的力度来克服这一挑战。就美国地理空间情报局而言,为了能让其员工更多地在非机密系统上工作,他们就必须要对什么样的信息可以安全地在非机密计算机系统上使用有一个清晰的了解,他们还要具备数据传输能力和其它技术工具来安全地传送这些数据。

转载自微信公众号:“保障前沿”


本文源自微信公众号:丁爸 情报分析师的工具箱

【情报实战】通过linkedin分析美国空军

昨天小编给大家介绍了通过运动软件strava进行情报分析的一些方法,今天接着介绍如何结合linkedin(领英)进行情报分析。 我还是接着昨天以美军关岛(Guam)的空军基地为例,继续对美国空军进行分析。 昨天我们在strava上搜索时可以看见在关岛空军基地有一个运

人已赞赏
安全工具

分享一些圈内大佬的BLOG

2019-10-15 16:41:29

安全工具

【转载】神探征集令丨这个活动,很难平静地说给你听!

2019-10-15 16:41:39

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索