【PPT】大数据时代下的情报方法体系

释放双眼,带上耳机,听听看~!

【观点】国家情报分析需要民间力量积极参与

 在信息时代之前,国家安全、战略、战术、犯罪等情报分析都是专门的机构和人员进行的,普通民众是很难有机会参与的。 随着全球信息化的发展,各种民间公司和普通民众也有机会参与到国家情报分析的行业中来。 美国情报界由以下17个组织组成:  两个独立机构 :

《网络海量信息环境下的情报方法体系研究》

1 情报方法研究缘由

1. 1 情报方法的研究范畴

哪些方法属于情报方法,哪些方法不属于情报方法,这是一个值得探讨的话题。笔者认为,凡是在情报研究中需要或可能用到的方法都属于情报方法研究范畴,不管这些方法来自于其他学科,还是来自于情报学科本身,都值得我们去发现、探索、改进与梳理。

情报方法按照来源可分为两个大类: 

一类是借鉴其他学科的方法,如趋势外推法、时间序列法、关联规则方法等;

一类是学科特有的方法,如引文分析方法、空白点分析法、非相关文献知识发现方法等。

1. 2 情报方法的表现形式

情报方法从形式上还表现为模型、算法、指标等。

模型包括框架类模型与数学模型,SWOT 分析方法其实就是一种框架类模型,“事实型数据 + 专业方法工具 + 专家智慧”的现代情报工作模式也是一种框架类模型。

框架类模型是一种宏观的指导思路与框架,有些具体的问题求解,则需要良好的数学模型与算法。

算法是某些方法的具体体现,一旦到算法阶段,说明方法具有很强的可实现性。有些方法则表现为面向评价或预测设计的指标及指标体系,如 h 指数、竞争力评价体系等。

1. 3 情报方法的发展路径

《孙子兵法》中阐述了许多关于情报的战略思想与战术方法,这些方法主要是人工定性的。

现代情报方法起初也都是人工定性的,如头脑风暴法、SWOT 分析法等。

后来又出现了很多人工定量的方法,如德尔菲法、主成分分析法。

随着计算机技术的发展,很多定量的方法移植到计算机上使用,如层次分析法、引文分析法、蒙特卡罗模拟法等。

时至今日,计算机定性方法也不可小视,这类方法主要来源于智能科学的方法,如神经网络、遗传算法、潜在语义模型、粗糙集等。

这些方法被广泛应用于信息检索与过滤、文本分类与聚类、信息抽取、知识发现、情报监测等,这些应用都是现代情报工作的重要内容。

1. 4 情报方法的研究层面

关于情报方法研究有 3 个层面: 

①提出新的方法;

②改进或移植现有的方法; 

③对现有的众多方法进行梳理总结,使之规范化、流程化。

提出一种新的方法,这是我们每一位情报学研究人员都梦寐以求的,当然这种难度是比较大的。

改进或移植其他学科的方法,这一点我们做得非常多,只不过对这种改进或移植的机制缺乏深入的研究,今后应该特别关注将这些方法引用到本学科的适用性、局限性,并探索如何针对学科特点进一步改进与发展那些方法。

对现有的方法进行梳理总结,有利于深入情报实践、提高情报工作效率、提升情报产品质量。

2 情报方法相关研究综述

包昌火编著的 《情报研究方法论》一书是关于情报研究方法的经典之作,对于指导情报研究实践发挥了重要作用。但是,该书的方法主要集中在情报研究或信息分析这个环节,对于信息采集、信息加工等方法涉及很少。

而且随着时代的不同,数字化、网络化、海量化的情报工作环境需要有新的情报方法来应对。

20 世纪 80 年代以来,我国情报界兴起了关于情报学方法论体系的讨论。1983 年,钱学森在 《科技情报工作的科学技术》一文中提及综合方法、系统分析方法。

1997年,卢泰宏在 《信息分析》一书中,把方法分为三类: 哲学方法、一般方法和具体方法。周文骏的 “四层次说”则包含哲学方法、一般方法、相邻学科方法和专门方法。

1990 年,包昌火在《情报研究方法论》一书中提出情报研究方法论的原则之一是一般方法和特殊方法相结合,指出 “观察方法、实验方法、逻辑方法、系统方法则是自然科学研究的一般方法”。

朱庆华在《信息分析基础、方法及应用》一书中,介绍了邹志仁于 1992 年提出的情报研究方法体系结构,在一般方法层次上有德尔菲法、趋势外推法、灵感思维法、形象思维法、综合法、推理法、分析法和对比法。在特殊方法中有情景分析、引文分析和文献计量学法。

刘东维的《情报研究方法论纲》认为,按情报学研究的时间特征分三大类,即回归型、分析型和预测型,该文作者还主张构建情报学一整套的研究方法及评价体系。

卢泰宏提出了情报分析方法的六大主要来源: 建构是由相关分析技术、预测技术和评估技术三大块方法组合的,由定量方法、定性方法和拟定量方法交叉实现的情报分析方法总体结构的框架,并在结构框架中列举了 16 种方法。

王芳等以 1999—2008 年 《情报学报》论文为分析样本,对每种方法在情报学报论文中所占的比重以及年度变化情况进行了分析,运用情报学的方法对情报学研究方法进行了计量分析。

刘植惠在《情报学研究方法论探索》一文中指出,情报专门研究方法包括空白点分析法、等级排序法、引文相关法、聚类映像法、知识基因法等。

邱均平与王曰芬专门撰书对文献计量分析法与内容分析法进行了综合研究。

情报专家不仅在方法的层次体系上进行了划分,而且在情报的分类应用上也展开了研究。阐述学科战略情报研究的内涵、主要内容、研究层面、研究的理论基础与方法,结合学科战略情报研究实践,列举相关实例加以分析。

在分析军事情报研究方法体系现状的基础上,探讨了军事情报研究方法体系的构建以及军事情报研究方法体系的特点。认为凡是在军事情报研究活动各阶段中应用到的理论原理、思维程序、研究手段等都属于军事情报研究方法的范畴。

根据实际决策所经历的过程,提出了情报研究的完整过程应该由情报搜集、情报加工、科学预测、决策研究4 个部分组成,从而引出了新的情报研究方法体系。

将判断和预测研究对象未知发展状态的各种情报研究方法,根据各自描述研究对象情报特征的途径与方法的不同,聚类为基于数据的方法、基于文献的方法、基于知识的方法、基于人的方法、基于组织的方法和基于认知的方法等 6 类方法,详细分析了它们的共性特征、情报功能及关联性,为情报学方法论构建了一个全新的框架体系,使之得以更加有效有序、科学化的运用。

进一步把情报分析方法总结为数据范式、文献范式、人际范式、机构范式和认知范式等 5 种范式。

从情报研究的分析单元角度,总结现有情报研究方法的发展现状,分析情报研究方法的发展趋势。按适用对象划分的情报方法如表 1 所示。

【推荐】知远战略与防务研究所

知远战略与防务研究所(以下简称知远所)起源于2001年初所建立的“美国军事网站”,2008年开始筹建并于2013年4月在江阴正式获批,正式成为具有独立法人资格的非政府组织(NGO) 官网地址:http://www.knowfar.org.cn/ 知远所是一家独立的战略和防务研究机构,立足

上述文献对研究方法进行了较好的归类与总结,但是很少按照情报工作的流程来介绍方法。即情报工作需要哪些流程,每一步流程中有哪几种方法,每种方法有何优缺点。

情报工作从流程上讲主要包括 3 个过程: 

想方设法获取信息; 

利用知识对信息进行分析以期得到情报;

把情报传递给相关用户提供决策参考或决策支持。

因此,本文针对这一流程对情报过程中所需要的方法进行梳理总结,即信息采集与获取方法、信息分析处理方法、情报研究与传递方法。

3 信息采集与获取方法

信息采集与获取是情报工作的基础。信息采集与获取方法包括查找信息、下载信息、提取信息 3个过程,即“知其有,得其物,取其用”。信息采集与获取方法如图 1所示。

3. 1 查找信息

网络信息检索涉及搜索引擎使用技巧、网络全文检索技术与方法。

情报人员的专业搜索能力主要表现在以下 3个方面: 

对于网民找不到的信息,情报人员能找到; 

对于网民花 10min 找到的信息,情报人员仅用 10s 找到; 

对于网民找到一堆杂乱无章的信息,情报人员能迅速对这一堆信息进行分类、排序等。

情报人员能够了解各种网络数据库的数据范围、检索技巧、实现技术等,掌握这些信息系统的共性与差异性,能够集成不同数据源的信息并能够找出信息与实际信息量的差距。

在此基础上实现情报检索的“广、快、精、准”,例如,能够把每次使用搜索引擎得到的检索结果控制在百条之内,甚至是 10 条之内。

3. 2 下载信息

网络信息下载包括防拷贝网页信息获取方法、单网站整体信息获取技术与方法、定题信息采集方法、网络信息监测方法等。掌握这些技术与方法是情报人员区分于一般网民的关键所在。

有些网页信息为了防止别人任意复制,对网页信息复制进行了限制。如何获取这类信息是我们进行信息采集过程中经常遇到的问题。对于这类情况可以采取网页另存、直接从源代码中复制相关信息、截取网页代码重新生成本地网页等方法进行强行复制信息。

网站整体信息获取技术与方法主要包括使用网站下载软件、通过URL 获取信息、使用 For 循环批量下载以及自制浏览器批量下载等。

定题信息采集方法包括使用爬虫软件下载、竞争情报采集等。

3. 3 提取信息

信息提取包括网页信息垃圾内容过滤、网页信息内容提取、PDF 文件内容抽取等。

网页垃圾信息包括网页广告、某类弹出对话框、恶意堆砌的关键词等信息。

通过与主题相关性判断进行排除过滤,如利用 HTMLParser 等工具对网页内容进行解析; 从网页中抽取人名、地名等命名实体识别,并应用于科技热点探测、竞争情报系统中的新产品监测,这都是现代情报领域的典型任务。

网络上的很多论文、报告除了直接以网页形式展现外,多数是以 PDF格式展现的,因此关于 PDF 文件内容的抽取便成了信息抽取的重要内容。在了解 PDF 结构的基础上调用一些现成的工具进行抽取,如 PDFBox 等软件包进行抽取。

4 信息分析处理方法

信息分析处理包括数据融合方法与数据清洗方法等两大类数据预处理方法,以及计量分析方法、聚类分析方法、路径分析方法、关联分析方法、共现分析方法、奇异值分析方法、社会网络分析方法七大类信息分析方法,如图 2 所示。

数据融合方法包括多源数据融合方法、异构数据融合方法、多语种数据融合等三类方法。

例如从CNKI 和万方数据下载同一主题的信息,由于这两家数据库可能收录都不全,只有把两家的数据融合在一起,信息才比较全。

异构数据融合方法指不同数据结构的信息融合到一起,如期刊论文、学位论文、项目、著作、专利、会议等多种数据融合。

在情报研究过程中,经常会碰到多语种数据的融合集成分析或者不同语种信息之间的对比分析。

数据清洗方法包括数据过滤方法、数据去重方法、重名区分方法、别名识别方法、数据降维方法等。

数据清洗的过程是过滤掉不符合需求的数据。不同渠道的数据汇集到一起就会造成某些数据的重复,在信息分析之前需要过滤掉重复的数据。

要对信息进行分析,需要把对同一数据的不同描述进行归一,包括同义词的转换,缩略语与全称的转化等。

信息分析方法包括计量分析方法、聚类分析方法、路径分析方法、关联分析方法、共现分析方法、奇异值分析方法、社会网络分析方法等,如表 2 所示。

相关性原理作为情报学的基本原理,为情报关联分析提供了扎实的理论基础,在此基础之上,产生了很多关联分析方法,如关联规则挖掘方法、链接分析方法、非相关文献知识发现方法等。

共现分析方法包括共词分析、共句分析、共引分析、共被引分析、共链分析、合著分析等。

共词分析用于检索、聚类等。共句分析用于抄袭检测、参考文献自动标注。共引分析与共被引分析常用于科学评价。

合著分析其实也是一种作者共现的分析。共链分析用于网页信息的相关性分析。

奇异值分析方法包括孤立点分析法、噪声分析法、新颖性探测方法。奇异值分析,也称孤立点分析、特殊情况分析,这些奇异值既可能是噪声,也可能是新颖点。

社会网络分析方法是近期较为流行的方法,包括关联性分析、中心度分析、凝聚子群分析、结构对等性分析方法等。社会网络分析往往通过可视化技术手段进行展现,包括网络图、地形图、雷达图、谱系图等。

5 情报研究与传递方法

通过上述分析,如何把分析结果应用于情报服务,提供决策支持或决策参考是衡量情报研究水平的重要标志。情报研究与传递方法主要包括 “去粗取精、去伪存真”,“见微知著、化零为整”、“知彼知己、偷梁换砥”三大类

方法,如图 3 所示。

 “去粗取精、去伪存真”在情报工作中发挥重要作用。

去粗取精更多的是针对信息分析层面,如上节提到的数据融合、数据清洗、聚类分析等。

真实性是情报的一个非常重要的要素,辨别单个信息的真伪,或者从大量信息中识别真信息和假信息,都是情报分析的首要任务。去伪存真的方法包括情境分析判断方法、逻辑一致检测方法、关键数据校验方法等。

见微知著,是根据事物的一些苗头,分析它的发展趋向。

在现代科技情报工作中,常用见微知著的方法使信息变成情报,包括运用趋势预测方法、技术预见方法、技术路线图等方法对某一研究领域或主题进行分析,分析其发展前景、发展过程中会遇到的问题,并针对这些问题,列出一些备选的方案。

见微知著是指从时间维度上的变化,对于空间维度的变化则体现为化零为整的方法。化零为整的方法是指对于零星的信息,甚至是在一般人或决策者看来杂乱无章、没有多大价值的信息,经过情报工作者的精密分析,往往会发现具有重要价值的情报。

情报工作中,最关键的方法就是敌我双方力量的对比,经过对比分析,认清自己所处的地位与处境,SWOT分析中的优势与劣势就是作对比分析,在分析清楚地位与处境的基础上想方设法把威胁转化为机遇。

对于科技情报工作,对比分析是常用的一种方法,甚至还延伸出专门的定标比超方法等。通过对比分析,找出差距,分析出现差距的原因,并结合己方的实际情况,提出改进的措施和建议,从而构成分析研究报告。

知彼知己反映了敌我双方的情况,偷梁换砥则常用于信息发布者与信息使用者之间的博弈。

情报工作者有时并不遵从信息发布者的原意来使用信息,而是从另外一种角度来分析、理解和使用信息。通过这种分析,改变了信息的原有功能,例如根据招聘信息分析出研发计划。

从情报的作用角度讲,情报研究与传递方法主要包括: 决策支持方法与决策参考方法。

决策支持方法包括决策树方法、推导树方法、循证决策方法、主观 Bayes 方法、动态修正情报的 Bayes 推断模型、模糊决策方法等。

推导树法是一种用于情报研究的技巧性和效益都较好的推测工具。提出并讨论了这种方法,详细分析了两种推导树法──限定树和发展树。

循证决策是决策支持的常用方法,影响循证决策效果的 3 个要素是: 研究证据、可利用的资源以及政策的价值取向。循证决策方法的适用范围包括学科或领域情报研究方法、产业或行业情报方法等,不同内容的报告所涉及的撰写方法有所不同。

除此之外,情报研究与传递方法还涉及推送方法、情报反馈机制与方法,情报对决策的作用评估方法、情报失误与失察检测方法,情报传递时效监控方法等。与信息分析方法相比,情报传递与服务的方法研究尚没有形成成熟的体系,这方面的研究应该引起重视。

6 情报方法的特点与发展趋势

通过对以上方法的梳理,笔者认为网络信息环境下的情报方法具有以下特点和发展趋势。

1) 针对情报工作流程是情报方法研究的新特点。

只有针对情报工作,对情报工作流程中所涉及的方法进行总结,按现代情报工作的需求开发研究新的情报方法,提高情报方法的适用性、针对性和有效性,是情报方法研究的基本特点之一。方法也将呈现出细分化、专业化的特点。

2) 综合运用多种方法。

综合运用多种方法将贯穿整个情报过程。情报搜集需要多种方法,情报分析需要多种方法,情报传递与服务也需要多种方法。

过去经常强调定性方法与定量方法相结合,现在不仅仅是两类方法的结合,还有统计与规则的结合,预测与评价的结合,等等。不同方法除了逻辑上共同使用之外,还需要强调不同方法之间的前后衔接。只有综合运用多种方法,才能提高情报研究的科学性、系统性。

3) 方法的技术性越来越强。

由于现代情报工作主要来源是信息,信息呈现出数字化、网络化、海量化的新特点,这一特点要求现代情报工作需要采取更多的技术手段以提高效率与水平。因此很多方法的设计本身就是与技术紧密结合在一起的。

例如,信息采集方法、数据融合方法、聚类分析方法、共现分析方法、社会网络分析方法,等等。这如同传统的谍报人员需要掌握开锁方法、破译密码方法、雷达监测方法一样都具有很强的技术特征。

4) 方法越来越强调对基础资源的依赖。

有些方法如果没有基础资源的支撑,就很难发挥出作用。

例如,对论文专利等信息进行处理时经常需要分词,向量分词是一种很好的方法,但是如果没有一部好的词典,方法根本没有办法使用,如果使用主题词表或叙词表作为分词词典,就可以大大提高分词的效率与准确率。

有了本体可以提高信息检索与知识服务水平,但本体的来源、本体的构建这一基础问题一直没有得到很好的解决。

方法对基础资源的依赖越来越强。本文并没有提出新的方法,只是按照现代网络海量信息环境下的情报实践流程对其方法进行梳理总结,对每一流程所涉及的方法进行归纳重组,方法的梳理也只是列举了有代表性的或者常用的方法,并没有把所有的方法全部列举出来。笔者会在后续的论文中详细论述每个工作流程中所用到的方法,包括方法的适用范围及优缺点等。

参考文献

[1] 化柏林,武夷 山 . 情报方法面面观[J]. 情 报 学 报,

2012,31 ( 3) : 225.

[2] 贺德方. 基于事实型数据的科技情报研究工作思考[J].

情报学报,2009,28 ( 5) :764-770.

[3] 包昌火 . 情报研究方法论[M]. 北京: 科学技术文献出

版社,1990.

[4] 钱军,杨欣,杨娟 . 情报研究方法的聚类分析[J]. 情报

科学,2006,24 ( 10) :1561-1567.

[5] 钱学森 . 科技情报工作的科学技术[J]. 兵工情报工作,

1983 ( 6) : 3-10.

[6] 卢泰宏 . 信息分析[M]. 广州: 中山大学出版社,1998.

[7] 朱庆华 . 信息分析基础、方法及应用[J]. 北京: 科学出

版社,2004.

[8] 刘东维. 情报研究方法论纲[J]. 情 报 学 报,1988,7

( 3) : 186-192.

[9] 卢 泰 宏 . 情报分析方法的结构框架[J]. 情 报 学 报,

1992,11 ( 1) :43-51.

[10] 王芳,王 向 女 . 我国情报学研究方法的计量分析: 以

1999—2008 年 《情报学报》为例 [J]. 情报学报,2010,

29 ( 4) : 652-662.

[11] 刘植惠 . 情报学研究方法论探索[J]. 情报学报,1990,

9 ( 4) : 283-289.

[12] 邱均平,王曰芬 . 文献计量内容分析法[M]. 北京: 北

京图书馆出版社,2008.

[13] 谭宗颖 . 学科战略情报研究方法与实践[J]. 图书情报工

作,2006,50 ( 5) :14-18.

[14] 程立斌,林春应 . 军事情报研究方法体系探析[J]. 情报

杂志,2007 ( 2) : 87-89.

[15] 王慧 . 试论情报研究方法体系[J]. 情报理论与实践,

1988 ( 2) : 21,49

[16] 周军,韩建新 . 试论军事情报研究方法[J]. 图书情报工

作,2005,49 ( 5) :64-66.

[17] 钱军 . 亟需加强以实践为指向的情报分析方法范式研究

[J]. 情报理论与实践,2009,32 ( 2) : 27-28,60.

[18] 冷伏海,冯璐 . 情报研究方法发展现状与趋势[J]. 图书

情报工作,2009,53 ( 2) :29-33.

[19] 化柏林,郑彦宁 . 情报转化理论 ( 下) : 从信息到情报的

转化 [J]. 情报理论与实践,2012,35 ( 4) : 7-10.

[20] 孙绍荣 . 一种新的情报研究方法──推导树法 [J]. 情报

理论与实践,1991,14 ( 2): 7-8,10.

[21] 冷伏海,王建芳 . 科技创新演化循证分析理论与方法研究

论纲 [J]. 图书情报工作,2009,53 ( 6) : 21-23,15.

作者简介: 化柏林,男,1977 年生,副研究员。

本文源自微信公众号:丁爸 情报分析师的工具箱

【数据分析】华尔街: 如何利用“另类数据”预测股价?

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 你一定很好奇,什么是“另

人已赞赏
安全工具

【知识】什么方法可以展现复杂的社会关系

2019-10-15 16:06:49

安全工具

【观点】国家情报分析需要民间力量积极参与

2019-10-15 16:07:01

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索