2019情报收集指南

时间:2019-11-19 08:00:01 来源:科极网 当前位置:永鑫说网络 > 十字绣 > 手机阅读


(作者:Tek)近来我做了许多开源情报收集方面的工作, 因此为了庆祝2019年的到来, 决定在本指南中总结一下我学到的很多技巧和窍门。当然这不是完美的指南 (没有完美的指南), 但我希望它能帮助初学者学习,以及经验丰富的情报收集黑客发现新的技巧。



01

方法论


那些你随处可见的经典情报收集方法都是分步实施的:

  • 定义需求:你在寻找什么?

  • 获取数据

  • 分析收集的信息

  • 数据的透视分析与报告: 要么通过基于分析刚收集的数据来定义新的需求,或者结束调查并编写报告。

这种方法非常直观,而且或许没有多大帮助,但是我认为定期回到这个方法论上来并花时间让该方法的几个步骤循环交互仍然很重要。在调查过程中,我们常常迷失在收集的数据量中,很难了解接下去调查应往哪个方向进行。在这种情况下,我认为稍作休息并回到第三步、第四步会有所帮助:分析总结你发现的内容,列出可以帮助你定义还有待回答的新的(或更精确的)问题的内容。

我给出的其他建议是:

  • 永不放弃:有时候你会感觉到你已经探索了获取信息的所有可能性。不要放弃,休息一下(花一小时或一天做其他事情),然后再次分析你的数据并尝试从一个不同的视角看待他们。你是否可以使用新的信息来作转置分析?如果你开始就问错了怎么办?贾斯汀·塞茨(Justin Seitz)最近写了篇关于韧性品质的博客文章,给出了几个韧性品质得到回报的例子。

  • 保持证据:信息很快就会在网上消失。假设你做了一次误操作,比如在“推特”上点击了“喜欢”或者对你研究的人产生怀疑,突然之间所有的社交媒体账户和网站都一天天消失了。因此,请保留证据:屏幕截图、档案、网络档案(后续更多的信息)或其他适合你的信息。

  • 时间表很有用:司法鉴定中,时间表和同时发生的事件是关键。它在信息收集中当然不是那么重要,但仍然是组织你的数据的一个非常有趣的工具。网站是在何时创建的?FaceBook上的账户是何时创建的?最后一篇博文是何时完成的?把这都记在表格中,经常让我对正在寻找的东西有很好的了解。

然后我发现还有另外两种有用的方法。第一个是流程图,它们用于通过描述工作流程,以搜索更多基于某种数据类型(如电子邮件)的信息。我见过的最好的流程图,是由Michael Bazzell在IntelTechniques.com完成的。比如这里就是Michael Bazzell研究电子邮件地址时候的工作流程:

电子邮件信息收集工作流程 by Michael Bazzell

过了一段时间后,我认为开始制定你自己的调查工作流程,并随着时间的推移用你发现的新技巧慢慢改进它,是个好主意。

最后一种我建议的长期调查的方法是竞争性假设分析方法(ACH,Analysis of Competing Hypotheses。这种方法是由美国中情局(CIA)在70年代制定的,旨在帮助分析师消除分析中的偏见,并仔细评估不同的假设。考虑到这是个繁重而耗时的方法,但是如果你陷入长达一年之久的调查的话,有时候有个方法可以帮助你仔细评估你的假设也是很好的。


02

准备你的系统


在进入调查之前,你应该考虑几个操作安全方面的问题,以避免使你正在研究的人警觉。访问一个不起眼的个人网站,可能会把你的IP地址和位置提供给你的目标,使用你的个人社交媒体账户可能会导致误操作”点赞“等等。

我在进行调查时遵循以下规则:

  • 使用商业VPN或者Tor来建立你的调查浏览器的所有连接。大多数商业VPN提供不同国家的服务器,Tor允许你选择出口节点国家/地区(choose the exit node country ),因此我尝试选择不会在该情况下举起旗帜的国家(美国对一个美国组织的调查等)。

  • 从与你无关的廉价VPS上执行所有扫描和爬行任务。

  • 使用专用于调查研究的社交媒体账户,并使用假的名字创建。

完成所有这些之后,你现在可以根据需要在深夜进行调查,想多晚就多晚,这时人们能确定谁在寻找他们是相当没有可能的。


03

工具作业


在信息安全中,工具的问题总是令人好奇的问题,以至于没有什么比那些在他们的个人履历中列出无穷无尽的工具列表,而不是他们的技能的人更加困扰我了。所以,让我说直白一点:工具并不重要,重要的是你用工具做的事情。如果你不知道自己在做什么,工具将无法帮助你,它们只会为你提供一长串你无法理解或评估的数据。测试工具,阅读它们的代码,创建自己的工具等,但请确保你了解它们做的的工作。

其必然的结果是没有完美的工具包。最好的工具包就是你所知道、喜欢以及掌握的工具包。但是,让我告诉你我使用的是什么以及你可能感兴趣的其他工具。


04

Chrome浏览器与插件


我使用Chrome作为我的调查研究的浏览器,主要是因为Hunchly仅适用于Chrome(见后文)。我还给它添加了一些有用的插件:

  • archive.is Button允许在在archive.is中快速保存网页(稍后会详细介绍)

  • Wayback Machine在archive.org”互联网档案室网站”的Wayback machine(时光机)中搜索存档的页面

  • OpenSource Intelligence可以快速访问许多OSINT开源情报收集工具

  • EXIF Viewer允许快速查看图像中的EXIF数据

  • FireShot可以快速截屏


05

Hunchly


我最近开始使用Hunchly,它是个很棒的工具。Hunchly是Chrome扩展程序,可以保存、标记和搜索你在调查期间找到的所有web数据。基本上你只需在开始调查时点击扩展程序中的“捕获”按钮,Hunchly会将你访问的所有网页保存在数据库中,从而允许你向它们添加注释和标记。

它每年的花费为$130,考虑到它有多大的帮助,这其实并不是很多。


Hunchly Dashboard 仪表板的屏幕截图


06

Maltego


Maltego与其说是个OSINT开源情报收集工具,说它是威胁情报工具会更合适,并且有很多局限性,但是图表通常是表示和分析调查数据的最佳方式,而Maltego对此表现不俗。基本上Maltego会提供GUI(图形用户界面)来表示图形,并进行转换以查找新数据(例如,从被动DNS数据库查找链接到某个IP地址的域名)。它有点(第一年为99美元/年,然后是每年续订499美元),它可能只有在你还进行威胁情报或大量基础设施分析时才值得。你也可以使用Maltego Community Edition,虽然会限制转换的使用和图形的大小,但是对于小型调查来说,它应该足够了。


Maltego的屏幕截图(来源:Paterva)


07

Harpoon


我开发了名为Harpoon的命令行工具(有关详细信息,请参阅此处 此处  的博客文章)。它最初是个威胁情报工具,但我为OSINT开源情报收集添加了许多命令。它在Linux上是使用python3来运行(但MacOS和Windows也应该能运行)和开源的。

例如,你可以使用Harpoon在密钥服务器上搜索PGP密钥:


1$ harpoon pgp search tek@randhome.io
2[+] 0xDCB55433A1EA7CAB  2016-05-30      Tek__ tek@randhome.io

运行Harpoon命令搜索PGP密钥

有一长串插件的清单,大家随时可以建议或开发更多插件或为新的有趣功能特性创建问题。


08

Python


通常,你会得到特定的数据收集和可视化任务,这些任务无法使用任何工具轻松完成。在这种情况下,你必须编写自己的代码。我使用Python,任何现代编程语言都可以正常工作,但我喜欢Python的灵活性和大量可用的函数库。

Justin Seitz(Hunchly的作者)是一位Python和OSINT开源情报收集方面的参考者,你一定要看看他的博客Automating OSINT和他的书Black Hat Python(《Python 黑帽子:黑客与渗透测试编程之道》)。


09

你可能还喜欢


当然OSINT开源情报收集还有许多其他工具,但我发现它们在我的日常工作中不是那么有用。以下是你可能想要核对的一些工具,它们很有趣并且做的很好,但是并不真正符合我的习惯:

  • SpiderFoot是通过许多不同模块收集信息的侦察工具。它有很好的Web界面,并生成显示不同类型数据之间链接的图表。我不喜欢它的是,它被认为是为你找到一切的神奇工具,但没有工具可以取代你、知道你在寻找什么并分析结果。是的,你必须自己进行研究并逐一阅读结果,SpiderFoot对此没有多大帮助。尽管有良好的工作表现和漂亮的界面。


SpiderFoot截图(来源:spiderfoot.net)

  • recon-ng是很好的CLI(command-line interface,命令行界面)工具,用于查询不同的平台、社交媒体或威胁情报平台。它与Harpoon事实上非常接近。我不使用它,因为我已经使用符合我需要的Harpoon,我不太喜欢它提供的shell界面。

  • Buscador是嵌入了许多不同OSINT开源情报收集工具的Linux虚拟机。虽然我总是喜欢拥有自己的自定义系统,但这是一种尝试新工具的好方法,而无需逐个安装它们。


10

现在开始


现在让我们进入真正的主题:什么可以帮助你进行OSINT开源情报收集?


上一篇比方便面还垃圾的晚餐,却成了年轻人的最爱,“傻瓜”才会天天吃

下一篇马鲛鱼几款销魂的吃法,再也看不上其他的鱼类了

相关文章:

十字绣本月排行

十字绣精选