开源情报 （OSINT） 含义

开源情报 （OSINT） 是一种从公共或其他开源收集信息的方法，可供安全专家、国家情报机构或网络犯罪分子使用。当网络防御者使用时，目标是发现攻击者可能使用的与其组织相关的公开可用信息，并采取措施防止这些未来的攻击。

OSINT 利用先进的技术来发现和分析大量数据，这些数据是通过扫描公共网络、社交媒体网络等公开来源和深网获得的，这些内容不会被搜索引擎抓取，但仍然可以公开访问。

OSINT 工具可以是开源的，也可以是专有的：应区分开源代码和开源内容。即使该工具本身不是开源的，作为 OSINT 工具，它也提供对公开可用内容的访问，称为开源情报。

OSINT的历史

OSINT 一词最初由军事和情报界使用，表示收集有关国家安全问题的具有战略重要性的公开信息的情报活动。

在冷战时期，间谍活动的重点是通过人为来源 （HUMINT） 或电子信号 （SIGINT） 获取信息，而在 1980 年代，OSINT 作为一种收集情报的另一种方法而备受关注。

随着互联网、社交媒体和数字服务的出现，开源情报允许访问大量资源，以收集有关组织 IT 基础设施和员工各个方面的情报。安全组织意识到，他们必须收集这些公开可用的信息，以便比攻击者领先一步。

首席信息安全官的主要目标是查找可能对组织构成风险的信息。这使首席信息安全官能够在攻击者利用威胁之前降低风险。OSINT 应与常规渗透测试结合使用，其中通过 OSINT 发现的信息用于模拟组织系统的破坏。

攻击者和防御者如何使用 OSINT

OSINT 有三种常见用途：网络犯罪分子、网络防御者以及那些试图监控和塑造公众舆论的人。

安全团队如何使用 OSINT

对于渗透测试人员和安全团队，OSINT 旨在揭示有关内部资产的公共信息以及组织外部可访问的其他信息。组织意外发布的元数据可能包含敏感信息。

例如，可以通过 OSINT 显示的有用信息包括开放端口;具有已知漏洞的未修补软件;公开可用的 IT 信息，例如设备名称、IP 地址和配置;以及属于该组织的其他泄露信息。

组织外部的网站，尤其是社交媒体，包含大量相关信息，尤其是有关员工的信息。供应商和合作伙伴也可能共享有关组织 IT 环境的特定详细信息。当一家公司收购其他公司时，他们的公开信息也变得相关。

威胁参与者如何使用 OSINT

攻击者对 OSINT 的常见用途是检索社交媒体上有关员工的个人和专业信息。这可用于制作鱼叉式网络钓鱼活动，针对有权访问公司资源的个人。

LinkedIn是这种开源情报的重要资源，因为它揭示了职位和组织结构。其他社交网站对攻击者来说也非常有价值，因为它们会披露出生日期、家庭成员和宠物姓名等信息，所有这些都可用于网络钓鱼和猜测密码。

另一种常见的策略是使用云资源扫描公共网络，以查找未修补的资产、开放的端口和配置错误的云数据存储。如果攻击者知道他们在寻找什么，他们还可以从 GitHub 等网站检索凭据和其他泄露的信息。没有安全意识的开发人员可以在他们的代码中嵌入密码和加密密钥，攻击者可以通过专门的搜索来识别这些秘密。

OSINT的其他用途

除了网络安全之外，OSINT 还经常被寻求监控和影响公众舆论的组织或政府使用。OSINT 可用于营销、政治运动和灾害管理。

OSINT 收集技术

以下是获取公开情报数据的三种常用方法。

被动收集

这是收集 OSINT 情报最常用的方法。它涉及抓取公开可用的网站，从开放 API（如 Twitter API）检索数据，或从深层网络信息源中提取数据。然后对数据进行解析和组织以供使用。

半被动式

这种类型的馆藏需要更多的专业知识。它将流量定向到目标服务器以获取有关服务器的信息。扫描程序流量必须与正常 Internet 流量相似，以避免被检测。

活动集合

这种类型的信息收集直接与系统交互以收集有关它的信息。主动收集系统使用先进技术访问开放端口，并扫描服务器或 Web 应用程序以查找漏洞。

这种类型的数据收集可以被目标检测到并揭示侦察过程。它会在目标的防火墙、入侵检测系统 （IDS） 或入侵防御系统 （IPS） 中留下痕迹。对目标的社会工程攻击也被认为是主动情报收集的一种形式。

人工智能：OSINT的未来？

OSINT 技术正在进步，许多人提议使用人工智能和机器学习 （AI/ML） 来协助 OSINT 研究。

根据公开报道，政府机构和情报机构已经在使用人工智能来收集和分析来自社交媒体的数据。军事组织正在使用 AI/ML 来识别和打击社交媒体渠道上的恐怖主义、有组织的网络犯罪、虚假宣传和其他国家安全问题。

随着 AI/ML 技术可供私营部门使用，它们可以帮助：

• 改进数据收集阶段 — 过滤掉噪音并确定数据优先级

• 改进数据分析阶段 — 关联相关信息并识别有用的结构

• 改进可操作的见解 — AI/ML 分析可用于审查比人类分析师多得多的原始数据，从而从可用数据中获得更多可操作的见解。

OSINT 工具

以下是一些最流行的 OSINT 工具。

Maltego

Maltego 是 Kali Linux 操作系统的一部分，通常由网络渗透测试人员和黑客使用。它是开源的，但需要向解决方案供应商 Paterva 注册。用户可以对目标运行“机器”（一种脚本机制），根据他们想要收集的信息对其进行配置。

主要功能包括：

• 内置数据转换。

• 能够编写自定义转换。

• 内置封装，可以从源收集信息并创建有关目标的数据的可视化。

Spiderfoot

Spiderfoot 是 Github 上提供的免费 OSINT 工具。它与多个数据源集成，可用于收集有关组织的信息，包括网络地址、联系人详细信息和凭据。

主要功能包括：

• 收集和分析网络数据，包括 IP 地址、无类别域间路由 （CIDR） 范围、域和子域。

• 收集电子邮件地址、电话号码和其他联系方式。

• 收集组织运营的帐户的用户名。

• 收集比特币地址。

Spyse

Spyse 是一个“互联网资产搜索引擎”，专为安全专业人员设计。它从公开来源收集数据，对其进行分析，并识别安全风险。

主要功能包括：

• 从网站、网站所有者及其运行的基础结构收集数据

• 从公开的 IoT 设备收集数据

• 标识实体之间的连接

• 报告存在安全风险的公开数据

Intelligence X

Intelligence X 是一项存档服务，可保留因法律原因或内容审查而被删除的网页的历史版本。它保留了任何类型的内容，无论多么黑暗或有争议。这不仅包括从公共互联网上审查的数据，还包括来自暗网、维基解密、已知从事网络攻击的国家的政府网站以及许多其他数据泄露的数据。

主要功能包括：

• 搜索电子邮件地址或其他联系方式。

• 对域和 URL 进行高级搜索。

• 搜索 IP 和 CIDR 范围，支持 IPv4 和 IPv6。

• 搜索 MAC 地址和 IPFS 哈希。

• 搜索财务数据，例如帐号和信用卡号

• 搜索个人身份信息

• 暗网：Tor 和 I2P

• 维基解密 & Cryptome

• 朝鲜和俄罗斯的政府网站

• 公共和私人数据泄露

• Whois 数据

• 垃圾箱：其他一切

• 公共网络

BuiltWith

BuiltWith 维护着一个大型网站数据库，其中包括每个网站使用的技术堆栈的信息。您可以将 BuiltWith 与安全扫描程序结合使用，以识别影响网站的特定漏洞。

主要功能包括：

• 报告网站正在使用的内容管理系统 （CMS）、其版本和当前正在使用的插件。

• 报告网站使用的其他基础结构组件，例如 CDN。

• 提供网站使用的 JavaScript 和 CSS 库列表。

• 提供有关运行网站的 Web 服务器的信息。

• 提供网站部署的分析和跟踪工具的详细信息。

Shodan

Shodan 是一种安全监控解决方案，可以搜索深网和物联网网络。它可以发现连接到网络的任何类型的设备，包括服务器、智能电子设备和网络摄像头。

主要功能包括：

• 易于使用的搜索引擎界面。

• 提供有关在 HTTP、SSH、FTP、SNMP、Telnet、RTSP 和 IMAP 等协议上运行的设备的信息。

• 可以按协议、网络端口、区域和操作系统对结果进行筛选和排序。

• 访问各种连接设备，包括家用电器和公共设施，如交通信号灯和水控制系统。

HaveIbeenPwned

HaveIbeenPwned 是一项服务，受数据泄露影响的消费者可以直接使用。它是由安全研究员特洛伊·亨特（Troy Hunt）开发的。

主要功能包括：

• 确定单个电子邮件地址是否在任何历史泄露事件中遭到泄露。

• 检查 LastFM、Kickstarter、WordPress.com 和 LinkedIn 等流行服务上的帐户，以了解过去的数据泄露情况。

Google Dorking

Google dorking 并不完全是一种工具——它是安全专业人员和黑客常用的一种技术，用于通过 Google 搜索引擎识别暴露的私人数据或安全漏洞。

谷歌拥有世界上最大的互联网内容数据库，它提供了一系列高级搜索运算符。使用这些搜索运算符，可以识别对攻击者有用的内容。

以下是常用于执行 Google Dorking 的运算符：

• Filetype – 允许查找具有可利用的文件类型的公开文件

• Ext – 同样，查找具有特定扩展名的公开文件，这些文件在攻击中可能很有用（例如.log）

• Intitle/inurl – 在文档标题或 URL 中查找敏感信息。例如，任何包含术语“admin”的 URL 都可能对攻击者有用。

• Quotes – Quotes（引号）运算符允许搜索特定字符串。攻击者可以搜索指示常见服务器问题或其他漏洞的各种字符串。

开源调查最佳实践

以下是可以帮助您更有效地使用 OSINT 进行网络防御的最佳实践。

区分数据和智能

开源数据 （OSD） 是从公共来源获得的原始、未经过滤的信息。这是 OSINT 的输入，但就其本身而言，它没有用。开源情报 （OSINT） 是一种结构化的打包形式的 OSD，可用于安全活动。

要成功练习 OSINT，您不应该专注于收集尽可能多的数据。专注于确定特定调查所需的数据，并优化搜索以仅检索相关信息。这将使您能够以更低的成本和更少的努力获得有用的见解。

考虑合规性要求

大多数组织都受《通用数据保护条例》（GDPR） 或其他隐私法规的保护。OSINT 通常收集个人数据，这些数据可以定义为个人身份信息 （PII）。收集、存储和处理此数据可能会给组织带来合规性风险。

此外，如果您在 OSINT 调查中发现犯罪意图，则公开此数据可能有特定的法律要求。例如，在英国，曝光可能泄露正在接受洗钱调查的个人的信息可能会导致无限制的罚款和监禁。

有道德

OSINT 依赖于可公开访问的数据，但此数据的使用可能会影响组织内外的人员。在收集数据时，不仅要考虑您的调查需求，还要考虑数据的道德和监管影响。将数据收集限制在最低限度，以帮助您在不侵犯员工或他人权利的情况下实现目标。

让技术“自动驾驶”收集数据或扫描系统通常会导致不道德或非法的数据收集。道德 OSINT 的一个关键部分是确保数据收集由人类控制，所有利益相关者之间进行有效协作。参与 OSINT 项目的每个人都应该了解道德和法律约束，并应共同努力避免隐私问题和其他道德问题。

由威胁情报提供支持的 Imperva 应用程序保护

Imperva 为应用程序、API 和微服务提供全面的保护，这些保护建立在包括 OSINT 在内的多个威胁情报源之上：

Web 应用程序防火墙 – 通过对应用程序的 Web 流量进行世界一流的分析来防止攻击。

运行时应用程序自我保护 （RASP） – 无论应用程序走到哪里，应用程序运行时环境都可以实时检测和预防攻击。阻止外部攻击和注入，减少漏洞积压。

API 安全 – 自动化 API 保护可确保您的 API 端点在发布时受到保护，从而保护您的应用程序免受攻击。

高级爬虫程序保护 – 防止来自所有接入点（网站、移动应用程序和 API）的业务逻辑攻击。获得对机器人流量的无缝可见性和控制，以通过帐户接管或有竞争力的价格抓取来阻止在线欺诈。

DDoS 防护 – 在边缘阻止攻击流量，确保业务连续性，保证正常运行时间，不影响性能。保护您的本地或基于云的资产 - 无论您是托管在 AWS、Microsoft Azure 还是 Google 公有云中。

攻击分析 – 通过机器学习和整个应用程序安全堆栈的领域专业知识确保完全可见，以揭示噪音中的模式并检测应用程序攻击，使您能够隔离和预防攻击活动。

客户端保护 – 获得对第三方 JavaScript 代码的可见性和控制力，以降低供应链欺诈风险，防止数据泄露和客户端攻击。