探索网络安全的利器：theHarvester

项目概述

theHarvester 是一个功能强大且易于使用的工具，专为红队评估或渗透测试的侦察阶段而设计。它通过开放源智能（OSINT）收集，帮助用户评估某个域的外部威胁环境。该工具可以从多个公共资源中收集名称、电子邮件、IP地址、子域名和URLs，非常适合信息安全专业人士在进行安全评估和渗透测试时使用。

安装与依赖

1. 系统要求：需要安装 Python 3.12 或更高版本。

2. 安装步骤：

   • 安装 uv：

     curl -LsSf https://astral.sh/uv/install.sh | sh
     

   • 克隆代码库：

     git clone https://github.com/laramies/theHarvester
     cd theHarvester
     

   • 安装依赖并创建虚拟环境：

     uv sync
     

   • 运行 theHarvester：

     uv run theHarvester
     

3. 开发环境：如果需要安装开发依赖，执行以下命令：

   uv sync --extra dev
   

   运行测试：

   uv run pytest
   

   进行代码 linting 和格式化：

   uv run ruff check
   uv run ruff format
   

Passive Modules（被动模块）

theHarvester 提供了多种被动模块，通过这些模块可以收集与域名相关的信息：

• Baidu: 使用百度搜索引擎（https://www.baidu.com）
• BeVigil: 针对移动应用的 OSINT 资产扫描（https://bevigil.com/osint-api）
• Brave: 使用官方 Brave 搜索 API 的搜索引擎（https://api-dashboard.search.brave.com）
• BufferOverun: 快速进行域名查找（https://tls.bufferover.run）
• BuiltWith: 找出构建网站的技术（https://builtwith.com）
• Censys: 通过证书搜索来枚举子域名和收集邮件（https://censys.io）
• Certspotter: 监控证书透明度日志（https://sslmate.com/certspotter）
• Criminalip: 专门的网络威胁情报搜索引擎（https://www.criminalip.io）
• Crtsh: Comodo 证书搜索（https://crt.sh）
• Dehashed: 增强数据安全性的工具（https://dehashed.com）
• Dnsdumpster: 域研究工具，能够发现与某一域名相关的主机（https://dnsdumpster.com）
• DuckDuckGo: 使用 DuckDuckGo 搜索引擎（https://duckduckgo.com）
• Fullhunt: 下一代攻击面安全平台（https://fullhunt.io）
• Github-code: GitHub 代码搜索（https://www.github.com）
• Hackertarget: 提供在线漏洞扫描和网络情报（https://hackertarget.com）
• Haveibeenpwned: 检查您的电子邮件是否泄露（https://haveibeenpwned.com）
• Hunter: 电子邮件查找搜索引擎（https://hunter.io）
• Intelx: 情报搜集引擎（https://intelx.io）
• Leaklookup: 数据泄露搜索引擎（https://leak-lookup.com）
• Netlas: 类似 Shodan 或 Censys 的工具（https://app.netlas.io）
• Onyphe: 网络防御搜索引擎（https://www.onyphe.io）
• OTX: AlienVault 开放威胁交换（https://otx.alienvault.com）
• Pentesttools: 云端工具包，专注于网络和Web应用渗透测试（https://pentest-tools.com）
• Projectdiscovery: 主动收集和维护互联网资产数据（https://chaos.projectdiscovery.io）
• Rapiddns: DNS查询工具，帮助快速查询同一IP的子域名或站点（https://rapiddns.io）
• Rocketreach: 获取实时验证的个人/职业电子邮件、电话号码、社交媒体链接（https://rocketreach.co）
• Securityscorecard: 帮助检测、优先处理和修复供应商风险（https://securityscorecard.com）
• SecurityTrails: 最大的历史DNS数据库的搜索引擎（https://securitytrails.com）
• Shodan: 在线服务，可以查找发现主机的端口和标志（https://shodan.io）
• Subdomainfinder: 查找给定域名的子域名（https://www.subdomain.center）
• Threatminer: 威胁情报数据挖掘（https://www.threatminer.org）
• Tomba: 电子邮件查找工具（https://tomba.io）
• Urlscan: 网站扫描器（https://urlscan.io）
• Venacus: 搜索引擎（https://venacus.com）
• Virustotal: 提供域搜索的服务（https://www.virustotal.com）
• Whoisxml: 提供子域搜索（https://subdomains.whoisxmlapi.com/api/pricing）
• Yahoo: 雅虎搜索引擎（https://www.yahoo.com）
• Zoomeye: 中国版的 Shodan（https://www.zoomeye.org）

通过 API Key 进行的模块

某些模块需要设置 API Key，相关文档可以在 这里 找到。

• BeVigil: 50条免费查询/月，$50可查询1000条。
• Brave: 提供免费和专业计划。
• BufferOverun: 每月100条免费查询，$25提供每月10,000条。
• BuiltWith: 50条免费查询，$2950/年。
• Censys: 500个凭证$100。
• Criminalip: 100条免费查询/月，700,000条每月$59。
• Dehashed: 500个凭证是$15，5000个凭证是$150。
• Dnsdumpster: 每日50条免费查询，$49/月。
• Fullhunt: 50条免费查询，$29/月提供200条查询。
• Haveibeenpwned: 每分钟10个电子邮件查询$4.50，50个查询每分钟$22。
• Hunter: 每月50个免费查询，$34可获取每年12,000个查询。
• Onyphe: 10M结果/月，$587。
• Pentesttools: 每月$95可提供5个资产的网络安全服务。
• SecurityTrails: 每月50条免费查询，$500可获取20,000条查询。
• Shodan: 每月$69用于自由职业者，小型企业359$/月。
• Tomba: 每月25个问题免费，$39可获得每月1000个问题。
• Venacus: 每日1个查询免费，$12可获得每日10个查询。
• Whoisxml: $50可获得2000个查询，$105可获取5000个查询。

总结与同类项目对比

theHarvester 是一个非常强大的 OSINT 工具，适用于安全评估和渗透测试中对外部威胁的识别。其通过多种模块的灵活使用，帮助安全研究人员获取与目标域相关的大量信息。

同类开放源代码项目如 Maltego 和 Recon-ng，尽管也提供了信息收集和分析的功能，但 theHarvester 更加专注于收集特定类型的OSINT信息，如电子邮件和子域名，使用也相对 simpler，更适合快速部署和使用。

通过比较，theHarvester 拥有以下特点：

• 更加简单的安装和配置过程。
• 针对外部威胁情景提供的高度专注的信息收集功能。
• 多种公共资源的集成，帮助用户获取可靠的信息。

通过这些优势，theHarvester 成为信息安全专业人士和渗透测试人员的非凡选择，适合在复杂的安全环境中工作。