文章目录
说明
日期：2025年6月4日。
CSP严格模式是default-src 'none'，但有些web应用中，在爬虫相关文件不存在的情况下，依旧返回了对应文件，而且服务器状态时200，这就导致CSP严格模式违规。
原因是特殊文件的"爬虫友好"设计原则：
- 搜索引擎优化(SEO)的核心文件
- 历史惯例要求这些文件必须可访问（即使内容为空）
- 返回 404 可能被搜索引擎解释为"网站不支持 SEO"。
虽然导致CSP严格模式违规，但并非不能用这些文件。
要根据自身网站需要，对所需的文件创建CSP例外。
示例（返回404）
日期：2025年6月4日。
操作系统：Alibaba Cloud Linux 3.2104 LTS 64位。
应用：
- node.js v22.15.1
- npm v11.4.1
// 需要特殊处理的SEO/安全文件列表
const WELL_KNOWN_FILES = [
'/robots.txt',
'/sitemap.xml',
'/sitemap_index.xml', // 多站点地图情况
'/favicon.ico',
'/ads.txt',
'/security.txt',
'/.well-known/security.txt' // 标准位置
];
// 统一处理：返回404
WELL_KNOWN_FILES.forEach(path => {
app.get(path, (req, res) => {
// 可选：记录访问日志
console.log(`Blocked access to ${path} from ${req.ip}`);
res.status(404).end();
});
});
// 注册静态文件中间件，必须在统一处理之后
app.use(express.static(path.join(__dirname, 'testwebapp')));
示例（创建CSP例外）
日期：2025年6月4日。
操作系统：Alibaba Cloud Linux 3.2104 LTS 64位。
应用：
- node.js v22.15.1
- npm v11.4.1
以sitemap.xml为例。
注：
- 仅当实际提供sitemap.xml时才需要添加例外。
- XML文件本身应该是纯静态的。
- 避免内联样式。
app.get('/sitemap.xml', (req, res) => {
res.set('Content-Security-Policy', "default-src 'none'; style-src 'self'");
res.sendFile(path.join(__dirname, 'public/sitemap.xml'));
});