如何使用MATLAB NLP工具箱进行文本聚类

前言

在 MATLAB 中使用 NLP 工具箱进行文本聚类主要分为数据预处理、特征提取、相似度计算、聚类算法应用和结果分析五个核心步骤。以下是详细教程：

一、核心流程与代码实现

1. 数据预处理与特征提取

% 加载文本数据
tbl = readtable('documents.csv');

% 文本预处理
documents = tokenizedDocument(tbl.Text);
documents = removeStopWords(documents, 'english');  % 移除停用词
documents = stemWords(documents);  % 词干提取

% 特征提取（TF-IDF）
bag = bagOfWords(documents);
tfidf = tfidf(bag);  % 计算TF-IDF矩阵

2. 确定最佳聚类数

% 轮廓系数法确定最佳K值
silhouetteScores = zeros(10, 1);
for k = 2:10
    idx = kmeans(tfidf, k);
    silhouetteScores(k) = mean(silhouette(tfidf, idx));
end

bestK = find(silhouetteScores == max(silhouetteScores));
fprintf('最佳聚类数: %d\n', bestK);

% 可视化轮廓系数
figure
plot(2:10, silhouetteScores(2:10), 'o-', 'LineWidth', 2)
xlabel('聚类数 K')
ylabel('平均轮廓系数')
title('最佳聚类数选择')
grid on

3. 执行 K-means 聚类

% 使用最佳K值执行聚类
clusterIdx = kmeans(tfidf, bestK);
tbl.Cluster = categorical(clusterIdx);  % 添加聚类标签到表格

% 计算每个聚类的中心点
centroids = zeros(bestK, size(tfidf, 2));
for i = 1:bestK
    centroids(i,:) = mean(tfidf(clusterIdx==i,:));
end

4. 分析聚类结果

% 显示每个聚类的代表性关键词
for i = 1:bestK
    [~, idx] = sort(centroids(i,:), 'descend');
    topWords = vocabulary(bag)(idx(1:10));  % 每个聚类的前10个关键词
    fprintf('聚类 %d 关键词: %s\n', i, join(topWords, ', '));
end

% 可视化聚类分布
figure
gscatter(tfidf(:,1), tfidf(:,2), clusterIdx, 'rgbcmyk', 'osd^v><')
title('文本聚类结果可视化')
xlabel('特征维度1')
ylabel('特征维度2')
legend('Location', 'best')

二、高级聚类技术

1. 层次聚类

% 计算余弦相似度矩阵
similarity = cosineSimilarity(tfidf);
distance = 1 - similarity;  % 转换为距离矩阵

% 执行层次聚类
linkageMatrix = linkage(distance, 'ward');

% 绘制树状图
figure
dendrogram(linkageMatrix, 'Orientation', 'left', 'Labels', tbl.DocumentID)
title('文本层次聚类树状图')
xlabel('距离')

% 切割树状图获取聚类
clusterIdx = cluster(linkageMatrix, 'Cutoff', 0.7*max(linkageMatrix(:,3)));

2. 基于词嵌入的聚类

% 使用预训练词向量
embedding = wordEmbedding(documents, 'NumDimensions', 100);
docVectors = transform(embedding, documents);  % 文档向量化

% 聚类词嵌入表示
clusterIdx = kmeans(docVectors, bestK);

% t-SNE降维可视化
figure
tsneEmbedding = tsne(docVectors, 'NumDimensions', 2);
gscatter(tsneEmbedding(:,1), tsneEmbedding(:,2), clusterIdx, 'rgbcmyk', 'osd^v><')
title('基于词嵌入的文本聚类可视化')
xlabel('t-SNE维度1')
ylabel('t-SNE维度2')

三、评估聚类质量

1. 内部评估指标

% 计算轮廓系数
silhouetteVals = silhouette(tfidf, clusterIdx);
avgSilhouette = mean(silhouetteVals);
fprintf('平均轮廓系数: %.4f\n', avgSilhouette);

% 计算Calinski-Harabasz指数
chIndex = calinhara(tfidf, clusterIdx);
fprintf('Calinski-Harabasz指数: %.4f\n', chIndex);

2. 外部评估指标（已知真实标签时）

% 计算纯度
purity = 0;
for i = 1:bestK
    clusterLabels = tbl.TrueLabel(clusterIdx==i);
    [~, counts] = histcounts(categorical(clusterLabels));
    purity = purity + max(counts);
end
purity = purity / height(tbl);
fprintf('聚类纯度: %.4f\n', purity);

四、实战案例：新闻聚类

% 加载新闻数据集
tbl = readtable('news_articles.csv');

% 预处理
documents = tokenizedDocument(tbl.Content);
documents = removeStopWords(documents);
documents = stemWords(documents);

% 特征提取
bag = bagOfWords(documents);
tfidf = tfidf(bag);

% 聚类（假设已知有5类新闻）
numClusters = 5;
clusterIdx = kmeans(tfidf, numClusters);
tbl.Cluster = categorical(clusterIdx);

% 分析每个聚类的主题
for i = 1:numClusters
    clusterDocs = documents(clusterIdx==i);
    clusterBag = bagOfWords(clusterDocs);
    [~, idx] = sort(counts(clusterBag), 'descend');
    topWords = vocabulary(clusterBag)(idx(1:10));
    fprintf('聚类 %d (主题: %s): %d篇文档\n', ...
        i, join(topWords(1:3), ', '), sum(clusterIdx==i));
end

% 可视化聚类结果
figure
wordcloud(categorical(tbl.Cluster), tbl.Content)
title('新闻聚类词云')

五、优化技巧与注意事项

特征选择：

% 使用信息增益进行特征选择
[~, idx] = informationGain(bag(idxTrain), tbl.Label(idxTrain), 'NumFeatures', 500);
selectedBag = selectFeatures(bag, idx);

处理大型数据集：
matlab
% 使用批处理K-means
opts = statset('UseParallel', true);
clusterIdx = kmeans(tfidf, bestK, 'Options', opts, 'Distance', 'cosine');

文本相似度度量：
matlab
% 使用余弦相似度代替欧氏距离
clusterIdx = kmeans(tfidf, bestK, 'Distance', 'cosine');