python学智能算法（十四）|机器学习朴素贝叶斯方法进阶-CountVectorizer文本处理简单测试

【1】引用

前序学习文章中，已经对拉普拉斯平滑和简单二元分类进行了初步探索，相关文章链接为：

python学智能算法（十二）|机器学习朴素贝叶斯方法初步-拉普拉斯平滑计算条件概率-CSDN博客

python学智能算法（十三）|机器学习朴素贝叶斯方法进阶-简单二元分类-CSDN博客

在实践应用中也会发现，朴素贝叶斯方法还能对文本进行分类，今天的学习目标就是学习简单的文本操作技巧，需要使用sklearn里面的CountVectorizer包。

【2】代码学习

首先是引入必要的模块或者说库：

# 引入必要的模块
from sklearn.feature_extraction.text import CountVectorizer

输入待处理的文本：

# 单个文档
document = ["Python programming is fun and useful for data science."]

这里只有一个句子：Python programming is fun and useful for data science.

直接创建一个文本处理器：

# 创建向量化器
vectorizer = CountVectorizer()

CountVectorizer是 scikit-learn 库中用于文本向量化的工具，将文本转换为词频矩阵。CountVectorizer()满足默认配置：

• 自动将文本转为小写。
• 按空格分词。
• 不处理停用词。
• 只考虑单个词。
•  

实际上，vectorizer在这里被定义为一个工具，通过这个工具才可以调用具体的文本处理命令。

然后就是：

X = vectorizer.fit_transform(document)

这里的fit_transform是由fit和transform两个命令合并在一起的快捷操作：

fit命令的作用是分析文本中有哪些词；

transform命令的作用是将文本转化为词频矩阵，有合并同类项的功能。

CountVectorizer()是类的构造函数，vectorizer是实例，fit和transform是实例方法。

然后是查看词汇表操作：

# 查看词汇表
print("词汇表:", vectorizer.get_feature_names_out())

这里的vectorizer.get_feature_names_out()执行后，会按照各个词汇首字母的顺序将组成句子的词依次输出，比如上方的句子Python programming is fun and useful for data science会输出为：['and' 'data' 'for' 'fun' 'is' 'programming' 'python' 'science' 'useful']。

最后的向量输出为：

# 查看向量表示
print("向量表示:", X.toarray())

X.toarray()本质上是输出各个词在句子中出现的次数。

比如上方的句子Python programming is fun and useful for data science，X.toarray()会输出一系列1，因为每个单词出现的频次都是1。

完整代码为：

# 引入必要的模块
from sklearn.feature_extraction.text import CountVectorizer

# 单个文档
document = ["Python programming is fun and useful for data science."]

# 创建向量化器
vectorizer = CountVectorizer()
print('vetorizer=',vectorizer)
# 拟合并转换文档
X = vectorizer.fit_transform(document)
print('X=',X)
# 查看词汇表
print("词汇表:", vectorizer.get_feature_names_out())

# 查看向量表示
print("向量表示:", X.toarray())

代码运行后的输出为：

vetorizer= CountVectorizer()
X=   (0, 6)    1
  (0, 5)    1
  (0, 4)    1
  (0, 3)    1
  (0, 0)    1
  (0, 8)    1
  (0, 2)    1
  (0, 1)    1
  (0, 7)    1
词汇表: ['and' 'data' 'for' 'fun' 'is' 'programming' 'python' 'science' 'useful']
向量表示: [[1 1 1 1 1 1 1 1 1]]

【3】代码测试

实际上要想测试代码非常简单，只需要改变初始句子即可，比如把句子改成：

# 单个文档
document = ["Python programming is fun and useful for data science and math."]

此时的输出就会变成：

词汇表: ['and' 'data' 'for' 'fun' 'is' 'math' 'programming' 'python' 'science'
 'useful']
向量表示: [[2 1 1 1 1 1 1 1 1 1]]

显然，出现了两个and后，向量表示的频次会自动增加。

 【4】细节说明

代码中文本后面的点号不是必须的。

【5】总结

学习了CountVectorizer文本处理的简单应用。