当前课程知识点：深度学习基础 > 第八讲 生成式神经网络 > 附：8.4程序 > 附：2.4程序
# -*- coding: utf-8 -*-
"""
演示内容：文档的向量化
"""
from sklearn.feature_extraction.text import CountVectorizer
corpus = [
'Jobs was the chairman of Apple Inc., and he was very famous',
'I like to use apple computer',
'And I also like to eat apple'
]
#未经停用词过滤的文档向量化
vectorizer =CountVectorizer()
print(vectorizer.fit_transform(corpus).todense()) #转化为完整特征矩阵
print(vectorizer.vocabulary_)
print(" ")
#经过停用词过滤后的文档向量化
import nltk
nltk.download('stopwords')
stopwords = nltk.corpus.stopwords.words('english')
print (stopwords)
print(" ")
vectorizer =CountVectorizer(stop_words='english')
print("after stopwords removal: ", vectorizer.fit_transform(corpus).todense())
print("after stopwords removal: ", vectorizer.vocabulary_)
print(" ")
#采用ngram模式进行文档向量化
vectorizer =CountVectorizer(ngram_range=(1,2))#表示从1-2，既包括unigram，也包括bigram
print("N-gram mode: ",vectorizer.fit_transform(corpus).todense()) #转化为完整特征矩阵
print(" ")
print("N-gram mode: ",vectorizer.vocabulary_)
-1.6 程序讲解：使用Sklearn进行精确率-召回率曲线的绘制
-第一讲 作业
- 2.1 特征工程
-2.4 程序讲解：使用sklearn对文档进行向量化的实例
- 第二讲 讲义
-第二讲 作业
- 3.4 逻辑回归
-3.5 程序讲解：使用sklearn进行线性回归和二次回归的比较的程序示例
-第三讲 作业
-第四讲 作业
-第五讲 作业
-第六讲 作业
-第七讲 作业
-第八讲 作业
