文本预处理--分词模式 - f

pip install jieba
该库用来实现不同模式的分词功能

import jieba
# print(jieba.__version__)
# print(type(jieba))#1.jieba实现精确模式的分词
def bu_dong1():content = "传智教育是一家上市公司，旗下有黑马程序员品牌。我是在黑马这里学习人工智能"#返回的是生成器，用for循环、list,next(a)来取出# seg_list1 = jieba.cut(content,cut_all=False)# print(f'seg_list1---》{seg_list1}')# for value in seg_list1:#     print(value)seg_list2=jieba.lcut(content,cut_all=False)print(f'seg_list2---》{seg_list2}')#2.jieba实现全模式的分词
def bu_dong2():# 定义一个字符串变量content，存储关于传智教育和黑马程序员的信息content = "传智教育是一家上市公司，旗下有黑马程序员品牌。我是在黑马这里学习人工智能"# 返回的是生成器，用for循环、list,next(a)来取出seg_list1 = jieba.cut(content,cut_all=True)print(f'seg_list1---》{list(seg_list1)}')#list强转# for value in seg_list1:#     print(value)# seg_list2 = jieba.lcut(content, cut_all=True)# print(f'seg_list2---》{seg_list2}')#3.jieba实现搜索引擎模式的分词
def bu_dong3():content = "传智教育是一家上市公司，旗下有黑马程序员品牌。我是在黑马这里学习人工智能"#返回的是生成器，用for循环、list,next(a)来取出# seg_list1 = jieba.cut(content,cut_all=False)# print(f'seg_list1---》{seg_list}')# for value in seg_list1:#     print(value)seg_list3=jieba.lcut_for_search(content)print(f'seg_list3---》{seg_list3}')
if __name__ == "__main__":bu_dong1()bu_dong2()bu_dong3()