onehot编码的实现和复用--文本张量 - f

1.所需依赖：tensorflow
我下载的依赖版本是2.16.1，因为2.20版本太高不兼容，会报错CLL动态链接的...
第一个方法是编码的生成和保存
第二个方法是实现对编码的复用
2.pip install安装位置的问题（在cmd管理员权限下，并且激活环境conda activate base/直接使用Anaconda Prompt）
我执行该命令安装以来的时候都会默认安装到用户文件夹下，不能安装到我的anaconda下
方法：pip config list查看：

需要添加第二行，命令 ：python -m pip config set global.user false
3.下载速度慢：
添加国内镜像源：
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
添加之后进行查看：conda config --show channels

4.下载依赖的命令：

# 安装包
python -m pip install 包名
# 安装指定版本，我的2.16.1就是安装的指定版本，包名是tensorflow
python -m pip install 包名==版本号

或者是命令：

# 安装包（默认从配置的频道安装）
conda install 包名# 安装指定版本的包
conda install 包名=版本号

5.文本张量onehot代码练习

import jieba
#tensorflow下的keras下的Tokenizer
from tensorflow.keras.preprocessing.text import Tokenizer
#joblib用于保存对象
import joblibdef dm_onehot_get():#1.准备语料vocabs={'周杰伦','陈奕迅','王力宏','李宗盛','吴亦凡','鹿晗','邓超'}#2.实例化Tokenizertokenizer = Tokenizer()#3.调用Tokenizer的fit_on_texts方法传入语料tokenizer.fit_on_texts(vocabs)#4.生成onehotfor vocab in vocabs:list=[0]*len(vocabs)index=tokenizer.word_index[vocab]-1list[index]=1print(f'{vocab}的onehot编码为{list}')#5.保存训练好的tokenizermypath='./mytokenizer'joblib.dump(tokenizer,mypath)print('tokenizer已保存')
def dm_onehot_use():#集合是无序的vocabs = {'周杰伦', '陈奕迅', '王力宏', '李宗盛', '吴亦凡', '鹿晗', '邓超'}#1.加载已保存的词汇映射器Tokenizer joblib.load(mypath)mypath='./mytokenizer'mytokenizer=joblib.load(mypath)#2.编码token为“李宗盛” 查询单词idx 赋值list，生成onehottoken="邓超"list=[0]*len(vocabs)idx=mytokenizer.word_index[token]-1list[idx]=1print(f'{token}的onehot编码为{list}')
if __name__ == '__main__':dm_onehot_get()dm_onehot_use()