071、文本处理实战：从分词到命名实体识别的坑与经验

071、文本处理实战：从分词到命名实体识别的坑与经验

昨天排查一个线上问题，用户反馈商品评论的情感分析总是出错。调试发现，原来“苹果手机不错但苹果太贵”这句话，系统把水果苹果和品牌苹果混为一谈。这种NLP基础问题，恰恰暴露了文本处理基本功的重要性。

分词：你以为简单其实暗藏玄机

直接按空格切分？英文可以这么玩，中文就彻底抓瞎。看这段代码：

# 错误示范：用空格处理中文text="自然语言处理很有趣"words=text.split()# ['自然语言处理很有趣']# 完全没分开，这还处理个啥？# 正确姿势上jiebaimportjieba raw_