推广 热搜: 公司  快速  中国  上海    未来  企业  政策  教师  系统 

【AI案例】(一)NPL文本情感分析

   日期:2025-01-03     作者:utxj49    caijiyuan   评论:0    移动:http://keair.bhha.com.cn/mobile/news/5086.html
核心提示:通过算法去判断一段文本、评论的情感偏向,从而快速地了解本文原作者的主观情绪。情感分析的结果可以用于舆情监控、信息预

【AI案例】(一)NPL文本情感分析

通过算法去判断一段文本、评论的情感偏向,从而快速地了解本文原作者的主观情绪。情感分析的结果可以用于舆情监控、信息预测,或用于判断产品的口碑,进而帮助生产者改进产品。(例如:获取一个直播所有评论,为评论标记正负面,然后判断这次直播的效果)。

具体应用还有,电商商品的评论中,差评与提交的文字是否相匹配,如果一个差评匹配的文字情感分析为积极,这种评论的参考价值较低,我们就可以将其展示排序放在偏后面。还有问卷调查中,上万分内容的情感分析。

目前腾讯云和阿里云都有情感分析的API,但目前也只能做到返回正面、中性和反面三种,还不能做到准确判断情绪等级,如将消极评价分为10个等级,如特别消极、消极…,我们可以通过调用这些API,快速得到结果。

目前,网络上有正负面开源语料库,可以用其训练模型。

  • 文本特征较难提取,文字讨论的主题可能是人、商品、事件
  • 文本较难规范化
  • 词与词之前有联系,关联关系纳入模型中不容易
  • 不带情感色彩的停用词会影响文本情感打分,‘打开天窗说亮化’
  • 中文复杂,一个词在不同语境下可能表达完全不一样的情感含义,夏天能穿多少穿多少。
  • 不同语义差别巨大,比如‘路上小心点’
  • 否定词的存在‘我其实不是很喜欢你’
  • 互联网新词‘SKR’
  • 多维情绪识别(发烧友,喜欢级等,对情绪评级)目前还没有完美的方案

这种方法主要有如下缺点

  1. 质量良好的中文情感词典非常少
  2. 不带情感的停用词会影响情感打分
  3. 中文博大精神,词性的多变影响准确性
  4. 无法结合上下文分析情感

1》概述

这一模型结合机器学习或深度学习算法,通过网络公开语料库或者个人预料数据,进行模型的训练。首先,将正负面预料分词,然后将分词词汇映射到高维向量空间中,将词语向量化(此处也用到神经网络训练,然后用向量化后的数据进行模型的训练。最后,将需要预测的数据放入训练好的模型并得出结果。

优势

  1. 解决了多维语义问题
  2. 可利用强大的机器学习,深度学习模型

2》具体步骤如下

1) jieba分词

通过python中jieba分词库,对预料进行分词。jieba分词是国内分词技术做的比较好的库,其创立的目的起初是为搜索引擎分词检索功能创立。

2) Word2Vec介绍(核心:浅层神经网络相关

腾讯有词向量包,腾讯词向量包本质上就是腾讯提供的一个 词语->向量 一一对应的数据包。(这样可以避免实时数据的改变所造成的,每一条数据都会对向量维度造成影响)。

  • google出品

  • 利用高维向量表征词语

  • 把相近的词语放在相近的位置

  • 语料库输入,输出向量空间

3)情感分析模型

根据特征值的情感分析模型包括很多,如SVM模型、朴素贝叶斯模型、KNN模型

a、SVM模型
  • 有词向量就可以使用相关模型进行情感分析

  • 机器学习SVM:二维分类,小数据集效果好

 

上面内容包括模型的训练过程,也可以直接导入训练好的模型进行运算,如下

 
b、LSTM模型

LSTM模型:设计一个记忆细胞,具备选择性记忆的功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担。(而RNN算法是想把所有信息都记住,不管是有用的信息还是没用的信息

  • 神经网络模型LSTM:记忆能力,挑选必要的信息进行传递
 
 

可以直接用sdk,调用sentimentClassify,需要百度云申请的账号。

baidu-aip模型是基于购物消费类数据训练的,所以如果适用场景不是模型的训练场景那么便可能不适用。

 

参考资料

https://zhuanlan.zhihu.com/p/83496936

本文地址:http://keair.bhha.com.cn/news/5086.html    康宝晨 http://keair.bhha.com.cn/ , 查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新资讯
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2023022329号