业界动态
【AI案例】(一)NPL文本情感分析
2025-01-03 10:08

【AI案例】(一)NPL文本情感分析

通过算法去判断一段文本、评论的情感偏向,从而快速地了解本文原作者的主观情绪。情感分析的结果可以用于舆情监控、信息预测,或用于判断产品的口碑,进而帮助生产者改进产品。(例如:获取一个直播所有评论,为评论标记正负面,然后判断这次直播的效果)。

具体应用还有,电商商品的评论中,差评与提交的文字是否相匹配,如果一个差评匹配的文字情感分析为积极,这种评论的参考价值较低,我们就可以将其展示排序放在偏后面。还有问卷调查中,上万分内容的情感分析。

目前腾讯云和阿里云都有情感分析的API,但目前也只能做到返回正面、中性和反面三种,还不能做到准确判断情绪等级,如将消极评价分为10个等级,如特别消极、消极…,我们可以通过调用这些API,快速得到结果。

目前,网络上有正负面开源语料库,可以用其训练模型。

  • 文本特征较难提取,文字讨论的主题可能是人、商品、事件
  • 文本较难规范化
  • 词与词之前有联系,关联关系纳入模型中不容易
  • 不带情感色彩的停用词会影响文本情感打分,‘打开天窗说亮化’
  • 中文复杂,一个词在不同语境下可能表达完全不一样的情感含义,夏天能穿多少穿多少。
  • 不同语义差别巨大,比如‘路上小心点’
  • 否定词的存在‘我其实不是很喜欢你’
  • 互联网新词‘SKR’
  • 多维情绪识别(发烧友,喜欢级等,对情绪评级)目前还没有完美的方案

这种方法主要有如下缺点

  1. 质量良好的中文情感词典非常少
  2. 不带情感的停用词会影响情感打分
  3. 中文博大精神,词性的多变影响准确性
  4. 无法结合上下文分析情感

1》概述

这一模型结合机器学习或深度学习算法,通过网络公开语料库或者个人预料数据,进行模型的训练。首先,将正负面预料分词,然后将分词词汇映射到高维向量空间中,将词语向量化(此处也用到神经网络训练,然后用向量化后的数据进行模型的训练。最后,将需要预测的数据放入训练好的模型并得出结果。

优势

  1. 解决了多维语义问题
  2. 可利用强大的机器学习,深度学习模型

2》具体步骤如下

1) jieba分词

通过python中jieba分词库,对预料进行分词。jieba分词是国内分词技术做的比较好的库,其创立的目的起初是为搜索引擎分词检索功能创立。

2) Word2Vec介绍(核心:浅层神经网络相关

腾讯有词向量包,腾讯词向量包本质上就是腾讯提供的一个 词语->向量 一一对应的数据包。(这样可以避免实时数据的改变所造成的,每一条数据都会对向量维度造成影响)。

  • google出品

  • 利用高维向量表征词语

  • 把相近的词语放在相近的位置

  • 语料库输入,输出向量空间

3)情感分析模型

根据特征值的情感分析模型包括很多,如SVM模型、朴素贝叶斯模型、KNN模型

a、SVM模型
  • 有词向量就可以使用相关模型进行情感分析

  • 机器学习SVM:二维分类,小数据集效果好

 

上面内容包括模型的训练过程,也可以直接导入训练好的模型进行运算,如下

 
b、LSTM模型

LSTM模型:设计一个记忆细胞,具备选择性记忆的功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担。(而RNN算法是想把所有信息都记住,不管是有用的信息还是没用的信息

  • 神经网络模型LSTM:记忆能力,挑选必要的信息进行传递
 
 

可以直接用sdk,调用sentimentClassify,需要百度云申请的账号。

baidu-aip模型是基于购物消费类数据训练的,所以如果适用场景不是模型的训练场景那么便可能不适用。

 

参考资料

https://zhuanlan.zhihu.com/p/83496936

    以上就是本篇文章【【AI案例】(一)NPL文本情感分析】的全部内容了,欢迎阅览 ! 文章地址:http://keair.bhha.com.cn/news/5086.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多   
最新文章
手机必备软件排行榜(手机必备软件排行有哪些)
  《手机必备软件排行榜》  随着智能手机的普及,各类应用软件也如雨后春笋般涌现。在这浩如烟海的应用中,哪些软件是我们真
手机没充满电(手机没充满电拔了对电池有影响吗)
  关于《手机没充满电》的文章  随着科技的飞速发展,智能手机已经成为我们日常生活中不可或缺的一部分。然而,随之而来的一
哪个手机像素最好(哪个手机像素最好用排行榜)
  关于哪个手机像素最好的探讨  随着科技的快速发展,智能手机已经成为我们日常生活中不可或缺的一部分。在众多智能手机中,
pps播放器手机版(pps网络电视播放器手机版)
  PPS播放器手机版:移动视频的新体验  随着科技的快速发展,移动设备的普及率越来越高,人们对移动娱乐的需求也日益增长。P
公务员用什么手机(公务员用什么手机好)
  公务员用什么手机  随着科技的快速发展,手机已经成为人们日常生活中不可或缺的一部分。对于公务员而言,手机的重要性更是
下载歌曲到手机内存卡(下载歌曲到手机内存卡上)
  下载歌曲到手机内存卡:简单操作指南  随着科技的飞速发展,手机已经成为我们日常生活中不可或缺的一部分。很多人喜欢在手
辣米手机(米辣椒手机最新款)
  辣米手机:科技与时尚的完美结合  在当今智能机市场,辣米手机以其独特的魅力和创新的技术赢得了广大消费者的青睐。辣米手
oppo手机怎么复制(oppo手机怎么复制图片里的文字)
  OPPO手机怎么复制:从基础操作到高级技巧  随着科技的进步,智能手机已经成为我们日常生活中不可或缺的一部分。OPPO手机因
手机预约(手机预约火车票还用抢票吗)
  关于《手机预约》的文章  随着科技的飞速发展,移动互联网已经渗透到我们生活的方方面面,其中,《手机预约》服务更是给我
手机掌上银行(农业银业手机掌上银行)
  手机掌上银行:便捷生活的数字化革新  随着科技的飞速发展,移动互联网已经渗透到我们生活的方方面面,其中,手机掌上银行
相关文章