业界动态
【AI案例】(一)NPL文本情感分析
2025-01-03 10:08

【AI案例】(一)NPL文本情感分析

通过算法去判断一段文本、评论的情感偏向,从而快速地了解本文原作者的主观情绪。情感分析的结果可以用于舆情监控、信息预测,或用于判断产品的口碑,进而帮助生产者改进产品。(例如:获取一个直播所有评论,为评论标记正负面,然后判断这次直播的效果)。

具体应用还有,电商商品的评论中,差评与提交的文字是否相匹配,如果一个差评匹配的文字情感分析为积极,这种评论的参考价值较低,我们就可以将其展示排序放在偏后面。还有问卷调查中,上万分内容的情感分析。

目前腾讯云和阿里云都有情感分析的API,但目前也只能做到返回正面、中性和反面三种,还不能做到准确判断情绪等级,如将消极评价分为10个等级,如特别消极、消极…,我们可以通过调用这些API,快速得到结果。

目前,网络上有正负面开源语料库,可以用其训练模型。

  • 文本特征较难提取,文字讨论的主题可能是人、商品、事件
  • 文本较难规范化
  • 词与词之前有联系,关联关系纳入模型中不容易
  • 不带情感色彩的停用词会影响文本情感打分,‘打开天窗说亮化’
  • 中文复杂,一个词在不同语境下可能表达完全不一样的情感含义,夏天能穿多少穿多少。
  • 不同语义差别巨大,比如‘路上小心点’
  • 否定词的存在‘我其实不是很喜欢你’
  • 互联网新词‘SKR’
  • 多维情绪识别(发烧友,喜欢级等,对情绪评级)目前还没有完美的方案

这种方法主要有如下缺点

  1. 质量良好的中文情感词典非常少
  2. 不带情感的停用词会影响情感打分
  3. 中文博大精神,词性的多变影响准确性
  4. 无法结合上下文分析情感

1》概述

这一模型结合机器学习或深度学习算法,通过网络公开语料库或者个人预料数据,进行模型的训练。首先,将正负面预料分词,然后将分词词汇映射到高维向量空间中,将词语向量化(此处也用到神经网络训练,然后用向量化后的数据进行模型的训练。最后,将需要预测的数据放入训练好的模型并得出结果。

优势

  1. 解决了多维语义问题
  2. 可利用强大的机器学习,深度学习模型

2》具体步骤如下

1) jieba分词

通过python中jieba分词库,对预料进行分词。jieba分词是国内分词技术做的比较好的库,其创立的目的起初是为搜索引擎分词检索功能创立。

2) Word2Vec介绍(核心:浅层神经网络相关

腾讯有词向量包,腾讯词向量包本质上就是腾讯提供的一个 词语->向量 一一对应的数据包。(这样可以避免实时数据的改变所造成的,每一条数据都会对向量维度造成影响)。

  • google出品

  • 利用高维向量表征词语

  • 把相近的词语放在相近的位置

  • 语料库输入,输出向量空间

3)情感分析模型

根据特征值的情感分析模型包括很多,如SVM模型、朴素贝叶斯模型、KNN模型

a、SVM模型
  • 有词向量就可以使用相关模型进行情感分析

  • 机器学习SVM:二维分类,小数据集效果好

 

上面内容包括模型的训练过程,也可以直接导入训练好的模型进行运算,如下

 
b、LSTM模型

LSTM模型:设计一个记忆细胞,具备选择性记忆的功能,可以选择记忆重要信息,过滤掉噪声信息,减轻记忆负担。(而RNN算法是想把所有信息都记住,不管是有用的信息还是没用的信息

  • 神经网络模型LSTM:记忆能力,挑选必要的信息进行传递
 
 

可以直接用sdk,调用sentimentClassify,需要百度云申请的账号。

baidu-aip模型是基于购物消费类数据训练的,所以如果适用场景不是模型的训练场景那么便可能不适用。

 

参考资料

https://zhuanlan.zhihu.com/p/83496936

    以上就是本篇文章【【AI案例】(一)NPL文本情感分析】的全部内容了,欢迎阅览 ! 文章地址:http://keair.bhha.com.cn/news/5086.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多   
最新文章
厦门三区小学一年级已经实现随迁子女公办学位自由?这些学校招收积分入学学生
近日六区公布积分入学学位积分入学学位剩余近日,六区公布可以提供给随迁子女积分入学的学位,今年总积分入学学位是18135+,之所
大动作!全球资管巨头抄底中国房地产
外资巨头宣布抄底中国资产,这次瞄准的是不动产。1全球资管巨头抄底中国房地产!全球资管巨头施罗德资本与浙江西子国际达成战略
韩国技术改造美国船厂,韩华称十年内实现年产10艘
【文/观察者网 山猫】去年年底,韩国韩华集团以1亿美元的价格在美国收购了一座原属于挪威业主的造船厂——费城造船厂,随即船厂
假山假景假脸,短剧《窃心》爆火,让多少内娱流水线民国剧脸红
今年的国剧市场如同过山车,从巅峰到谷底再重攀高峰,一路跌宕起伏。比如《藏海传》点燃整个国剧市场,引起全民追剧热潮,而本以
军事晚报AI速递:今日军事热点一览 丨2025年8月21日
  军事领域动态复杂,事件可能迅速改变全球安全格局。我们整理了今日最重要的军事新闻,包括关键行动和政策变化,让您清晰把握
原包PA66 GVS-5H 瑞士EMS 耐化学性
C-Cushioning Charm, Hermione spluttered, as Ron pulled her to her feet, but toHarrys horror he saw that she was no longe
征信逾期五年超十次?别慌!2025最新解密与攻略,速来抄作业!
征信逾期五年超十次?别慌!2025最新解密与攻略,速来抄作业!朋友你是不是也遇到过这类情况?征信逾期五年超十次,感觉天都塌了
SAB47减速机
上海弗麦传动机械有限公司 主要材料 1、箱体:铸铁; 2、齿轮:低碳合金钢,碳、氮共渗处理(精磨后保持齿面硬度HRC60,硬层厚度
九类危险品进口流程?
九类属于杂类,常见的UN3077 UN3082九类也是危险品里面最不危险品的一类全国有40%的危险品是从上海港进口的。危险品进口一定要提
乡村学校少年宫丨池淮镇中心小学:快乐不“打烊” 相伴共成长
学校依托“乐善课程体系”,深入挖掘乡土特色,立足学情,开设了“棋”思妙想、“鼓乐”铿锵、“武”动奇迹、“琴”声悠扬、“足