商务服务
如何优雅地使用大型词嵌入?
2024-11-09 19:42

如何优雅地使用大型词嵌入?


在开始之前,请下载文档。 百度网盘链接(337.97MB:https://pan.baidu.com/s/1WZEGJeHBzmqs_tVFV-zBBA 提取码:8dqm


低内存机器 这里指的是内存小于32GB的计算机。

大型词嵌入 这里指的是词嵌入文件大于15G的词嵌入文件。

腾讯词嵌入 这里指的是腾讯发布的 ,其下载地址为(解压后:15.5GB:https://ai.tencent.com/ailab/nlp/data/Tencent_AILab_ChineseEmbedding.tar.gz,其下载页面为:https://ai.tencent.com/ailab/nlp/embedding.html


  本文解决了大型词嵌入在低性能、低内存机器上的资源耗尽的问题ResourceExhaustedError)。

  以腾讯词嵌入为例,腾讯中文的词向量映射集在解压后有15.5G,共计有8,824,330条字词短语,内存较小的计算机显然不能直接加载,故为满足小内存、低性能的计算机的需要,特建立对词嵌入的映射关系文件,映射后只有313MB,满足了此类计算机的需求。


  这里是典型的以时间换空间的方式解决在使用腾讯词嵌入的时候内存资源耗尽的问题。在词嵌入与程序之间建立一个中间的映射文件,程序通过映射文件读取词嵌入的内容,映射文件格式如下

  程序通过词汇可以访问到对应的文件指针的起始位置以及读取长度,然后程序就可以直接访问磁盘中的对应的数据了。


1. 安装linecache

 

2. 创建文件夹

  创建名字叫做“utils”的文件夹,里面放入“ShowProcess .py”,这个可以在文章末尾复制代码,可以直接从文中的百度网盘链接中下载。

  创建名字叫做“embeddings”的文件夹,里面放入解压好了的“Tencent_AILab_ChineseEmbedding.txt”文件,以及“ReadEmbeddings .py”,映射文件“embeddings_map_index.txt”也将在这里生成。

  目录结构如图

2. 加载模块

 

3. (可选)关键参数设置

   指定词嵌入文件位置(默认使用腾讯词嵌入)。

 

   指定词嵌入词条数量(默认使用腾讯词嵌入的词条数量)。

 

  如果有需要指定生成的映射文件的位置,可以在这里指定。

 

4. (首次使用)创建映射文件

  这个过程需要一个小时左右,可以选择自己生成,也可以选择博主生成好了的文件。

 

5. 加载词嵌入映射文件

  生成完之后就可将映射文件加载进内存了,你可自行查看映射列表的内容。

 

6. 单个查询

  这里有提供单个词组查询的功能

 

7. 批量查询

  这里有提供批量查询的功能

 

8. 释放内存

  当不再需要映射文件时,立即释放内存。

 

指定编码

  在初始化的时候就可指定全局编码,在读取词嵌入以及创建映射文件的时候可以使用统一的编码。

 

启用日志

  单独查询与批量查询都具备写入日志的功能(仅记录查询失败日志)。

 

启用元素删除功能

  元素删除功能在每个词汇仅查询一次的条件下才能启用,此功能在需要查询的词汇量特别大的时候会显著提升查询效率,有效减少查询时间,举个栗子

 

  由于Python的特性,此功能会影响到外部变量,受影响的外部变量

 

ShowProcess . py

 

ReadEmbeddings . py

    以上就是本篇文章【如何优雅地使用大型词嵌入?】的全部内容了,欢迎阅览 ! 文章地址:http://keair.bhha.com.cn/news/364.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多   
最新文章
5款文案自动生成器,高质量创意文案一键为你生成
  在当今竞争激烈的内容创作领域,每一个字、每一句话都承载着巨大的价值。对于创作者而言,文案自动生成器的出现
SEO搜索引擎优化怎么做?全面指南让你快速上手!
在当今的数字化时代,SEO(搜索引擎优化)已经成为企业和个人提升在线存在感和吸引目标用户的关键手段。无论你是初学者还是有经
Apple 苹果 iPhone 13系列 A2634 5G手机 256GB 绿色
iPhone 13 边缘采用平坦设计、配备独家超瓷晶面板,支持 IP68 抗水性能,拥有绿色、粉色、蓝色、午夜色、星光色和红色可选择。屏
【A6搜狗手机输入法下载】海尔A6搜狗手机输入法12.1.1免费下载
搜狗输入法,拥有超大中文词库,输入更加精准,智能。搜狗智能旺仔带你用表达,斗图,妙语,输入更加有趣。******特色功能******
制氧机十大品牌排行榜:吸氧机技术排名TOP 3
制氧机是一种重要的医疗设备,用于治疗呼吸系统疾病。随着科技的不断发展,市场上出现了众多品牌的制氧机,伴随着人们对健康的重
【瑕疵检测】基于matlab GUI OTSU织物疵点检测【含Matlab源码 860期】
⛳️座右铭:行百里者,半于九十。 更多Matlab图像处理仿真内容点击👇 ①Matlab图像处理(进阶版ÿ
微信公众号文章信息(阅读量、在看、点赞数)获取
  实现这一个功能主要用到了selenium、mitmproxy和wechatarticles,利用selenium可以实现脚本模拟浏览器访问,mit
上海九院口腔科怎么样?医生排名名单、技术特长介绍、真人种牙术后评价~
此价格信息为当地市场参考价,通过用户反馈大数据整理仅供参考!机构实际价格以到院面诊为准!
'智能AI文章生成器:海外脚本与一键创作工具'
在数字化时代的浪潮中人工智能技术正以前所未有的速度改变着咱们的工作和生活途径。智能文章生成器的出现无疑为内容创作者们打开
微信推文重复率
论文免费查重庞大的数据库支持,论文免费查重拥有全球最大的比对库资源。其比对库拥有超过1亿篇的学术期刊和学位论文、1000多家的
相关文章