商务服务
如何优雅地使用大型词嵌入?
2024-11-09 19:42

如何优雅地使用大型词嵌入?


在开始之前,请下载文档。 百度网盘链接(337.97MB:https://pan.baidu.com/s/1WZEGJeHBzmqs_tVFV-zBBA 提取码:8dqm


低内存机器 这里指的是内存小于32GB的计算机。

大型词嵌入 这里指的是词嵌入文件大于15G的词嵌入文件。

腾讯词嵌入 这里指的是腾讯发布的 ,其下载地址为(解压后:15.5GB:https://ai.tencent.com/ailab/nlp/data/Tencent_AILab_ChineseEmbedding.tar.gz,其下载页面为:https://ai.tencent.com/ailab/nlp/embedding.html


  本文解决了大型词嵌入在低性能、低内存机器上的资源耗尽的问题ResourceExhaustedError)。

  以腾讯词嵌入为例,腾讯中文的词向量映射集在解压后有15.5G,共计有8,824,330条字词短语,内存较小的计算机显然不能直接加载,故为满足小内存、低性能的计算机的需要,特建立对词嵌入的映射关系文件,映射后只有313MB,满足了此类计算机的需求。


  这里是典型的以时间换空间的方式解决在使用腾讯词嵌入的时候内存资源耗尽的问题。在词嵌入与程序之间建立一个中间的映射文件,程序通过映射文件读取词嵌入的内容,映射文件格式如下

  程序通过词汇可以访问到对应的文件指针的起始位置以及读取长度,然后程序就可以直接访问磁盘中的对应的数据了。


1. 安装linecache

 

2. 创建文件夹

  创建名字叫做“utils”的文件夹,里面放入“ShowProcess .py”,这个可以在文章末尾复制代码,可以直接从文中的百度网盘链接中下载。

  创建名字叫做“embeddings”的文件夹,里面放入解压好了的“Tencent_AILab_ChineseEmbedding.txt”文件,以及“ReadEmbeddings .py”,映射文件“embeddings_map_index.txt”也将在这里生成。

  目录结构如图

2. 加载模块

 

3. (可选)关键参数设置

   指定词嵌入文件位置(默认使用腾讯词嵌入)。

 

   指定词嵌入词条数量(默认使用腾讯词嵌入的词条数量)。

 

  如果有需要指定生成的映射文件的位置,可以在这里指定。

 

4. (首次使用)创建映射文件

  这个过程需要一个小时左右,可以选择自己生成,也可以选择博主生成好了的文件。

 

5. 加载词嵌入映射文件

  生成完之后就可将映射文件加载进内存了,你可自行查看映射列表的内容。

 

6. 单个查询

  这里有提供单个词组查询的功能

 

7. 批量查询

  这里有提供批量查询的功能

 

8. 释放内存

  当不再需要映射文件时,立即释放内存。

 

指定编码

  在初始化的时候就可指定全局编码,在读取词嵌入以及创建映射文件的时候可以使用统一的编码。

 

启用日志

  单独查询与批量查询都具备写入日志的功能(仅记录查询失败日志)。

 

启用元素删除功能

  元素删除功能在每个词汇仅查询一次的条件下才能启用,此功能在需要查询的词汇量特别大的时候会显著提升查询效率,有效减少查询时间,举个栗子

 

  由于Python的特性,此功能会影响到外部变量,受影响的外部变量

 

ShowProcess . py

 

ReadEmbeddings . py

    以上就是本篇文章【如何优雅地使用大型词嵌入?】的全部内容了,欢迎阅览 ! 文章地址:http://keair.bhha.com.cn/news/364.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多   
最新文章
投影仪与手机的连接教程:简单步骤享受大屏幕的观影体验投影仪怎么连接手机「投影仪与手机的连接教程:简单步骤享受大屏幕的观影体验」
投影仪与手机的连接方法在现代生活中,投影仪已经成为我们工作、学习、娱乐中不可或缺的一部分。随着科技的发展,连接投影仪与手
平板/手机死机怎么办?vivo手机怎样恢复出厂设置「平板/手机死机怎么办?」
建议您强制重启手机/平板尝试恢复使用,操作方法如下:平板、Funtouch OS 3.2及后续系统的机型:同时按住“电源键” 和 “音量下
苹果8有红外线遥控功能吗苹果手机有红外遥控功能吗「苹果8有红外线遥控功能吗」
“云山苍苍,江水泱泱,先生之风,山高水长”的意思:云雾缭绕的高山,郁郁苍苍,大江的水浩浩荡荡,先生的品德啊,比高山还高,
奥维3D全球卫星地图奥维地图手机版下载「奥维3D全球卫星地图」
奥维3D全球卫星地图官方介绍:奥维3D全球卫星地图是一款地球卫星地图应用,三维地球,可满足各行业对地理测绘3D查看地形的需求。
MTK5G-MT6853(天玑720)mtk手机「MTK5G-MT6853(天玑720)」
一、 手机 CAMERA 的物理结构: ........................................................................................ -
苹果手机怎么用电脑重启苹果手机怎么重启「苹果手机怎么用电脑重启」
元朝(1271年—1368年),是中国历史上首次由少数民族建立的大一统王朝,统治者为蒙古孛儿只斤氏。传五世十一帝,从1206年成吉思
抖音不按时间直播会怎么样?哪个时间直播好?抖音手机版「抖音不按时间直播会怎么样?哪个时间直播好?」
大家在抖音可以去做直播,但是很多小伙伴做直播的时候可能不能固定在某个时间段去直播,那么每天不定期去直播大家又怕会有一些影
揭阳市税务局启动2025年税收宣传月活动
税收宣传月是税务部门与社会各界沟通的重要桥梁。4月3日上午,国家税务总局揭阳市税务局在揭阳市博物馆举办以“税收·法治·公平
OPPO代言人是谁oppo手机代言人「OPPO代言人是谁」
《三国演义》中鞠躬尽瘁是指诸葛亮。《三国演义》(全名为《三国志通俗演义》,又称《三国志演义》)是元末明初小说家罗贯中根据
手机中病毒应对策略大揭秘手机中病毒的表现「手机中病毒应对策略大揭秘」
简介:手机中病毒应对策略大揭秘手机病毒是现代社会中普遍存在的问题,给用户的信息安全带来了威胁。本文将介绍手机中病毒的应对
相关文章