谷歌推出TensorFlow语言AI模型的文本库


谷歌今天介绍了TensorFlow 。文本,用于用TensorFlow预处理语言模型的库.. 由GoogleBrain团队创建的开源机器学习框架已经下载了4100多万次 。
传感器流量 。文本可以使用PIP安装,并具有利用令牌拆分和分析文本的能力,如单词、数字和标点符号 。
在发射时,TensorFlow 。文本可以识别空格、Unicode脚本和预先确定的单词片段序列,如Google调用的词片后缀或前缀 。word部分通常用于像BERT这样的方法,BERT是一种语言模型的预训练技术,去年秋天谷歌开源 。
该图书馆还配备了操作规范,n图和序列约束标签,根据一个媒体帖子宣布的消息 。
传感器流量 。文本的标记器使用Ragged张量,这是一种用于识别文本的新张量 。在今年早些时候的TensorFlow Dev峰会上,谷歌工程师MarkOmernick首次详细介绍了对TensorFlow的Raged Tensors和Unicode支持 。
这个消息是在TensorFlow2.0的测试版发布几天后发布的 。谷歌开源框架的最新版本于3月在TensorFlow Dev峰会上发布在alpha中 。张量流程2.0使用更少的API,更深层次的Keras集成,以及对Eager执行运行时的改进 。
传感器流量 。文本是谷歌在过去几个月引入的最新专用图书馆,旨在帮助人们通过机器学习完成特定任务 。上个月发布了TensorFlow Graphics,旨在为图形和三维模型带来更多的深度学习 。
也许最受欢迎的是嵌入式设备的TensorFlowLite,谷歌今年早些时候说,它现在已经在20多亿台设备上使用 。谷歌使用TensorFlowLite在GBoard上支持语音检测和Google Photos中的边缘检测 。
今年3月,谷歌推出了TensorFlow隐私以及TensorFlow Federation,这是一种可以确保更好的用户隐私保护的设备上机器学习方法.. 该公司将隐私视为开发商优先考虑的一种方式 。TensorFlow.js和TensorFlowS wift是Java脚本和iOS开发人员框架的版本,今年春天也收到了升级 。
【谷歌推出TensorFlow语言AI模型的文本库】

    推荐阅读