博客
关于我
【研究生】TensorFlow Lite发布重大更新!支持移动GPU、推断速度提升4-6倍
阅读量:309 次
发布时间:2019-03-03

本文共 588 字,大约阅读时间需要 1 分钟。

TensorFlow Lite的最新版本引入了对移动设备GPU的支持,这一功能显著提升了模型推断效率,为移动应用开发者带来了更强大的性能保障。

在资源受限的移动设备上运行复杂机器学习模型往往面临性能瓶颈。TensorFlow Lite通过量化优化模型以提升性能,但这通常需要牺牲模型精度。而使用GPU加速的浮点模型则避免了这种权衡,既保留了高精度又获得了更快的推断速度。

在Pixel 3和S9等旗舰设备上,GPU加速使人脸轮廓检测速度提升了4倍,而在iPhone 7上则达到了6倍的提升。对于实时视频处理任务,如YouTube Stories中的视频分割模型,速度提高了5-10倍。

这种改进尤其在处理复杂模型时更加明显,如深度估计模型的速度提升了10倍。相比之下,对于较小模型的使用,GPU加速的优势相对较低,且可能带来额外的内存传输延迟。

在实际应用中,安卓开发者可以通过将TensorFlow Lite的AAR文件替换为带有GPU支持的版本,并在Java初始化代码中添加相应的GPU代理配置。iOS开发者则需要下载对应的TensorFlow Lite二进制文件,并在模型创建后调用GPU代理。

当前GPU支持仅适用于特定操作,如ADD、CONV_2D等,未来版本将扩展更多操作和性能。完整开源版本计划于2019年晚些时候发布。

文章链接提供了详细的使用教程及更多信息。

转载地址:http://hsbm.baihongyu.com/

你可能感兴趣的文章
Nest.js 6.0.0 正式版发布,基于 TypeScript 的 Node.js 框架
查看>>
NetApp凭借领先的混合云数据与服务把握数字化转型机遇
查看>>
NetBeans IDE8.0需要JDK1.7及以上版本
查看>>
netcat的端口转发功能的实现
查看>>
netfilter应用场景
查看>>
netlink2.6.32内核实现源码
查看>>
Netpas:不一样的SD-WAN+ 保障网络通讯品质
查看>>
NetScaler的常用配置
查看>>
netsh advfirewall
查看>>
NETSH WINSOCK RESET这条命令的含义和作用?
查看>>
Netty WebSocket客户端
查看>>
netty 主要组件+黏包半包+rpc框架+源码透析
查看>>
Netty 异步任务调度与异步线程池
查看>>
Netty中集成Protobuf实现Java对象数据传递
查看>>
Netty事件注册机制深入解析
查看>>
Netty原理分析及实战(四)-客户端与服务端双向通信
查看>>
Netty客户端断线重连实现及问题思考
查看>>
Netty工作笔记0006---NIO的Buffer说明
查看>>
Netty工作笔记0007---NIO的三大核心组件关系
查看>>
Netty工作笔记0011---Channel应用案例2
查看>>