Xilinx社区
首页 > 高通汽车电子新闻 > 骁龙携手 Caffe2 开启移动机器学习新篇章
骁龙携手 Caffe2 开启移动机器学习新篇章
来源:Qualcomm 时间:2017-05-04

  机器学习的核心在于它提供了一种将庞大数据转换为实用功能的途径。谈及机器学习,我们通常更关注围绕它所展开的超快速数据处理应用、服务器集群和超级计算机。但是,这些远程服务器并不会帮你美化手机中的照片,或是帮你在飞机上翻译一份外语的菜单。因此,机器学习移动化,或者说将机器学习内置于终端中,便能够帮助更多用户解锁日常生活中的使用场景。

  多年以来,Qualcomm Technologies 的工程师们一直致力于应对机器学习相关的挑战,他们的研究成果已经在 Qualcomm 骁龙移动平台上得到体现,同时,骁龙移动平台也建立起了在内置于终端的移动机器学习领域的领导地位。这项技术是骁龙产品线中的重要组成部分,因此你将会看到机器学习技术应用于我们的诸多 SoC(骁龙 820,骁龙 835和部分骁龙 600 系列)以及如物联网和自动驾驶等毗邻领域的平台之中。

  另外,我们并非依靠一己之力在推动这项技术的发展,而是在与整个工具生态系统、经验丰富的 OEM 厂商、以及具有创新精神的软件开发者共同合作,希望为消费者带来一些全新体验。这些体验需要借助内置于终端的机器学习,所以我们需要合作去构思实现这一切。

  该领域一项颇为激动人心的进展便是 Facebook 对 Caffe2 的进一步投入,即对开源Caffe框架的演进。在今年的 F8 大会上,Facebook 和 Qualcomm 宣布合作支持 Facebook 开源深度学习框架 Caffe2 和 Qualcomm 骁龙神经处理引擎(NPE)框架的优化。该 NPE 旨在在骁龙移动平台上承担高效运行神经网络所需的重要工作,它将赋予开发者更充裕的时间和精力,以专注地开发创新用户体验。通过 Caffe2 所支持的,更现代的计算图形设计、极简的模块化设计、以及灵活的多平台接口,开发者将拥有更高的灵活性来设计多种深度学习任务,包括计算机视觉、自然语言处理、增强现实(AR)以及事件预测等。

  部署在 Facebook 上的 Caffe2 旨在帮助开发者和研究人员训练机器学习模型,并为多种移动app带来由人工智能(AI)所支持的体验。现在,开发者将可以使用多种同一工具开展大规模且分散的训练场景,并开发用于移动终端的机器学习应用。

  骁龙和 NPE 所带来的优势之一是,开发者可以基于应用的功能和性能要求,针对骁龙移动平台中的各个异构计算核心来进行性能优化。通过内置的 Qualcomm Adreno 540 GPU处理 Caffe2 的负载,骁龙 835 旨在实现高达 5 倍的性能提升(与使用CPU处理Caffe2负载相比)。此外,Qualcomm Hexagon DSP 中 Hexagon Vector eXentions(HVX)同样提供了更强大的性能和能效。该 NPE 包含了运行时软件、库、API、线下模型转换工具、调试、基准测试工具、示例代码和文档,预计将于今夏晚些时候向更广泛的开发者社区开放。

  Qualcomm Technologies 通过骁龙平台、以及丰富的认知技术和深度学习工具,将不断为广大开发者和消费者提供支持。我们期待开发者能够参与到更广阔、更多样化的强大机器学习生态系统中,从而使得更多终端以高效、安全的方式运行。

  虽然我们目前仍无法预知这项技术的全部应用范围,但是我们已经迫不及待地见证在全球范围内,颇具创新精神的开发者将会如何利用这一技术。

more汽车电子市场动态
more技术专栏
more专家答疑
问:配置高通pmd9607的mpp管脚, 设置为模拟输入一直量不到电压,请教。
答:需要注意,MPP管脚并不是所有MPP管脚都可以配置的,请参考spec说明,你需要配置的pin有没有限制。通常模拟输入的话,还要配置ANA_IN_CTL等寄存器,需要外接模拟量,然后读取该pin的值的寄存器中HKADC值。
问:专家请指导: sensor厂家给的sensor相关资料(chromatix + lib)是支持前置摄像头的,“支持”主要是我这边验证过前置已经点亮。 后置摄像也用同sensor, 但用这套相关资料就点不亮了。 kernel层确认已经PROBE, 同时在/dev下有media0 media1,请协助该如何完成后置的点亮. p.s: 1. 该板后置如果使用其他sensor,可以点亮前后置摄像头; 2. 将后置摄像头拆卸, 可点亮前置, 不拆卸后置,同样可以点亮前置; 3. 如果前置后置一样, 前后置都点不亮, 但kernel层确认都probe, dev下有camera0,camera1,camera2; 4. 拆卸前置,仅后置, 依然无法点亮, kernel已经probe,dev下有camera0,camera1 针对前后置同sensor, 在sensor_init.c增加2sensor, 分别命名为: sensor, sensor_rear,同时在sensor_Libs目录下增加sensor,sensor_rear目录,主要是针对lib部分, 同时对lib中camera_id和position做对应修改(前:CAMERA_1,1,后: CAMERA_0,0) 写的太多, 一句话说明下问题: 前后置同sensor如何同时点亮前后置sensor, 是否需要修改lib中的参数,如何修改?还是其他问题?
答:从现象描述看,可以从以下几点排查。 1,sensor的配置,通常后置sensor 4lanes,而前置sensor 2lanes。换不同型号的sensor可以点亮,说明这些配置可能没有修改 导致一些问题。 2,重点看下,“拆卸前置,仅后置, 依然无法点亮,dev下有camera0,camera1,”,对比下前后置不同型号 枚举dev也是这样,看看HAL层dumpimage检查图像是否正常。 3,camera id枚举冲突,无法区分两颗相同的sensor,tuning参数调用是否正确。
问:请教专家,UE 链路层怎么样才能主动和NODE B断开。 设备和基站没有OTA log,也不太清楚是什么原因导致的连接断开。
答:可以通过AT命令CREG可以离线和在线网络。不知道是否是您需要的情况。 http://blog.chinaunix.net/uid-149881-id-2780145.html
问:有没有懂高通平台root 和解网络锁的高手?
答:eng和userdebug版本上通过adb root。你是否需要如下的方法么, https://zhidao.baidu.com/question/557640730.html
Copyright ©2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
京ICP备12027778号-2 北京市公安局备案:1101082052