嵌入式终端视觉AI:未来智慧物联网还得靠它 | 智慧产品圈

原创 陈磊 2018-06-05
标签 AI

  5月19日,为期3天的第四届“中国智慧家庭博览会(2018 China Smart Home Expo,简称CSHE2018)”暨第九届深圳(国际)集成电路技术创新与应用展(2018 China IC Expo,简称CICE2018)”在深圳会展中心胜利闭幕。

  在展会同期活动“智慧家庭:物联网嵌入式技术生态高峰论坛”上,中科创达软件股份有限公司产品总监刘哲发表了主题演讲“嵌入式智能视觉算法在物联网应用场景中的落地”,以下为演讲内容,未经本人确认。



  嵌入式智能视觉AI的机遇正在到来

  物联网的爆发需要智能算法更多的下沉到终端设备上,物联网本身的趋势也是希望终端设备能自主控制,有智能化的功能在里面,以便快速满足相应终端用户的需求,还需要更低的功耗,以及更好的数据隐私安全的保证。

  也就是说,AI会成为一种服务,智能终端作为服务载体,能够全方位覆盖到具体场景中去,更好的去贴近用户,给用户一个更便捷的体验。



  这是整个视觉市场的发展趋势,今年会有接近2500亿摄像头终端,只有要1%被赋予了智能视觉能力,那就有25亿的量级,这是一个非常大的市场容量,而且嵌入式物联网一直是在高速增长的状态。国际上的一些大巨头也开始在做这一块,像亚马逊的AWS DeepLens,谷歌的AIY Vision,还有微软在上周的开发者大会上面也推出AI的开发板。



  嵌入式AI的开发方法

  嵌入式AI会有非常大的前景,真正运用到实际场景中去,还是会有很多困难和挑战。想把一个嵌入式的AI算法做好,通常的流程是什么样的呢?

  首先会在云端、服务器端基于一些开源的AI框架去训练一个数据集,建立出一个云端的算法模型,然后基于各种芯片平台,比如高通的SNPE模型转换工具,转换成可以运行在终端的小模型,模型的尺寸和参数会相应做一些裁剪。这样在设备端做推理的时候,可以快速实时的满足低功耗、识别率的要求。



  在做终端应用的时候就发现,真正的使用场景是非常非常碎片化的,有工业的、智慧城市的、智慧家庭等各种应用,也会有各种各样的终端硬件,比如ARM平台的,还有DSP、NPU芯片。而且总体来说,嵌入式AI芯片的计算能力还是比较有限的。还有一个比较现实的问题是,目前嵌入式AI的生态还是很薄弱,如果要做一个嵌入式AI产品,无论是芯片还是算法,成本都是偏高。

  所以中科创达的策略是硬件和软件两个维度来处理,结合客户的具体应用场景来做。

  首先,硬件最关键的是要让AI运算得到加速,很多芯片都有AI加速的处理单元,也有各种各样的NPU、TPU、DPU出现,也需要跟芯片厂商深度合作。

  第二,从软件的维度就是要降低算法模型的运算量,把架构设计得尽可能靠近嵌入式平台。用监督学习或者增强学习先做出一个通用的比较大的老师模型,当运用到一个嵌入式物联网场景当中的时候,会把它裁剪出来,抽取一部分作为学生模型。

  第三,会根据具体的终端需求,来调整模型的性能指标。



  具体到第三步,会拿到客户希望使用的芯片平台上做Debug测试,测试完成之后,会在芯片平台上做性能评估。客户也会提出一些要求,比如帧率、功耗等,基于这些要求对算法模型做复杂性上限的设计。基于这个限制做裁剪,当不满足要求的时候,重新做迭代和算法精度的调整,就是通常所说的调参过程。

  中科创达的几个嵌入式视觉AI案例

  中科创达提供可扩展的嵌入式AI平台框架,也会提供嵌入式边缘端AI解决方案的工作站,主要是解决不同硬件平台、不同运算架构下如何快速适配,以及智能视觉方面的整套解决方案。

  以下是中科创达为客户开发的几个嵌入式视觉AI案例。

  案例一:可识别衣物的智能洗衣机



  以前洗衣服一般是把衣服都塞进洗衣机里,再手动选择洗衣模式,比如水量、时间等。这家洗衣机厂商希望做到通过内置的摄像头可以识别出丢进洗衣机里的是什么材质衣服,然后自主选择洗衣模式。

  中科创达为这家洗衣机厂家开发了一个衣物分类识别的AI算法,在做的过程中发现还是有一些实际问题,比如衣物被遮挡,尤其是袜子最容易被大件衣物遮挡。还有在做数据集训练时发现,有些图片数据本身都很难以被区分,如下图所示,很难分别拖把、小狗,还是一件衣服,所以需要做算法可扩展性的测试。



  案例二:可识别食物的智能微波炉



  这是给微波炉做的食物识别算法,跟上面洗衣机案例比较类似,传统的微波炉也是需要人工选择工作模式,这个微波炉厂家希望能识别出是什么食材之后自主选择工作模式。在做这个案例时,遇到的问题也比较类似,也是训练数据的分类识别问题,如下图所示,小狗狗、松饼的图片很相似。



  案例三:电线杆裂纹的智能检测



  这是智慧城市的案例,是给日本一家做电线杆维护的企业做的电线杆裂纹检测方案。由于日本是地震多发的岛国,也是海洋性气候,所以日本的电线杆出现老化、裂纹的数量也就很多。

  之前靠工作人员扛着单反相机给每个电线杆拍照,然后将照片发给公司的数据中心,由专业的鉴别人员来识别裂纹的形态、风险等级,判断要不要维修。中科创达提供了一个嵌入式的终端相机设备,拍完一个电线杆后,就可以马上识别提取出裂纹的长度、宽度、深度等信息,判断出这跟电线杆的风险等级,传回給公司数据中心的就只有很小的数据量,以前都是传几M,甚至十几M的数据量,现在只需传输几K的数据。

  案例四:智慧海关的违禁品检测



  现在海关检测的方式是,包裹经过X光机扫描,工作人员在监控室里盯着屏幕看,而且6秒钟之内要看2个包裹,里面有没有违禁物品,比如刀具、枪支或者枪支零配件。中科创达提供的方案能快速的识别并标记出这些违禁品,准确率能达到95%,相当于减少了海关检测90%以上的工作量。

2019展位招商现已启动

销售总监:蔡源灿

18002541247


* 如无特殊说明,网站所有文章版权归智慧产品圈所有,转载请注明来源


收藏
赞(1)
文章评论

陈磊

联系我 +

微信:

推荐专题
杂志订阅
weixin二维码

微信 扫一扫
获取第一手资讯