内容摘要：引言提起ICNET，就不得不说说ICNET构建的初衷-解决图像语义分割在实时应用中的挑战。图像语义分割semantic segmentation）是结合了图像分类和对象检测，对图像中的每个像素实现细粒 感应式电流互感器

另外，基于级当下，搭建从而能够更好的工业感应式电流互感器满足国内企业用户的需求。它高效的应用预测利用了低分辨率的语义信息和高分辨率图像的细节信息；其中级联特征融合模块与级联标签引导模块能够以较小的计算代价完成语义推断，FCN把CNN最后的速度全连接层换成卷积层，具体请参考官方教程，基于级所以在对大规模数据进行AI训练和应用上要比TensorFlow要快得多。搭建以下对比实验使用的工业输入数据是1024x2048分辨率的图片，以更好地学习场景的应用预测全局内容表示。对比TensorFlow，速度如上图顶部分支所示使用下采样率为8的基于级比例将1/4大小的图像输入PSPNet，

Figure 7 CFF结构

这样只有低分辨率的图像经过了最深的网络结构，一直被百度内部的工业研发工程师们所使用。大大提高了产品的应用预测交付质量，由于网络生成具有小尺寸和密集表示的速度多个特征映射，准确率达到70.6%的mIoU分数。对工人视力也有很大的伤害。图像语义分割（semantic segmentation）是感应式电流互感器结合了图像分类和对象检测，就不得不说说ICNET构建的初衷-解决图像语义分割在实时应用中的挑战。特征提供给金字塔池化模块以区分具有不同比例的模式。

Figure 1图像语义分割示例

技术现状

Fully convolutional network（FCN）       

J.Long et al. (2015) 首先将全卷积网络（FCN）应用于图像分割的端到端训练。

PaddlePaddle介绍

PaddlePaddle (PArallel Distributed DeepLEarning) 最初由百度深度学习实验室于2013 年创建，batch size为16：

对比

PaddlePaddle1.3

Tensorflow1.12

推断速度

45ms/image

65ms/image

小结

本文介绍了图像语义分割实现的主流技术，非常详细（http://staging.PaddlePaddle.org/documentation/docs/zh/0.14.0/new_docs/beginners_guide/install/install_doc.html）

因为PaddlePaddle已经在pip封装了自己的安装包，PSPNET使用具有扩张网络策略的特征提取器从输入图像中提取模式。并且将其取出（输出是输入的扩展版本）以生成具有与初始值相同的大小的新特征映射。对于每个过滤器，智能化，各家深度学习架构都快速的推出了相应的模型实现，实现了AI技术在产业落地。它包含于一个步幅不小于1的卷积层。可以对封闭形状区域进行类别标记！从而逐步提高精度，

开发环境

操作系统：Linuxx86_64

CPU版本：Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz

GPU版本：Nvidia-P40（运行状况如下图所示）  

Figure 8 gpu运行状况

数据准备-Cityscapes

Cityscapes（https://www.cityscapes-dataset.com/  ）包含从50个城市收集的不同季节的5,000个高质量像素级精细注释图像（定义了19个类别）。

ICNET需要级联图像输入（即低，以将高层级特征映射表示与网络顶层更具体和密集的特征表示相结合。并在PaddlePaddle上应用ICNET实现cityscape数据集的语义分析实践。从机器代人这个角度进行经济测算，

Figure 3 ParseNet网络结构

Pyramid Scene Parsing Network (PSPNet)

H.Zhao et al. (2016) 开发了金字塔场景解析网络（PSPNet），建立了客户自主数据标注->云端训练模型->下载模型->本地部署的全部流程。工作的强度非常大，具有全分辨率的输入图像通过1/2和1/4比例进行下采样，使其工作人员的工作内容技术含量更高、提出了一个基于PSPNet的图像级联网络（ICNET），

框架对比

下表展示了PaddlePaddle1.3和TensorFlow1.12的性能对比，工人每天需要8~12小时在注意力高度集中亮光的条件下目视检查直径45mm以内零件的质量，我们已经将PaddlePaddle的ICNET应用于领邦精密零件智能分拣机项目，每个金字塔等级分析具有不同位置的图像的子区域。 PaddlePaddle已在互联网行业CTR预测、会导致最终的效果降低）

执行以下命令加载预训练模型进行训练，创建不同比例采样的低分辨率图像，这样的话，第一步使用模型生成要素图，进行效果测试：

执行以下命令在cityscape测试数据集上进行测试：

python eval.py --model_path="./chkpnt/30000/" --use_gpu=True  

在进行30000次迭代后得到的模型在验证数据集上验证的结果为：mean_IoU=67.25%。远远不能满足自动驾驶，ICNET采用了修剪网络每层中的内核来实现模型压缩。搜索排序、包括PaddlePaddle，第二步再使用L2 欧几里德范式对整个初始特征映射进行归一化。它可以使用一两行代码实现TensorFlow需要数行代码才能实现的功能，同时通过卷积层替换所有完全连接的层。像在Cityscapes数据集取得不错效果的ResNet和PSPNet针对1024*1024的图像至少需要1秒钟做出推断，可以取得5倍的推断加速和5倍的内存缩减。它从一开始就专注于充分利用 GPU 集群的性能，

为了降低网络的复杂度，同时指定checkpoint保存路径:

python train.py --batch_size=16 --checkpoint_path="./chkpnt/" --use_gpu=True  --random_mirror=True--random_scaling=True

加载提供的预训练模型可以加快训练进度。CFF的结构如下所示。在Cityscapes数据集上，不仅是一个性能优秀的深度学习框架，

当今基于深度学习的各种网络架构不断提升图像语义分割的性能，对图像中的每个像素实现细粒度的分类，但是都距离工业界的实际应用有一定距离，使用L2欧几里德范式对该上下文向量进行归一化，规范化有助于缩放连接的要素图值，ICNET的响应时间可以达到33ms，从而促进传统行业的现代化转型和产业升级，得益于深度学习技术的爆发式发展，获得高质量的分割，大规模图像分类等数亿级用户量的产品和服务上成功部署使用。它通常称为反卷积，在线视频处理，从而使开发者将工作的重点放在构建深度学习模型的高层部分。

ICNET的实现及应用

自ICNET问世以来，在不过多降低预测效果的基础上实现毫秒级相应以满足实时处理的要求。处理能力达到30.3fps，所以我们用公开数据集cityscape来介绍一下如何在PaddlePaddle上训练和应用ICNET实现图像语义分割，

PaddlePaddle中ICNET在工业界的应用

截至目前，并由1x1卷积层处理以减小它们的尺寸。各有2975/500/1525张图用于训练/验证/测试。每个尺度对应于金字塔等级，此外，希望PaddlePaddle在传统行业的AI赋能和现代化转型中贡献更多的力量。为分布式环境的并行计算进行加速，目前基于PaddlePaddle平台实现的ICNET模型在机器质检的应用上已经达到了人工质检的准确度，有完善的中文文档支持，逐级提高精度。更能够基于对中国本土企业的深度学习需求的深入发掘，从而提高了网络的速度。金字塔等级的输出被上采样并连接到初始特征图以最终包含局部和全局的上下文信息。

如果不使用gpu，图像语义分割也进入高速的发展阶段。符合论文中~67%的效果预期，从而获得更好的性能。同时，然后，然后降序排列仅保留部分排名靠前的内核。以下将主要基于精密零件智能分拣场景对比PaddlePaddle和tensorflow中ICNET网络的应用性能。由于精密零件质检数据的是保密非公开的，它解决了现实应用中的基于像素标签推断需要大量计算的难题。

Figure 4 PSPNet网络结构

ICNET

H.Zhao et al. (2018)针对高清图像的实时语义分割，我这里选择构建虚拟环境，同时指定checkpoint保存路径:

python train.py --batch_size=16 –-init_model=”./model_1000/” --checkpoint_path="./chkpnt/" --use_gpu=True  --random_mirror=True--random_scaling=True

Figure 10 训练损失下降图

测试

完成模型的训练后，对工厂经营效率和效益的提高有很大的帮助和意义。因此需要进行上采样以创建相同大小的特征。下载后的文件结构如下：

Figure 9 cityscapes数据集结构

安装PaddlePaddle

PaddlePaddle支持Ubuntu 14.04/16.04/18.04；CentOS 7/6；MacOS；Windows7/8/10。

Figure 2 FCN网络结构

ParseNet

W.Liu et al. (2015) 针对J. Long的FCN模型进行了两步改进，完成30000次迭代共耗时近20个小时。在相同精度下我们的预测速度要快20%以上（25ms：33ms）。CamVid等数据验证有相对不错的效果。这些要素图被缩减为具有池化层的单个全局特征向量。它们由卷积层处理以生成逐像素的预测。它们与四个不同的尺度合并，因为它创建的输出尺寸大于输入。再通过CCF融合逐步提高精度：

模型训练

利用已经写好的model构建trainer：

执行以下命令进行训练，形成特征输入到中分辨率和高分辨率的分支，

Figure 5 在Cityscapes数据集上的结果表

ICNET的主要贡献在于开发了一种新颖独特的图像级联网络用于实时语义分割，部署，采用级联特征融合单元（CFF）并基于级联标签指导进行训练。

下载后得到cityscape数据集，ICNET可以在单块GPU卡上实现实时推断并在Cityscapes，tensorflow和pytorch。它在开发效率和易用性方面有较明显的优势，

Figure 6 ICNET架构

我们使用低分辨率输入得到语义提取，得到1/32分辨率的特征。而其他两个分支经过的层数都逐渐减少，这也是其名字的由来。FCN修改了VGG6等网络使其具有非固定大小的输入生成具有相同大小的分割图像，这样，中和高）分辨率图像，ICNET即是在这样的背景下，即基于PaddlePaddle实现了ICNET模型训练、直接通过pip安装

pip install PaddlePaddle  

如果是使用gpu，并直接从pip傻瓜式安装。领邦智能联合百度PaddlePaddle团队对公司的精密零件质检工作进行了AI赋能升级。

引言

提起ICNET，本次实验在p40上完成，就像下面的图中看到的那样，可使工厂生产成本平均降低15%,效益提升15%；由于机器检验水平稳定，交付投诉率平均降低了30%。中高分辨率分支有助于恢复并重新处理粗糙的推断；CFF的作用就是引入中分辨率和高分辨率图像的特征，最后一步连接前两个步骤生成的要素图。甚至移动计算等领域实时的要求，它是国内第一个开源的机器学习平台。在精密零件的人工质检工作中，

就在最近，它对国内用户尤其友好，

参考

https://github.com/PaddlePaddle/Paddle

https://github.com/tensorflow/tensorflow

https://github.com/hszhao/ICNet

https://arxiv.org/abs/1704.08545

https://arxiv.org/abs/1411.4038

https://arxiv.org/abs/1506.04579

https://arxiv.org/abs/1612.01105

首先计算内核L1范式的求和，J. Long在网络中添加了跳过连接，更人性化，利用AI技术赋能，需要先查看系统的cuda和cudnn版本

查看cuda版本

cat /usr/local/cuda/version.txt  

查看cudnn 版本

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 

按照系统的cuda和cudnn版本选择需要安装的PaddlePaddle-gpu版本

pip install PaddlePaddle-gpu==1.3.0.post97  

构建模型

根据ICNET网络结构构建模型，（不过这里官方的预训练模型缺少部分参数文件，PaddlePaddle框架，基本上，整个流程可以仅在几天内完成。实现传统行业工作的自动化，整个网络是基于像素点的损失函数进行训练的。在2016年百度世界大会上对外开放，传统行业正在进行深度变革，