媒体智能计算与感知实验室——自然场景视觉感知和大数据分析
IMAGINE Lab， Intelligent Media Pervasive, Recognition & Understanding Lab
课题组负责人
路通，南京大学计算机科学与技术系教授、博士生导师，软件新技术国家重点实验室成员。研究方向：计算机视觉、模式识别与计算机图形学。
主要研究方向及其应用
1、自然场景视觉感知
自然场景视觉感知与理解是人工智能的前沿热点，其主要任务是对场景中的视觉要素进行认知，进而推断出其中包含的场景语义。
IMAGINE实验室近年来相继从场景构成分析、场景内容推理、场景结构建模等角度对这一问题展开了系统研究，着重探索了融合先验建模与深度学习的自然场景视觉理解这一问题。相关成果在工业生产、安全监控等多个行业中进行了推广，先后获中国发明专利授权20余项，部分专利成果已在国家级高新技术企业和江苏省高新技术企业得到应用转化。
近年来实验室还在多项国际/国内竞赛中取得佳绩，如：
1）在教育部主办的2018年中国研究生智慧城市技术赛中，项目组研究生组成的NJU_Imagine_Lab队获视频动作识别组唯一的一等奖；另一支队伍NJU-Imagine-Lab队获车牌识别组唯一的一等奖（总参赛队伍1079支、共四个组别）；
2018年中国研究生智慧城市技术赛，
项目组研究生获视频动作识别组唯一的一等奖和车牌识别组唯一的一等奖（部分队员的证书）
2）项目组研究生组成的NJU_ImagineLab_Psenet 队在国际模式识别大会ICPR18的MTWI2018网络图像的文本检测国际挑战赛参赛1424个队伍中位列第5；
3）在创新工厂、搜狗、美团点评、美图联合主办的第二届全球AI挑战赛（AI Challenger 2018）的无人驾驶视觉感知赛道中，实验室队伍获得亚军（AI Challenger2018覆盖81个国家、1100所高校、990家公司的近万支队伍）。
课题组研究生在第二届全球AI挑战赛无人驾驶视觉感知赛道获得亚军
应用案例
基于深度相机的场景物体定位与抓取项目
自然场景文字检测项目
自然场景文字检测项目
自动驾驶中的物体检测项目
2、大数据分析
大数据具有规模大、种类多、产生速度快、有价值数据密度低等特点。对大数据信息分析具有重要意义，也是目前研究的热点，其主要任务是利用数据分析的方法从大数据中获取有价值信息。
IMAGINE实验室近年来结合深度学习前沿技术和传统数据分析方法进行数据分析和预测，并在海关大数据分析项目和国网电力冰风灾害预测项目中进行应用。
应用案例
1）海关大数据分析项目
传统的海关税收监管主要是以手工操作为基础，这种方式效率低下。随着当前国际贸易和跨境电子商务的快速发展，海关税收监管业务正面临商品种类繁多、贸易形式复杂多样等多重困难。同时，随着进出口业务的快速增加，对征税速度、准确性以及风险把控能力等也提出了更高的要求。
为了解决海关税收监管中存在的问题，形成“政、产、学、研、用”协同创新成果，南京大学IMAGINE实验室结合海关总署关税司、南京海关完成了商品特征识别、异常模式分析、多来源信息提取和海关全周期大数据分析四个特色功能模块。
该项目中，我们利用模式识别与文档分析技术，实现了对于海关随附单据的特定关键信息提??；通过提取数据及对数据进行一致性检验，实现了单单相符；通过对商品进行聚类和分类分析，完成对贸易数据的风险分析；利用统计分析和数据挖掘方法和组合多维度信息，实现了贸易异常数据检测；使用可视化的方法，为海关提取到大量异常数据；完成海关数据多属性可视化分析，为海关全周期实时监管提供了技术保障。
项目采用了自动分词、数据标定、非监督学习、随附单据矢量化识别、知识图谱构建等多种技术手段。项目部分成果已向海关总署作业系统转化，总署关税司发文提到“南京大学的研究具有较强的可用性，研究成果将在税收征管改革和税收风险防控工作中予以吸收”。
2）国网电力冰风灾害预测项目
针对部分应用中数据量偏少的问题，与国电南瑞、中科院自动化所等单位合作开展了小样本学习和输电线典型冰风灾害预测研究。
系统分析小样本条件下的自动特征提取、特征筛选、推理总结，以及小样本条件下的机器学习和数学预测模型，具有较强的针对性和实际应用价值，有助于提高对典型输电线路冰风灾害预测的准确率，从而降低典型输电线路冰风灾害导致经济损失发生的概率，最终提升人工智能预测系统产生的经济效益与价值。
国网电力冰风灾害预测项目成果展示
红色：真实值，
蓝色：我们预测的值，
绿色：气象局发布结果
同时，该系统提升了电网公司管理水平，改被动应急为主动防御，创新电网防灾减灾工作方式，对电网公司具有重要意义。
该系统通过建立多种模型，实现对输电线路灾害风险评估和辅助决策，对灾害影响范围、程度等进行深入分析，为输电网防灾减灾工作提供应急处置建议，实现增强企业的竞争能力，提高企业的综合效益，达到输电线路安全、经济、稳定运行的目标。
