空间智能与数字人实验室

Spatial Intelligence and Digital Human Lab (SIDH)

团队简介：

南昌大学空间智能与数字人实验室（以下简称实验室）依托南昌大学软件学院，成立于2023年10月，包含3名固定科研人员、总人数达20人的科研力量。固定人员中副教授1人、讲师2人，其中主持和参与国家自然科学基金10项，省级项目2项，横向开发项目达400余万，发表论文50余篇，申请发明专利20余项。实验室致力于空间智能计算、图像智能处理、虚拟现实、数字人应用等方向，全方位覆盖空间智能与数字人为核心的研究内容。

团队主要创新方向和成果：

1．创新方向一：空间智能计算（李渭）

(1)科研项目

[1] 面向移动重定位的可见光图像到LiDAR点云跨域配准关键技术研究，国家自然基金（地区）项目，62361041，2024.01-2027.12, 在研, 主持.

[2] 江西省科学技术厅, 江西省自然基金青年项目, 20212BAB212012, 建筑物三维点云的面结构感知与多边形简化建模研究, 2021.01-2023.12, 结题, 主持.

[3] 墨他（杭州）科技有限公司，横向基金项目，项目编号：HX202209290005，基于辐射神经场的人体三维重建技术开发， 2022.10-2023.10, 主持。

[4] 苏州全视智能光电有限公司, 横向基金项目, HX202111120004, 基于三维点云的钢件焊接轨迹特征检测技术开发, 2021.11-2022.11,完成, 主持.

[5] 国家自然科学基金委员会, 地区科学基金项目, 62166026, 基于姿态特征匹配和跨域无监督学习的行人重识别, 2022.01.01-2025.12.31,在研, 参与.

[6] 国家自然科学基金委员会, 面上项目, 61872306, 大规模人群出行的不确定性分析与城市级别人流预测研究, 2019.01.01-2022.12.31,在研, 参与.

[7] 国家自然科学基金委员会, 面上项目, 61771413, 联合可测点云/多视角图像的大规模对象标记数据集生成方法研究, 2018.01.01-2021.12.31,在研, 参与.

[8] 国家自然科学基金委员会, 青年科学基金项目, 61601392, 多回波地面激光扫描点云的叶簇遮挡目标特性建模, 2017.01.01-2019.12.31,结题, 参与.

(2)代表论文

[1] Wei. Li, Lixin. Zhan, et al., "Semantic Segmentation of Point Cloud with Novel Neural Radiation Field Convolution," in IEEE Geoscience and Remote Sensing Letters, 2023，doi: 10.1109/LGRS.2023.3307421. (中科院SCI二区，IF=4.523)

[2] Lixin Zhan, Wei Li, Weidong Min. FS-ResNet: Feature Standardization Residual Network for Large-Scale Point Cloud Segmentation[J]. International Journal of Applied Earth Observation and Geoinformation, 2023，118，1-9. (中科院SCI一区，TOP期刊，IF=7.672)

[3] Wei Li, Sijing Xie, Weidong Min, et al., (2022). Spherical coordinate transformation-embedded deep network for primitive instance segmentation of point clouds[J]. International Journal of Applied Earth Observation and Geoinformation, 113, 1-8.（中科院SCI一区，TOP期刊，IF=7.672）

[4] Wei Li, Cheng Wang, Congren Lin, Guobao Xiao, Chenglu Wen, Jonathan Li, (2020). Inlier extraction for point cloud registration via supervoxel guidance and game theory optimization. ISPRS Journal of Photogrammetry and Remote Sensing, 163, 284-299. （中科院SCI一区，TOP期刊，IF=11.774）

[5] Wei Li, Cheng Wang, Chenglu Wen, Zheng Zhang, Congren Lin, Jonathan Li, (2020). Pairwise registration of TLS point clouds by deep multi-scale local features[J]. Neurocomputing, 386, 232-243.（中科院SCI二区，IF= 5.779）

[6] Wei Li, Cheng Wang, Daiwei Zai, Chenglu Wen, Weiquan Liu Jonathan Li. A Volumetric Fusing Method for TLS and SFM Point Clouds[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(9): 3349-3357.（中科院SCI二区，IF=4.715）

2．创新方向二的名称：图像智能理解（苏鹏翔）

（1）科研项目

[1] 胶质瘤MRI影像精细化智能分割关键技术研究，国家自然科学基金面上项目(NO. 62276112). 2023.01.01-2026.12.31, 在研, 参与.

[2] 基于迁移学习的多视角医学图像协同分割及融合关键技术研究（NO. 61876070） 国家自然科学基金面上项目. 2019.01-2022.12, 结题, 参与.

[3] 面向互联网+的****内容审计技术研究（NO. 2018YFB0804203，涉密）.国家重点研发计划子课题, 2018.12-2022.12, 结题, 参与.

[4] 基于多元像素的多模态医学图像分割关键技术研究（NO.61672259）.国家自然科学基金面上项目. 2017.01-2020.12, 结题, 参与.

[5] 基于机器学习的智慧医疗影像数据处理关键技术研究，吉林省科技厅技术攻关项目（NO.20190303134SF）. 2019.01-2022.12, 结题,参与.

[6] IPS细胞--肿瘤细胞体外精密实时微环境控制芯片实验室新技术研究（NO.3137144）, 国家自然科学基金面上项目. 2014.01-2028.12, 结题, 参与.

（2）代表论文

[1] Pengxiang Su, Zhenguang Liu et al., Motion Prediction via Joint Dependency Modeling in Phase Space, ACM International Conference on Multimedia. 2021: 713-721. (CCF-A会议, 第一作者)

[2] Zhenguang Liu, Pengxiang Su* et al., Motion Prediction using Trajectory Cues, IEEE International Conference on Computer Vision. 2021: 13299-13308. (CCF-A会议)

[3] Pengxiang Su, Xuanjing Shen et al., Adaptive Multi-order Graph Neural Networks for Human Motion Prediction, IEEE International Conference on Multimedia & Expo. 2022: 1-6. (CCF-B会议)

[4] Pengxing Yue, Pengxiang Su, Yaxi Guo et al. A Microfluidic Experimental Method for Studying Cell-to-Cell Exosome Delivery–Taking Stem Cell–Tumor Cell Interaction as a Case[J]. International Journal of Molecular Sciences, 2023, 24(17): 13419. (中科院SCI二区，IF=5.6)

[5] Yingying Jiao, Haipeng Chen, Chang Yao, Pengxiang Su* et al., Spatial-Temporal Correlation Modeling for Motion Prediction, IEEE International Conference on Multimedia & Expo. 2022. (CCF-B会议)

[6] Pengxiang Su, Xuanjing Shen et al., M-AResNet: A Novel Multiscale Attention Residual Network for Bio-waveform Singal Image Classification, Multimedia Tools and Applications, 2023: 1-16. (中科院SCI三区, CCF-C期刊, IF=3.6)

[7] Pengxiang Su, Xuanjing Shen et al., Multiscale Spatial and Temporal Learning for Human Motion Prediction, International Conference on Artificial Neural Networks. 2022: 593-604. (CCF-C会议)

3．创新方向三的名称：虚拟现实应用（刘捷）

1）科研项目

[1] 基于VR技术模拟多场景多环境急救培训平台，江西省重点示范项目，2019.01-2021.12，主持.

[2] 概念模型及算法描述，陆军步兵学院，2022.01-2023.12，主持.

[3] VR多人急救培训系统，南昌彤坤科技，2021.01-2022.12，主持.

[4] 《基于VR技术模拟多场景多环境急救培训平台》软件系统，南昌彤坤科技，2020.01-2021.12,主持

团队成果主要应用方向：

1）面向三维可测的数字孪生管理系统

针对大范围实景三维模型的房屋、农田、水域等单体目标，开发可测、可视化、可更新维护等数字孪生管理系统，实现单体语义标注、高度、面积、体积等测量；实现单体目标变化更新登记，如智慧乡村、智慧校园的三维可视化管理系统的开发。

（a）智慧乡村数字孪生管理系统

（b）智慧乡村数据分析系统

图1 面向三维可测的数字孪生管理系统

2）面向建筑物点云的多边形简化建模系统

针对建筑点云的多边形简化建模，设计实现了Alpha Shape、Manhattan、PolyFit、Point2Poly，并做了相应的实验比较分析。面向多建筑物的多边形简化建模问题，设计一套多建筑物简化建模方法，实现了城市场景级多建筑物的多边形简化建模，并集成开发了一套面向建筑物点云的多边形简化建模系统。

图2 建筑物点云多边形简化建模系统

3）基于三维视觉的钢件焊接轨迹自动检测项目

焊接作为智能制造的重要技术，已广泛应用于船舶、汽车、钢件、机床等生产过程。然而，目前焊接仍处于人工阶段或半自动化推进阶段，成本高、工作量大且难以满足实际大批量焊接的需求，且对工人身体健康有危害。针对以上自动化不够的问题，本项目对由传感器生成的钢件管型点云数据进行识别、定位并提取出相应的焊缝轨迹，并针对焊缝提取技术进行整合，利用QT技术开发桌面焊缝检测系统，实现风机、三圆孔板、 管板、 变压器和筛网的焊接轨迹自动化检测，满足工业生产的需求。

图3 基于三维视觉的钢件焊接轨迹自动检测系统

4）基于单目摄像头的三维人体姿态估计项目

三维人体姿态估计的应用非常广泛，包括人机交互、运动分析、康复训练等。它可以用于动作、手势和步态识别，例如在机场跑道信号、交警信号等肢体语言的理解上。此外，它还可以用于增强安保和监控，如检测一个人是否摔倒或疾病，以及在健身、体育和舞蹈等的自动教学上。在计算机图形学中，三维人体姿态估计是一个重要的技术，可以用于动画制作、运动捕捉和增强现实等领域。例如，在交互游戏中，可以使用3D姿态估计来追踪人体对象的运动。此外，三维人体姿态估计还可以应用于步态分析，评估运动员的运动状况、提升成绩，或者作为生物识别标识，定位追踪空间中的个人。在新零售领域，可以通过人们的购买行为来判断人们的姿态，从而更好地理解客户的需求和行为。在安防领域，可以判断画面中的人是否有过激行为，及时报警。

图4 基于单目摄像头的三维人体姿态估计技术

5）基于图像理解医学影像分析项目

基于图像理解的医学影像分析项目是一个多学科交叉的领域，涉及医学影像、数学建模、数字图像处理与分析、人工智能和数值算法等学科。这个项目的目的是利用计算机技术对医学影像进行自动分析和处理，以提高医生对疾病诊断的准确性和效率。基于图像理解的医学影像分析项目主要任务包括图像分类、分割、目标检测以及图像增强等。通过这些任务，医生可以更好地理解患者的病情，并制定更加精确的治疗方案。在实践中，基于图像理解的医学影像分析项目已经被广泛应用于各种疾病的诊断和治疗，手术导航和介入治疗等领域。目前该技术已成为一个重要的医疗辅助工具，帮助医生更加准确地诊断和治疗各种疾病，提高患者的医疗体验和健康状况。

图5 基于图像理解医学影像分析

6）基于三维关节点的人体运动预测项目

人体运动预测目标是通过分析历史的人体运动数据，预测和模拟未来的人体运动行为。这个领域涉及到多个学科，包括计算机视觉、机器学习、运动生物力学等。人体运动预测的主要应用包括体育训练、康复训练、人机交互、智能监控、自动驾驶等领域。在体育训练中，人体运动预测可以帮助教练和运动员更好地理解运动员的运动状态，评估其技巧水平，并制定针对性的训练计划。在康复训练中，人体运动预测可以帮助康复师了解患者的运动能力和障碍，制定个性化的康复方案。在人机交互中，人体运动预测可以实现更加自然和直观的人机交互方式，提高用户体验和工作效率。在监控中，人体运动预测可以用于行为分析和异常检测，例如在安全监控、智能家居等领域。本项目的研究成果可以应用于多个领域，对人类生产和生活中诸多场景均可产生积极的影响。

图6 运动估计

7）数字人声音克隆与情感驱动系统

采用元宇宙技术来复刻古代名人王阳明，并制作成数字虚拟人，涉及到多个技术领域。以下是可能涉及到的一些技术和用途：

数字建模和渲染： 制作数字虚拟人首先需要对王阳明的外貌、面部表情等进行数字建模。这可以使用计算机图形学中的技术，如三维建模和渲染。

人工智能（AI）和自然语言处理（NLP）： 要使数字虚拟人具备智能和自然语言交互的能力，需要整合先进的人工智能和NLP技术。这使得虚拟人能够理解和回应用户的语言，模拟真实对话。

声音克隆与情感驱动： 为了提供更真实的体验，数字虚拟人可能会使用先进的语音合成技术，使其能够以自然而流畅的方式与用户交流。情感计算： 为了使虚拟人更加真实和人性化，可能使用情感计算技术来模拟王阳明的情感表达，包括面部表情、语调和其他非语言元素。应用于以下多个领域：教育： 作为教育工具，数字虚拟人可以向用户传授王阳明的思想、历史和文化。文化传承： 通过数字化的形式，传承和弘扬古代名人的文化遗产。

图7 王阳明数字虚拟人

8）数字人的多模态交互大模型系统

图8 数字人的多模态交互大模型系统

滕王阁管理处基于南昌市提升旅游城市地位并扩大影响的需求，抓住了人工智能技术的落地机遇，在全国首创人工智能大语言模型驱动的虚拟数字人“王勃”项目——滕王阁智能背序亭。

游客在背序亭中，面对虚拟数字人“王勃”背诵《滕王阁序》，“王勃”进行评测打分。“王勃”根据游客背诵的语音，准确识别背诵的文字，对比标准给出评分。智能背序亭与票务系统进行联通，背诵成绩达到标准以上的游客，可以免费获得滕王阁景区门票一张，直接刷本人身份证进入景区游览。此外，游客还可以与 “王勃”进行语音互动。

团队的研究和应用目标：

1)建立高水平的空间智能与数字人应用研究队伍。

2)建设高水平的、开放的、共享的综合研究平台和环境。

3)在空间智能计算、图像智能理解的基础研究领域开展原创性研究。

4)在空间智能、图像智能理解、虚拟现实技术与系统方面突破一批具有自主知识产权的高新技术。

5)探索空间智能、医学图像、虚拟现实领域新的学科发展方向。

团队成员介绍：

1）骨干教师：

刘捷副教授:南昌大学硕士导师，长期从事计算机教学与科研工作，讲授计算机基础与专业核心课程。主要从事虚拟现实、人工智能、大数据基础理论及其应用研究，重点研究虚拟现实的虚实融合应用、基于增强现实的异地协同系统等。主持并承担省部级项目10余项。

李渭博士:南昌大学硕士生导师，厦门大学计算机科学与技术博士。研究领域包括：三维视觉、空间感知、点云智能分析、深度学习、虚拟增强现实等。在计算机和遥感领域ISPRS Journal of Photogrammetry & Remote Sensing高水平期刊发表20余篇学术论文，其中包括第一作者SCI一区3篇，二区3篇，申请发明专利14项。担任T-ITS、TGRS、PR、JAG、J-STAR、GRSL等审稿人。主持国家自然基金项目1项，江西省自然基金项目1项，主持横向基金项目2项。

苏鹏翔博士：吉林大学计算机科学与技术博士。主要在人体运动智能理解（包括预测、估计和分类）、图像智能分析（包括生物、自然图像）等领域展开探索与研究。目前发表论文10余篇，其中以第一作者或通讯作者在计算机视觉、多媒体等领域的顶级学术会议和主流期刊上发表论文6篇（CCF-A类2篇，CCF-B类2篇，CCF-C类2篇）。担任IEEE International Conference on Multimedia & Expo、International Conference on Artificial Neural Networks、Knowledge based Systems、MultimediaTools and Application和Multimedia System等国际会议和期刊的审稿人。参与国家自然基金委国家重点研发计划子项目1项和面上项目2项：基于迁移学习的多视角医学图像协同分割及融合关键技术研究、基于多元像素的多模态医学图像分割关键技术研究、IPS细胞-肿瘤细胞体外精密实时微环境控制芯片实验室新技术研究。

2）研究生：

指导研究生：翟鹏涛23级，甘明鑫23级，廖浴欣23级，王开鹏23级，曾佑锦23级。

联合指导研究生：江一飞19级（就职阿里巴巴），詹礼新21级（录取于国防科技大学博士），曹见鹏22级、王艺凡22级、廖志文22级，谢小龙21级，杨烨天22级，陈铭22级，王洋22级，马友平23级，甘明鑫23级，廖浴欣23级，丁艺帆23级，刘明23级。

团队负责人：李渭

邮箱：weili.cs@ncu.edu.cn

办公地址：软件楼210