课程文献中心 更多>>

关键词： 注意力机制   地面交通标志识别   模型量化   多线程流水线   嵌入式系统  

摘要： 随着人工智能、大数据、5G等前沿技术的加速应用,自动驾驶的发展对保证道路安全,提高交通效率具有重要意义。自动驾驶汽车首先要具备外界环境的检测认知能力,随后将信息整合传入决策系统控制行驶动作。车辆的自动驾驶依赖于地面交通标志带来的丰富路况信息,但在自然场景中复杂背景条件下完成地面交通标志识别存在众多挑战。采用传统算法会受限于环境与目标多样性的变化,而当前的车载计算设备也制约着算法的检测速度。为了解决自然场景中地面交通标志的多类识别问题,本文采用了轻量化的DAB-Net语义分割网络对地面交通标志进行识别。首先对DAB-Net结合注意力特征关联和多层信息融合提升网络性能。先后在DAB-Net上增加了Squeeze and Excitation通道注意力机制、Criss Cross水平和垂直空间注意力、Object Contextual Representations上下文信息融合与Mutilayers Information Fusion多层信息融合,使DAB-Net从像素空间、通道、层与层间三个维度重新整合特征之间的关联性。在增加少量的参数情况下有效的提升了网络的分割精度。为了让分割模型能够有效识别地面,选取分割精度最高的改进DAB-Net网络对百度地面交通标志数据进行自动标注,增加地面区域类别。采用基础DAB-Net网络将含有地面区域类别的地面交通标志数据进行训练,再将分割结果进行图像后续处理,完成14类主要地面交通标志识别。为了提高检测速度,本文将模型进行8位量化处理并设计了多线程并行流水线结构优化检测速度。最后将完整算法部署于Nvidia Jetson TX2与Xavier嵌入式系统中。本文先后在Cityscapes数据集、百度地面交通标志数据集、Nvidia Jetson TX2与Xavier平台上进行实验。实验表明,改进后的DAB-Net分割网络在Cityscapes数据集上精度达到了73.15%m Io U,比原网络提升3%,模型参数量仅为1.26M。在百度地面交通标志数据集上,14类主要地面交通标志分割精度为75.3%m Io U。经过模型量化与多线程部署优化后,在输入图像为1280×360时,PC机（1080Ti）的检测速度由42FPS提高到133FPS。在Nvidia Jetson TX2与Xavier嵌入式系统中实现的检测速度分别为12FPS和50FPS,在低功耗设备上具备实时检测的能力。本文进行了完整的方案设计与实现,对进一步的应用具有较好的参考价值。

关键词： 智能建筑   遮阳控制系统   无线自组网   嵌入式系统   物联网  

摘要： 城市化的发展给建筑行业带来全新机遇,也给城市可持续发展带来挑战,实现城市建筑绿色化、智能化发展具有重要的现实意义。信息技术的进步促进了智能建筑的发展,充分考虑人类需求、合理利用自然资源、协调整合建筑设施以保证建筑安全、舒适和节能。基于上述背景,本文以建筑遮阳系统为基础,设计了一套基于无线自组网的智能建筑遮阳控制系统,通过实时控制遮阳窗体结构改变建筑外观,高效调整室内环境,降低耗能设备使用,同时提升建筑设计灵活性与美观度。首先结合建筑遮阳系统发展现状,设计基于无线自组网的智能建筑遮阳控制系统整体架构。系统主控节点、终端节点、中继节点以无线通信形成自组织网络,终端节点感知环境信息,经中继节点转发,由主控节点对数据进行汇总,将数据上传至云端服务器进行管理;主控节点下发控制指令,终端节点解析后驱动窗体电机实现建筑遮阳与外观控制。其次完成系统控制节点硬件设计与实现,包括主控节点、终端节点和中继节点。结合系统结构和实际需求,给出基于嵌入式系统的控制节点硬件结构,并分别完成各功能模块设计。主控节点包括主控模块、电源模块、无线射频模块、以太网模块、显示模块、存储模块、总线模块、串口模块等,终端节点和中继节点包括主控模块、传感模块、电机驱动模块等。再次结合硬件结构阐述了软件设计开发流程。基于Z-Stack为系统构建无线自组网,结合实际需求对网络进行配置。主控节点移植μC/OS-III操作系统进行多任务管理,基于Lw IP协议栈实现网络连接功能,通过STem Win开发图形化终端管理界面,使用MQTT协议将数据上传至阿里云物联网平台,创建Web可视化应用对数据进行管理。终端节点和中继节点实现环境信息感知数据与电机驱动控制功能。然后搭建测试平台,对网络性能和系统功能各个环节进行测试。经实际场景验证,本文设计的系统可以解决传统遮阳系统部署不便、无法联网、功能单一的问题,可以实现遮阳窗体的无线控制以及数据的云端管理,为建筑遮阳的绿色智能化管理提供解决方案。最后总结了本文所做工作,分析了系统不足之处并给出下一步研究内容。论文有图45幅,表10个,参考文献78篇。

关键词： 嵌入式系统   实时数据传输   高性能总线   异构计算平台  

摘要： 工业控制、医疗装备、汽车电子等领域有大量的嵌入式系统需求,随着实时传感器数据融合、信号大数据在线处理等需求的提高,嵌入式系统架构需要具备更强的实时流处理与数据传输能力。同构的嵌入式CPU、DSP架构往往难以满足复杂流数据处理场景的需求,基于FPGA与CPU结合的异构架构,能够发挥其可灵活定制的优势实现高并发的预处理和复杂数据传输,同时具有功耗低、扩展性好等特点。面向高性能嵌入式信号处理系统需求,本文提出一种传输链路规范化、通用化、可灵活重构的多片FPGA加嵌入式CPU的架构。针对该架构,本文着重研究并设计了FPGA的内外部的灵活互联接口,给出FPGA与嵌入式CPU的控制和传输方案,实现了FPGA和嵌入式CPU在实时数据传输层面的协同。本文的主要工作如下:1)建立并实现了FPGA与嵌入式CPU的PCIe链路,然后完成基于DMA的数据传输,采用命令队列的方式来解决流传输过程中由命令处理延时导致的数据间断问题,通过灵活设定采样量来平衡数据传输的带宽和实时性。2)构建FPGA上的互联基础架构,包括PCIe接口、DMA、以及DDR等模块的互联,该架构可在不改变硬件逻辑的前提下实现多种方式的数据传输,并使用通用接口加中间模块的方式降低模块的耦合深度,具有较好的灵活性和通用性。3)完成了一种高效率的AXI协议接口DMA模块,该DMA模块可对命令进行AXI事务拆分,使软件在发送命令时无需考虑协议4K边界的问题。最后构建了测试平台进行测试和验证。实验结果显示:FPGA与嵌入式CPU之间可实现超过3GB/s的数据传输,FPGA之间通过Aurora可实现超过14GB/s的高带宽传输。在嵌入式CPU管理控制下,系统可以实现实时流数据传输、缓存、数据回放等多种方式的数据传输,表明系统能够实现处理器单元之间的协同和高效稳定传输,验证了架构和传输方案的可行性。

关键词： 目标跟踪   目标遮挡   尺度变换   KCF算法   嵌入式系统  

摘要： 随着信息时代的发展与进步,机器视觉技术得到了飞速的发展。目标跟踪技术作为该领域的重点研究课题,在各个领域中有着愈发广泛的应用。本文主要对KCF目标跟踪算法进行了深入的探索与改进,并且完成了基于FPGA+DSP框架的嵌入式目标跟踪系统的设计和实现,主要工作内容如下:(1)针对KCF算法抗遮挡性差的缺点,加入了目标遮挡判定、算法更新策略以及目标丢失后的搜索与重定位策略,提出AKCF算法。AKCF算法利用相关滤波器的响应峰值对目标遮挡以及遮挡的程度进行判定,并且根据目标被遮挡的程度来控制跟踪算法的更新力度。当判定目标被严重遮挡丢失后,停止算法的更新,并对目标进行搜索与重定位,在重新捕获目标后更新跟踪算法并继续跟踪,从而实现高鲁棒性的有效跟踪。(2)针对尺度变换问题,本文在AKCF算法的基础上加入了基于响应判别的异步多尺度检测策略,并提出SAKCF算法。在SAKCF算法中也利用滤波器的响应峰值对跟踪质量进行评估,当检测到可能出现尺度变换的情况时,以异步多尺度检测的方式来找出合适的跟踪尺度,从而解决尺度变换问题。同时,利用改进的分割算法对选取的目标模板进行修正,提高跟踪算法的准确性和鲁棒性。实验结果表明,本文提出的SAKCF算法与原KCF算法相比,精确度和成功率分别提高了 3%和8.6%,并且具有更好的鲁棒性。(3)为了提高算法在DSP嵌入式平台上的实时性,本文对算法做出进一步的改进优化。优化算法运行结构,尽量直接从原图中读取图像数据,避免不必要的时间和空间消耗;结合DSP平台提供的一些算法库,实现高效率的二维FFT计算,并优化算法中的一些乘除和矩阵运算等操作。实验结果表明,优化后的算法在DSP平台上有着较高的实时性,跟踪帧率约为42FPS。(4)设计并实现了基于FPGA+DSP的嵌入式目标跟踪系统的软件框架,并且对系统的整体结构进行了介绍,主要包括基于SRIO的图像传输、基于RS422串口的上位机交互等。最终使用SYS/BIOS框架以多线程的方式对软件框架进行了改进,使系统更加稳定高速,并且更容易进行功能扩展。

关键词： 基于模型的开发   嵌入式系统   建模语言   安全性分析   机器学习  

摘要： 随着软件安全性的重要性日益增长,在设计阶段发现问题以规避后续修复问题的成本变得越来越重要,使用模型驱动的方法进行软件开发也因此越来越受到重视,这同样也对嵌入式系统的软件安全性分析提出了更高的要求,在这种趋势下危害演化链应运而生,危害演化链具有演绎性分析、集成多方面信息、分析结果更全面更系统等优势。此外,对于软件系统尤其是嵌入式软件系统,安全性问题发现的阶段越早,后续修改的成本越低。而相比于对静态模型的分析,对实际软件进行动态的软件测试仍然是分析系统安全性的最直观手段。为了解决危害演化链的优势尚未进一步发挥、嵌入式系统的设计阶段只能分析静态模型而无法动态测试安全性的问题,本文提出了一种结合静态动态两方面信息的基于危害演化链的安全性分析方法。本文的研究成果如下:(1)针对设计阶段动态信息缺乏的问题,提出了面向AADL模型的测试用例概念以及生成方案,并将静态的AADL模型转换为可执行的面向对象语言,实现了静态模型的动态仿真。(2)针对危害演化链的优势尚未充分发挥的问题,提出了在仿真过程中基于危害演化链的测试数据生成方案。(3)利用机器学习的方法对仿真数据进行优化作为测试用例,结合动态与静态两方面的信息对系统中的故障进行分析。(4)通过对飞行控制系统、温度控制系统、汽车防抱死系统的AADL模型进行的验证实验证明了有效性。

关键词： 国产化操作系统   嵌入式系统   IP协议族   网络协议栈  

摘要： 随着科学技术的不断发展,越来越多的嵌入式系统被应用在军事、航空航天、工业控制、卫星通信等多个领域。然而,近年来国际上频繁发生威胁国家信息安全的事件,促使我国加快了构建自主可控的软件生态体系步伐,作为软件行业基础的操作系统重新备受关注。为了进一步保障国家的信息安全以及早日实现完全的自主可控,本项目基于中航工业研究所研发的国产化操作系统,开发一套符合该操作系统特点的TCP/IP网络协议栈。该国产化操作系统采用微内核设计,支持多种国产CPU芯片和处理器,是一款综合化的、具有时间隔离和空间分离特点的嵌入式实时分区操作系统。国产化某操作系统的研发迈出了我国自主可控的第一步,该操作系统上的网络协议栈必须自主设计和实现,为此本项目主要做了以下几个方面的工作:(1)学习了嵌入式操作系统及其网络协议栈的发展历史和特点,并对国产化某操作系统的体系结构、功能特点以及集成开发环境进行详细分析,深入了解国产化某操作系统提供的系统支持,为内存分配策略和通信机制的设计打下基础。(2)学习了符合RFC标准的IP协议族的相关理论,设计和实现了包括IP协议,ARP协议和ICMP协议的各个功能模块;同时,以IP协议族为中心,设计和实现了它与传输层、数据链路层的接口以及网络协议栈的缓冲区,并将其作为一个组件集成到操作系统中。(3)为了将实现的协议栈应用在国产化某操作系统中,先搭建测试环境,测试本项目实现的各个功能模块是否完备,测试的内容包括:以IP协议族为核心的网络层能否为传输层提供透明的传输服务,协议栈中其他层能否相互配合完成远程登录及文件上传下载等网络传输功能。综上所述,本文在了解和分析国产化某操作系统的特点、提供的系统服务之后,根据实际应用需求设计网络协议栈的体系结构,并遵循RFC文档中IP协议族的理论规范实现了 IP协议族中各协议的所有功能模块,最后通过测试证明在国产化某操作系统上设计开发的网络协议栈具备通信功能。

关键词： 数字签名技术   公钥密码体制   RSA算法   蒙哥马利模乘  

摘要： 随着近些年来互联网和通信技术的高速发展,信息安全领域面临前所未有的挑战。在互联网通信的过程中,常用到数字签名技术来对信息进行鉴真防伪。作为数字签名中常用的公钥算法,RSA算法可以在进行数据加密的同时能进行身份验证,具有安全性好、易于实现的优点。而在2018年新的国密标准中明确要求用于数字签名的RSA算法密钥长度需要达到2048位,而在此要求下的RSA算法因为密钥长度的大幅提升导致了运算效率低和硬件开销大的问题。因此,设计一款满足国密标准、运算速度快且硬件开销小的RSA加密芯片对数字签名的推广应用具有重要的意义。本文聚焦于传统RSA算法在2048位密钥长度下运算时间长、硬件开销大的问题,设计了一种双层流水线RSA加密硬件体系架构,该结构支持AMBA 4.0总线协议,具有高速、可配置的优点。在算法优化中,本文从素数选择入手,在四素数RSA优化算法的基础上引入Miller-Rabin算法选取素数,解决了模数n生成过程中耗时大的问题;在原始蒙哥马利算法的基础上提出了添加伪随机和指数掩码操作的模幂算法优化方案,在提升了运算速度的同时可成功抵抗功耗攻击和故障攻击。在硬件实现上,本文采用AXI总线作为系统总线,并配置了外部寄存器,满足RSA算法在1024bits和2048bits两种密钥长度下的工作模式;在模乘单元中采用了双层流水线结构,在内层采用11级流水线设计,外层采用6级流水线设计,使电路具有较高的运算速度和时钟频率。本文基于硬件描述语言Verilog HDL进行RTL级设计,实现环境是Vivado2019.1,采用软件辅助的方式完成了功能模块的仿真验证。接着分别在XC7A200T-2FBG676I开发板上完成了FPGA的验证以及用SMIC 180nm工艺对本文设计的RSA硬件电路进行了ASIC实现。实验结果表明密钥长度为1024bits和2048bits下完成一次RSA算法运算的时间分别低至3.6ms和15.0ms,在2048bits工作模式下系统的动态总功耗为33.7m W,实现面积为2.09mm2,与同类RSA芯片相比具有运算速度快和硬件开销小的优势,符合国密标准,可以满足数字签名的需求。

关键词： 自适应控制   嵌入式系统   ADB前照灯   行车安全  

摘要： 夜间行车因光线问题导致交通事故频发,使得汽车前照灯技术成为解决夜间行车安全问题的一项重要课题。为解决夜间行车远光灯产生眩目的问题,产生了自适应前照灯技术。目前功能最完善的自适应前照灯为基于ADB(Adaptive Driving Beam)的自适应前照灯,ADB前照灯控制系统根据摄像头识别出前车位置并改变远光光型,在不对前车驾驶员产生眩目的同时也不会影响前方其他区域照明,可一定程度上降低夜间发生交通事故的频率。ADB控制系统控制灯光的准确性和实时性是实现ADB自适应远光功能的关键部分,其需要合理的硬件设计和完整的软件控制方法来保证准确性和实时性。根据目前的ADB前照灯发展现状,本文设计了ADB前照灯控制系统,为提高ADB控制系统准确性和实时性,研究了系统控制流程和软件控制算法。本文主要研究内容如下:1)根据ADB自适应前照灯工作原理提出本文ADB系统控制原理和控制要求,设计了系统总体结构,并将系统分为ADB控制器、LED驱动器两部分。根据ADB系统控制原理,设计了各部分电路的功能并对各电路的元件参数进行了分配。完成了ADB自适应前照灯控制系统硬件设计及调试工作,设计了系统的软件流程。2)为满足ADB前照灯控制系统工作的准确性和实时性要求,设计了控制系统的软件控制算法,该算法对前车车灯运动状态信息进行滤波和预测处理,具体处理方面如下:(a)为解决夜间因复杂道路干扰光源太多而导致图像处理器信号出现噪声影响控制系统准确性的问题,采用了一种基于卡尔曼滤波的算法,对噪声进行滤除;(b)在车辆高速行驶时,矩阵式LED控制器LED执行ADB控制器指令时相对于采集图片时刻有一定的延时,导致了控制滞后。针对控制滞后的问题,本文采用了一种基于AR(Autoregressive model)模型的预测算法,将经过噪声滤除后的信号值,通过AR模型进行多步长预测,从而能够提高系统工作的实时性。3)通过MATLAB编写卡尔曼滤波噪声滤除算法程序和AR模型信号预测算法程序对图像处理器采集识别的信号进行仿真分析,验证算法性能。搭建了控制系统功能测试环境,进行了控制系统基础功能测试,验证控制系统通过上位机发送CAN报文控制单颗LED灯珠的功能。进行ADB控制系统和图像处理器联合功能测试,验证前照灯的ADB自适应功能。仿真实验及系统功能测试结果表明:在经过卡尔曼滤波和AR模型预测后得出的距离预测值与该时刻量测值误差不超过0.2m,根据距离预测值得出的角度预测值误差不超过0.05°,在相对车速为180m/s时,距离预测精度可达92%。经过滤波预测处理后,能很好滤除图像处理器信号噪声,补偿系统工作周期和信号传输带来的延时,满足系统准确性和实时性的要求。系统功能测试结果表示本文控制系统能够实现单独控制单颗LED灯珠,在与图像处理器联合测试中能够根据视频中前车车灯的光斑信息准确地改变远光光型。由此可见本文设计的ADB系统具有一定的应用前景,为以后ADB前照灯发展提供了一定的理论依据。

关键词： 视觉SLAM   嵌入式系统   视觉里程计   RGB-D相机   GPU加速  

摘要： 近年来,随着图像传感技术与计算机技术的发展,基于机器视觉的自主定位方法(视觉里程计)成为移动机器人领域的研究热点;该技术能为工作在室内环境的移动机器人提供稳定、可靠的状态估计信息,是机器人系统开展后续决策、控制工作的基础,对移动机器人研究有重要意义。然而,视觉里程计实时进行的图像分析工作复杂度高、运算量大,对设备算力有极高的要求,难以部署在低功耗的嵌入式系统中。针对该问题,本文结合RGB-D相机的采样特性,改良特征点法视觉里程计的处理算法,充分利用嵌入式GPU硬件的并行计算能力,研究了一种可在嵌入式环境中实时、稳定工作的视觉里程计。首先简要介绍了三维空间中相机运动的数学描述与RGB-D相机的成像原理,建立出相机的观测模型;针对六自由度相机位姿的估计问题,分别介绍了面向3D-2D的Pn P算法与3D-3D的点云配准方法;然后,在经典特征点法视觉里程计的框架下,构建了本文RGB-D视觉里程计的基本模型,为后续视觉里程计的算法研究与改进工作奠定了基础。在RGB-D视觉里程计的前端追踪部分,充分利用嵌入式GPU硬件与算法的可并行性,基于GPGPU技术改进了图像特征提取、点云特征匹配、相机位姿估计三个部分的处理,提升系统的实时性;在特征匹配环节,提出了一种基于直方图统计的匹配筛选方法,利用欧氏变换的一致性,筛选出输入匹配的内点(正确匹配)集,使得后续可使用闭式的点云配准算法计算出相机的相对位姿变换,相较于传统基于RANSAC的位姿计算方法,该方法能显著提升输入帧位姿的估计效率。在RGB-D视觉里程计的后端优化研究中,推导了系统最大后验估计(MAP)的求解方法,分析了后端优化问题的稀疏结构,研究了一种根据关键帧间的特征匹配关系构建图模型的信息整合方法,准确建立图模型中的节点与边。在优化过程中,权衡系统的优化效果与解算速率,采用了局部集束调整的优化策略,控制后端的优化规模,高效抑制系统累计误差的增长。最后,综合RGB-D视觉里程计的基本模型与改进后的前、后端模块,将上述算法部署到了NVIDIA Jetson TX2嵌入式运算平台中,通过公开的RGB-D数据集进行了实验测试,验证了系统工作的实时性与可靠性。结果表明,该系统实现了实时、鲁棒的相对位姿估计,其输出轨迹在较长时间保持了良好的一致性。

关键词： 布料瑕疵检测   深度学习   模型压缩   嵌入式系统  

摘要： 我国作为世界上最大的纺织服装生产国、消费国、出口国,拥有着世界上最多布料生产机台,但是传统的布料纺织机台还延续着劳动密集型的生产方式,耗费大量的人力、物力以保证布料的质量。随着近些年来深度学习算法和边缘计算设备的快速发展,深度学习技术在布料瑕疵检测中得到了广泛的应用,用人工智能方法逐步替代人工看守逐渐变成现实,但是由于深度学习算法网络结构复杂,计算规模大,若要将其应用到实际布料生产线上做实时的瑕疵检测,需要充分考虑其实际应用场景对检测系统的要求。本文以布料图像为实验研究对象,从深度学习模型设计、模型优化、图像后处理、系统优化等方面出发,研发一套准确率高、计算速度快、可靠性强的布料图像瑕疵实时检测系统。本文完成的主要工作如下:1、在数据集样本数量有限条件下,本文使用添加椒盐噪声,调整对比度和亮度,调整旋转角度三种方法来丰富和扩充数据集,然后应用卷积自编码器网络对布料图像进行无监督学习,得到了具有较好布料图像还原效果的轻量化Tensorflow模型,在此基础上简化模型,用MNIST数据集对模型的全连接层特征提取有效性做了实验和分析;2、基于RK3399Pro中NPU的定点运算特性,本文应用模型压缩技术来减小卷积自编码器模型大小,以损失一部分精度为代价,将卷积自编码器模型的推理速度从浮点数据下的每秒10.8帧提高到了定点数据下的每秒14.7帧。在模型压缩的基础上,运用均值滤波、阈值分割、数学形态学处理等图像处理方法对模型的重构误差进行计算,构建了完整的布料图像瑕疵检测算法,算法在一级瑕疵数据集中的检测准确率为99.8%,二级瑕疵数据集中的检测准确率为96.4%。最后在测试集上验证了本文提出的布料图像瑕疵检测算法在嵌入式端的有效性;3、设计了精简有效的人机交互子系统,搭建起了一套布料图像瑕疵实时检测系统。针对系统推理速度不能满足实际生产需求的问题,本文将系统不同任务设定为子进程,在多进程方法下提高不同任务间的数据传输效率,节省了40.3%的推理时间,系统检测速度从每秒7.4帧提高到每秒12.3帧,满足了系统实时性需求。