一、总体概述

1、本人工智能实验箱是一款以机械臂为典型应用的面向人工智能、物联网、嵌入式等专业的泛用型平台，可以满足人工智能、物联网工程专业的核心课程教学、实验和实训需求。

2、AI主控采用8核64位处理器，内置NPU，算力可达6TOPS，支持TensorFlow、PaddleLite、Pytorch等多种框架。

3、平台采用AI主控+IoT模组+底板+机械臂的方式构成，IOT模组可以拆卸独立使用、6种通讯方式、传感器可以互换、增加。板载RFID 13.56M，可更换为125K、 900M、2.4G任意频段。

4、IoT模组涵盖当前物联网行业流行的六种通讯方式（NB-IoT、LoRaWan、Wi-Fi、Zigbee、Bluetooth、星闪SLE)，接口资源丰富，同时支持市面上大部分工业级传感器，二次开发得心应手，引领学生掌握主流物联网技术，获得工程应用开发能力。

5、百度开放平台+人工智能+机械臂的综合项目，提供人工智能、AIOT应用实验体系；并配有详细的实验指导书，提供人工智能+物联网的在线课程资源；支持课设、毕设实践需求。

二、硬件配置

1、国产嵌入式AI运算单元

（1）CPU：4*Cortex-A76+4*Cortex-A55架构8核64位处理器，主频2.4G；

（2）GPU：ARM Mali-G610、OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2；

（3）NPU：6TOPS算力，支持INT4/INT8/INT16；

（4）内存LPDDR4 8GB；

（5）存储EMMC 64GB；

（6）配备10英寸，分辨率1024*640的显示终端，多点电容触摸显示终端；

（7）通讯资源：板载Wi-Fi6.0、蓝牙5.0模块；

（8）接口资源：1路HDMI接口，支持8K @60Hz显示输出；1路MIPI D-PHY TX输出；1路USB3.0接口；2路USB2.0接口；1路Type-C接口；1路MIPI CSI接口；1路MIPI D-PHY RX接口；1路千兆以太网口；3.5mm耳机孔音频输入/输出；1路麦克风输入；26pin扩展排针；1路调试串口（3pin）；3路按键（MaskROM键、RECOVERY、开关机键）；1路TF卡接口；2路LED指示灯；SD卡接口；

2、嵌入式AI控制单元：

（1）板载ARM® Cortex™-M4内核处理器，主频≥168MHz，片内Flash 1MB，SRAM 196KB，带有独立复位按键，可用于工业机械臂、无线传感网控制等。

（2）可选配6层沉金工艺RISC-V架构64bit处理器，Ubuntu系统，主频1GHz，内存1G，存储16G，包含1路HDMI接口、1路MIPI显示接口（支持4通道MIPI显示屏，I2C触摸屏）、1路树莓派MIPI显示屏接口（接口定义与树莓派相同，可直接外接树莓派MIPI显示触摸屏）、1路USB-HOST接口、1路SD/TF卡家口、1路3.5mm耳机接口、1路麦克风子板接口、2路LED指示灯（三色指示灯和电源指示灯）、1路调试串口，1路TypeC电源输入接口、1路TypeC调试USB口、2路RS232串口、1路千兆以太网口、板载2.4G Wi-Fi/BT模组、支持3路（复位、OK、FEL）按键、40pin扩展排针。

3、AIoT无线传感单元:

（1）AIoT无线传感单元包含4个AIoT模组，AIoT模组采用 “MCU主板 + LCD显示 + 通讯模块 + 传感器”一体化的组成方式，主板可自动识别无线传感模块并开始工作，默认配备Zigbee模块2个、Wi-Fi模块2个、LCD显示屏4块、传感器4个（温湿度传感器、声响光敏传感器、雨雪传感器、LED蜂鸣器传感器）用于无线传感网控制实验。

（2）MCU主控采用ARM® Cortex™-M3内核GD32F103RCT6处理器，主频≥108MHz，支持3S锂电池（11V-13V宽电压）供电，板载128Mbit NORFlash存储、5V直流电机驱动接口、电流采样电路、电源电压采集电路、五向摇杆按键、RTC电路、RGB三色灯、LED、光电耦合接口、继电器公共端接口、继电器常开/常闭接口、TTL串口、RS232串口、RS485接口、PWM接口、ADC接口、USB接口、I2C接口、GPIO、ST-Link下载调试接口、电源电压输出接口、5V电源输出接口、3.3V电源输出接口、SD卡接口等硬件资源。

（3）LCD显示屏尺寸1.3寸，分辨率240*240，TFT全视角IPS屏，显示颜色RGB 65K彩色，显示接口支持4线SPI，工作温度-20°到70°。

（4）AIoT模组支持6种通讯方式，包括NB-IoT、LoRaWan、Zigbee、Bluetooth、Wi-Fi、星闪SLE等。

（5）AIoT模组支持25种传感器，包括三轴加速度计传感器、大气压力传感器、磁场强度传感器、紫外线传感器、薄膜压力传感器、红外测距传感器、单轴倾角传感器、广谱气体传感器、热释红外传感器、接近开关红外反射模块、红外对射传感器、雨雪传感器、震动传感器、火焰传感器、循迹传感器、直流电机桥模块、光耦继电器模块、LED蜂鸣器模块、超声波测距传感器、温湿度传感器、光照强度传感器、颜色传感器、独立按键模块、双数码管模块、LCD1602模块、LCD12232模块、热电偶传感器、陀螺仪传感器等。

4、RFID射频单元默认板载1个125K模块，4P（RS232、TTL）供电、通信接口，5V DC（2.1mm）电源供电接口，Mini USB通讯接口，模块可独立使用；标配≥5张标签卡；通过串口与外部通信；该模块可更换为13.56MHz、900MHz、2.4GHz任意频段。5、机械臂搬运单元（1）六自由度机械臂，本体搭载≥6个带反馈三端口串行总线舵机，底座舵机堵转扭力≥25KG，转动速度≥0.16sec/60°/7.4V，其余舵机堵住扭力≥15KG，转动速度≥0.22sec/60°/7.4V，每个舵机均有堵转保护、过温保护、状态回读等功能，可以实时反馈温度、电压、位置等数据。（2）8个默认配置仓库位用于码垛搬运实验，8个标配立方块，27cm³方块体积，6面均带有不重复可识别图案，具体为数字、字母、汉字、动物、车标、水果。6、摄像头识别单元

固定在机械臂上的USB2.0接口的免驱摄像头，用于人脸识别、图案识别等实验。摄像头像素≥200万，分辨率≥640*480，视场角≥120°，帧速≥30fps，工作电流300mA，睡眠电流≤10mA，工作温度-20°到70°。

7、语音控制单元

支持中英文本地语音指令≥150条，支持基于RTOS轻量级系统的二次开发，主处理器运行频率≥240MHz ，支持DPS指令集及FPU浮点运算单元，最大支持1024点复数FFT/IFFT运算或2048点实数FFT/IFFT运算，内置≥242KB高速SRAM和≥2MB FLASH，支持低压检测和看门狗，支持外设包括外部中断、DAC、PWM等。

语音控制单元接口兼容AIoT无线传感模组传感器接口，可替换为AIoT无线传感模组支持的所有传感器。

8、执行机构单元

（1）2个板载可编程180度小型数码舵机，工作扭矩≥1.6KG/CM，反应速度≤0.13S/60°，工作温度范围-30℃到60℃，支持JR、FUTABA通用插头。

（2）8个板载可编程6mm红色LED指示灯。（3）2个板载可编程12mmx12mm大尺寸独立按键。（4）1个板载可编程有源蜂鸣器。9、底板其他单元（1）板载有独立4欧3W单喇叭双震膜3.5mm耳机孔USB供电扬声器。（2）底板硬件支持过流保护和实时电源电压监测功能。 （3）底板各单元间主控通过工业Modbus协议实现通信。

（4）底板对外提供≥3路USB2.0接口。

（5）底板可通过配置识别到当前板载RFID设备模块并自动进行工作。

三、系统软件

满足学生线上学习需求。有丰富的实验体系，实验教学视频，配套详细的实验指导书，教师PPT等；1、操作系统 Ubuntu 22.04 （Kernel 5.10）；OpenHarmony4.0；2、AI环境参数Python版本：3.10；TensorFlow版本：2.13.0；Paddlelite版本：2.9.1；Pytorch版本：1.13；torchvision版本：0.14.0；torchaudio：0.13.0；OpenCV版本：4.5.4；TensorFlow-Lite版本：2.10.0；Dlib版本：dlib-19.24； NCNN版本：1.0.20230517；OpenCL版本：3.1；3、驱动程序 HDMI液晶屏驱动；电容触摸屏驱动；以太网驱动；GPIO驱动；串口驱动；音频驱动；USB Device驱动；USB host驱动；USB OTG驱动；Wi-Fi模块驱动；蓝牙模块驱动；NPU驱动；3D、2D硬件加速驱动；TF卡驱动；

四、实验项目

1、人工智能实验项目（1）AI基础实验：人工智能简介、环境搭建、C/C++基础知识、Python基础知识；TensorFlow基础实验；PaddleLite基础实验；PyTorch基础实验；USB摄像头实验；音频实验；

（2）OpenCV应用实验：图像存取与显示（C++）、Camera的基本使用（C++）、色彩空间与图像表示（Python）、图像的平滑处理（C++）、图像的特征（C++）、图像的基本处理（C++、Python）；

（3）AI常用算法实验（Python）≥9个：K邻近、K均值聚类算法、朴素贝叶斯、决策树、随机森林、逻辑回归、支持向量机、梯度下降法、神经网络；

（4）AI案例实验：人脸检测（C++）、人脸识别（Python）、车牌识别（C++）、物体识别（C++）、街景识别（C++），基于sklearn的手写数字识别（Python），基于CNN的手写数字识别（Python），文字识别（python）；

（5）基于百度的实验：语音合成（python）、语音识别（python）、文字识别（python）、人脸识别（python）、人脸实时识别（python）、基于EasyDL实现螺丝螺母的检测（Python）、口罩配戴检测（Python），疫情防护系统（Python）；

2、IOT模组实验项目

（1）裸机实验：LED点灯实验、按键输入实验、外部中断实验、分级Log实验、中断回环实验、DMA回环实验、中断缓冲回环实验、DMA缓冲回环实验、系统时钟树实验、滴答定时器实验、内核定时器实验、实时时钟实验、低功耗定时唤醒实验、低功耗外部唤醒实验、窗口看门狗实验、独立看门狗实验、内部FLASH读写实验、内部FLASH读写锁实验、硬件校验实验、硬件实现屏幕驱动实验、DMA实现屏幕驱动实验、软件实现屏幕驱动实验、硬件实现外部FLASH读写实验、软件实现外部FLASH读写实验、FAT32文件系统实验、嵌入式LittleFS文件系统实验、嵌入式数据库实验、USB模拟U盘实验、LED呼吸灯实验、DMA呼吸灯实验、燥波输出实验、三角波输出实验、正弦波输出实验、五向按键采集实验、基础定时器实验；

（2）FreeRTOS系统实验： FreeRTOS系统移植实验、任务创建实验、FreeRTOS延时实验、任务切换实验、消息队列实验、信号量实验、事件标志组实验、内存管理实验；

（3）LiteOS系统实验：LiteOS工程创建实验、任务管理实验、中断管理实验、信号量实验、事件标志组实验、软件定时器实验、内存管理实验、消息队列实验；

（4）RTThread系统实验：内核移植实验、线程管理实验、定时器实验、信号量实验、互斥锁实验、时间集实验、邮箱实验、消息队列实验、信号实验、内存池实验、中断管理实验、控制台实验；

（5）LVGL图形库实验：基础对象实验、圆弧部件实验、进度条部件实验、按钮部件实验、矩阵按钮实验、画布部件实验、复选框部件实验、下拉列表部件创建实验、图片部件创建实验、标签部件创建实验、线条部件创建实验、滚轮部件创建实验、滑块部件创建实验、开关部件创建实验、表格部件创建实验、文本框部件创建实验、日历部件创建实验、图表部件创建实验、色轮部件创建实验、图片按钮部件创建实验、键盘部件创建实验、LED部件创建实验、列表部件创建实验、仪表部件创建实验、消息框部件创建实验、富文本部件创建实验、微调器部件创建实验、加载器部件创建实验、选项卡部件创建实验、平铺视图部件创建实验、窗口部件创建实验、菜单部件创建实验；

（6）Wi-Fi模块实验：AT指令创建网络实验、TCP网络通信实验、基于freeRTOS的状态机实验、百度智能云物接入平台实验、MQTT协议移植实验、用户数据上发物接入平台实验、物接入平台下行数据解析实验、基于物接入平台的多种传感器数据采集实验、基于用户端的数据订阅实验；

（7）NB-IoT模块实验：模块串口透传实验、模块信息查询实验、模块信号状态监测实验、实验一台百度智能云平台IoTCore使用实验、模块传输用户数据操作实验、用户数据云发布至百度智能云IoTCore实验、订阅百度智能云IoTCore数据实验；

（8）LoRaWan模块实验：模块注网状态查询、模块信息查询实验、后台管理系统模块添加实验、后台管理系统用户数据上传实验；

（9）Zigbee模块实验：模块程序下载操作、协议栈入门实验、协议栈的无线组网实验、基于GD32的串口透传实验；

（10）蓝牙模块实验：蓝牙模块AT固件烧写实验、基于GD32的串口透传实验、蓝牙主设备与从设备连接实验、蓝牙传输传感器数据实验、手机APP与蓝牙模块通信实验；

（11）传感器模块实验：三轴加速度计传感器实验、磁场强度传感器实验、薄膜压力传感器实验、单轴倾角传感器实验、广谱气体传感器实验、热释红外传感器实验、光照强度传感器实验、红外对射传感器实验、雨雪传感器实验、震动传感器实验、火焰传感器实验、循迹传感器实验、温湿度传感器实验、声响开关-光敏传感器实验、LED蜂鸣器模块实验、继电器模块实验、接近开关-红外反射模块实验、独立按键模块实验、陀螺仪模块实验、干簧门磁-霍尔开关模块实验、RS485总线模块实验、SPICAN模块实验、串口蓝牙模块实验、串口Wi-Fi模块实验、超声波测距传感器实验、双数码管模块实验、LCD1602模块实验、直流电机模块实验、舵机模块实验、离线语音模块实验等；

3、AIoT实验项目

百度语音控制、人脸识别、传感器数据的解析与控制、舵机控制、RFID数据采集，提供人工智能软件教学资源，拥有图像识别、人工智能常用算法、语音识别案例，可与百度AI开放平台、百度智能云天工物联网平台对接，打造嵌入式人工智能、物联网一体化实验体系。

（1）提供基于 Linux系统与Windows系统的开发环境搭建；

（2）提供Python基础与高级项目实验；

（3）提供人工智能开发实验，包含深度学习与神经网络-TensorFlow及AI应用；

（4）提供基于PaddlePaddle的人工智能实验；

（5）提供基于PyTorch2的人工智能实验；

（6）提供机器视觉实验、机械臂实验；

（7）提供Linux应用开发实验；

（8）提供鸿蒙HarmonyOS部分Wi-Fi实验；

（9）提供综合实验案例，包含：AI计算机视觉仓库货物分拣、AI语音机械臂控制货物分拣、人脸识别项目、基于YOLOV8的目标检测项目、无线物联网与RFID传感项目、基于实例分割的分割界面案例、基于人体骨骼检测的界面案例、基于NPU的目标检测应用、基于NPU的目标追踪应用、基于NPU的车牌识别等案例。

同步PC版

GLCG-AI-240人工智能实验箱http://www.gaolian.tech/prodisplay.php?id=519