情绪检测系-操作手册

来自Waveshare Wiki
跳转至: 导航搜索

1 引言


1.1 编写目的

为使用者有良好使用体验,编写此操作手册

1.2前景


说明:
a.情绪检测系统;
b.该项目目的由刘奇鹏提出,由李文瀚、尹晓春、凌逸峰完成,基于树莓派的情感检测仪,目的就是做到随身携带,被动收录语音,通过云端转文字(API),进行情感识别,目标问题就是为解决一些小孩子或者老人在日常生活中爆粗口等等问题。主要功能可以进行告警和检测。

1.3 定义


树莓派:Raspberry Pi(中文名为“树莓派”,简写为RPi,(或者RasPi / RPI) 是为学习计算机编程教育而设计),只有信用卡大小的微型电脑,其系统基于Linux。随着Windows 10 IoT的发布,我们也将可以用上运行Windows的树莓派。

SIM7600ce 4G HAT:SIM7600ce 4G HAT是由微雪电子开发的可适用树莓派、jetson nano等主板的4G通讯模块


MQTT:MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上,是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型消息协议,为此,它需要一个消息中间件 。
MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛。在很多情况下,包括受限的环境中,如:机器与机器(M2M)通信和物联网(IoT)。其在,通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。

HTTP:超文本传输协议(Hyper Text Transfer Protocol,HTTP)是一个简单的请求-响应协议,它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出;而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣,因为它使开发和部署非常地直截了当。

VUE:VUE 是 iOS 和 Android 平台上的一款 Vlog 社区与编辑工具,允许用户通过简单的操作实现 Vlog 的拍摄、剪辑、细调、和发布,记录与分享生活。还可以在社区直接浏览他人发布的 Vlog,与 Vloggers 互动。

2 运行说明


目前没有加装外设显示工作,后期加装LED指示灯提示工作状态。


2.1 使用说明


目前已经做好封装,打开电源开关,等待树莓派重启即可工作。
进程起停:
启动:systemctl start speech_main.service
停止:systemctl stop speech_main.service

3 前端大屏使用


前端大屏使用的是vue开发。

Emotion detection system 1 (1).png
  • 输入账号密码登陆界面。新用户点击注册按钮注册
Emotion detection system 1 (2).png
  • 输入自定义用户名和密码确认注册即可。
Emotion detection system 1 (3).png

Emotion detection system 1 (4).png
  • 登陆至平台之后注册设备。
  • 其中参数设备名称可以自定义。
  • mqttPub用于设备接入,定义示例:testpub_1。
  • mqttSub用于指令下发,定义示例:testsub_1。
  • 完善设备简介即可投入使用。
Emotion detection system 1 (5).png
Emotion detection system 1 (6).png



4 设备端使用


新烧录树莓派镜像需要安装python第三方库;也可以使用已经搭建好基本环境的镜像:

链接:https://pan.baidu.com/s/176ni-xVCA-9e6aEmar1Erw  提取码:us7r

使用mqtt协议接入,配置HOST地址,配置Pub订阅地址;
如果采用提供的镜像,那么修改桌面文件夹speech中的main.py中main函数中的配置部分,调用百度api翻译选择修改speech中asr_json.py的配置;

Emotion detection system 1 (7).png

Emotion detection system 1 (8).png

Emotion detection system 1 (9).png

随后将麦克风连接USB接口,重启树莓派即可(由于USB2.0飞线接了SIM7600CE,所以麦克风连接USB3.0)