基于VIT获取天气信息的RT语音识别系统

发布于:2024-06-21 ⋅ 阅读:(19) ⋅ 点赞:(0)

一, 文档简介

NXP EdgeReady解决方案可以使用RT106/5 S/L/A/F实现语音语音识别,但是相关配套软件库对于RT4位系列仅仅局限于S/L/A/F系列, 如果想使用普通的RT芯片是否可以同样实现语音识别功能呢?NXP官方推出VIT软件包,可以支持RT1060,RT1160,RT1170,RT600,RT500实现基于SDK的语音识别功能。
对于天气信息的获取,通常可以对接第三方平台或者云端的天气API,使用http客户端形式直接获取,目前支持天气API的平台很多,可以直接注册后实现调用,所以可以利用RT SDK的lwip socket 客户端形式调用对应的天气API,实现实时具体地理位置的天气预报数据。
本文将使用MIMXRT1060-EVK基于SDK VIT实现客户自定义唤醒词和识别词的识别,以及LWIP socket客户端实现上海实时天气的信息获取,并且打印到终端,暂时未添加播报,因为还需要实现实时TTS功能。
本文系统结构框图如下:

在这里插入图片描述

图1 系统框图
本系统VIT自定义唤醒词为“小恩小恩”,唤醒之后可以识别如下识别词之一:”开灯”,“关灯”,”今天天气”,“明天天气”,“后天天气”。开灯关灯即开关板上外接LED红灯。“今天天气”获取当日天气预报,格式如下:

                "date": "2022-05-27",
                "week": "5",
                "dayweather": "阴",
                "nightweather": "阴",
                "daytemp": "28",
                "nighttemp": "21",
                "daywind": "东南",
                "nightwind": "东南",
                "daypower": "≤3",
                "nightpower": "≤3"

“明天天气”,“后天天气”也是同样格式,只是相对当日日期退后1-2天。获取天气,MIMXRT1060-EVK板子需要联网,实现高德地图天气API的获取。

二, 相关准备

2.1 天气API平台

目前网上能够获取天气的第三方平台很多,比如:百度智能云,百度地图API,华为云平台,聚合天气,高德地图API等等。本文试了几个,测试结果发现:百度智能云,日免费调用次数少,需要实时合成AK,SK,调用繁琐;百度地图API需要上传身份证信息;其他几个也有类似情况。最终,选择了注册方便,日调用次数多,反馈天气数据信息相对全的高德地图API。
下面主要讲关于高德地图API的情况,进入链接:

https://lbs.amap.com/api/webservice/guide/api/weatherinfo
根据链接申请账号以及API key,然后添加相关参数可以实现天气API的调用。
申请API Key 情况如下:
在这里插入图片描述

图2 高德地图API key
下图是调用量情况:
在这里插入图片描述

图3 高德地图API调用量
下图是具体调用API情况:
在这里插入图片描述

图4 天气API调用参数
所以,一个调用高德地图API的完整链接情况如下:

https://restapi.amap.com/v3/weather/weatherInfo?key=xxxxxxx&city=xxx&extensions=all&output=JSON

如果需要测试上海天气,city代码为310000。

2.2 postman测试天气API

Postman是一个接口测试工具,在做接口测试的时候,Postman相当于一个客户端,它可以模拟用户发起的各类HTTP请求,将请求数据发送至服务端,获取对应的响应结果, 从而验证响应中的结果数据是否和预期值相匹配. Postman下载链接:https://www.postman.com/   

找到合适的天气API平台与调用链接之后,首先先用postman做一个http的get去获取试试看,根据图4,填入相关参数到postman:
在这里插入图片描述

图5 postman调用天气API

发送之后,可以在7位置看到获取的天气信息,一个完整的all信息如下:

{
    "status": "1",
    "count": "1",
    "info": "OK",
    "infocode": "10000",
    "forecasts": [
        {
            "city": "上海市",
            "adcode": "310000",
            "province": "上海",
            "reporttime": "2022-05-27 17:34:12",
            "casts": [
                {
                    "date": "2022-05-27",
                    "week": "5",
                    "dayweather": "阴",
                    "nightweather": "阴",
                    "daytemp": "28",
                    "nighttemp": "21",
                    "daywind": "东南",
                    "nightwind": "东南",
                    "daypower": "≤3",
                    "nightpower": "≤3"
                },
                {
                    "date": "2022-05-28",
                    "week": "6",
                    "dayweather": "小雨",
                    "nightweather": "中雨",
                    "daytemp": "24",
                    "nighttemp": "20",
                    "daywind": "东南",
                    "nightwind": "东南",
                    "daypower": "≤3",
                    "nightpower": "≤3"
                },
                {
                    "date": "2022-05-29",
                    "week": "7",
                    "dayweather": "大雨",
                    "nightweather": "小雨",
                    "daytemp": "23",
                    "nighttemp": "20",
                    "daywind": "南",
                    "nightwind": "南",
                    "daypower": "≤3",
                    "nightpower": "≤3"
                },
                {
                    "date": "2022-05-30",
                    "week": "1",
                    "dayweather": "小雨",
                    "nightweather": "晴",
                    "daytemp": "27",
                    "nighttemp": "20",
                    "daywind": "北",
                    "nightwind": "北",
                    "daypower": "≤3",
                    "nightpower": "≤3"
                }
            ]
        }
    ]
}

这里可以看到,可以连续或许从GET命令开始的4天时间,所以有这个数据,我们就很容易的得到了天气信息。
从postman,还可以查看具体的代码情况,如下:
在这里插入图片描述

图6 postman调用API HTTP代码
现在有API,而且经过测试,可以完整获取天气信息,这里就可以考虑把对应的http客户端API添加到MIMXRT1060-EVK的代码中去。

2.3 VIT自定义命令

从RT1060 SDK的maestro代码中,我们可以知道SDK已经支持了VIT库,何为VIT?
VIT全名为:Voice Intelligent Technology,该库提供语音识别服务,旨在唤醒和识别具体命令,控制IOT以及智能家居。

在这里插入图片描述

图7 VIT系统框图
在我们SDK代码中,已经提供了生成好的唤醒词和命令词,并放在了VIT_Model.h文件中,那么如果在客户的项目中,如何自定义唤醒词和命令词呢?通过NXP的努力,我们已经做成了网页的形式,可以供客户自行选择,然后生成对应的VIT_Model.h文件,供代码调用。VIT命令词生成网页:
https://vit.nxp.com/#/home
登录官方账号之后,可以自行选择RT芯片,唤醒词,命令词。这里需要注意,目前仅支持如下RT芯片:
支持RT1060,RT1160,RT1170,RT600,RT500
关于生成唤醒词和命令词,相关情况如下:
在这里插入图片描述

图8 自定义VIT配置

在这里插入图片描述

图9 生成结果
下载生成的模型,可以得到VIT_Model_cn.h,打开可以看到命令词信息以及相关的模型数据存放在const PL_MEM_ALIGN(PL_UINT8 VIT_Model_cn[], VIT_MODEL_ALIGN_BYTES) 数组中,命令词信息如下:

WakeWord supported : " 小恩 小恩 " Voice Commands supported
Cmd_Id : Cmd_Name
0 : UNKNOWN
1 : 开灯
2 : 关灯
3 : 今天 天气
4 : 明天 天气
5 : 后天 天气

使用maestro_record代码出部测试自定义命令结果:
在这里插入图片描述

图10 自定义唤醒词命令词测试
从测试结果可以看到,唤醒词和命令词均可以成功识别。

三, 代码讲解

3.1 LWIP socket 客户端代码获取天气API

从2.2章节,我们已经能够得到获取天气API并且通过测试,能够成功实现天气的获取,所以就需要结合自身系统的需求添加相关的命令。 对于天气API的获取,基于RT1060 SDK的lwip代码,采用socket client的形式。相关代码如下:

#define PORT            80
#define IP_ADDR        "59.82.9.133"
uint8_t get_weather[]= "GET /v3/weather/weatherInfo?key=xxx&city=310000&extensions=all&output=JSON HTTP/1.1\r\nHost: restapi.amap.com\r\n\r\n\r\n\r\n";
    if (sys_thread_new("weather_main", weathermain_thread, NULL, HTTPD_STACKSIZE, HTTPD_PRIORITY) == NULL)
        LWIP_ASSERT("main(): Task creation failed.", 0);
static void weathermain_thread(void *arg)
{
    static struct netif netif;
    ip4_addr_t netif_ipaddr, netif_netmask, netif_gw;
    ethernetif_config_t enet_config = {
        .phyHandle  = &phyHandle,
        .macAddress = configMAC_ADDR,
    };
    LWIP_UNUSED_ARG(arg);
    mdioHandle.resource.csrClock_Hz = EXAMPLE_CLOCK_FREQ;
    IP4_ADDR(&netif_ipaddr, configIP_ADDR0, configIP_ADDR1, configIP_ADDR2, configIP_ADDR3);
    IP4_ADDR(&netif_netmask, configNET_MASK0, configNET_MASK1, configNET_MASK2, configNET_MASK3);
    IP4_ADDR(&netif_gw, configGW_ADDR0, configGW_ADDR1, configGW_ADDR2, configGW_ADDR3);
    tcpip_init(NULL, NULL);
    netifapi_netif_add(&netif, &netif_ipaddr, &netif_netmask, &netif_gw, &enet_config, EXAMPLE_NETIF_INIT_FN,
                       tcpip_input);
    netifapi_netif_set_default(&netif);
    netifapi_netif_set_up(&netif);
    PRINTF("\r\n************************************************\r\n");
    PRINTF(" TCP client example\r\n");
    PRINTF("************************************************\r\n");
    PRINTF(" IPv4 Address     : %u.%u.%u.%u\r\n", ((u8_t *)&netif_ipaddr)[0], ((u8_t *)&netif_ipaddr)[1],
           ((u8_t *)&netif_ipaddr)[2], ((u8_t *)&netif_ipaddr)[3]);
    PRINTF(" IPv4 Subnet mask : %u.%u.%u.%u\r\n", ((u8_t *)&netif_netmask)[0], ((u8_t *)&netif_netmask)[1],
           ((u8_t *)&netif_netmask)[2], ((u8_t *)&netif_netmask)[3]);
    PRINTF(" IPv4 Gateway     : %u.%u.%u.%u\r\n", ((u8_t *)&netif_gw)[0], ((u8_t *)&netif_gw)[1],
           ((u8_t *)&netif_gw)[2], ((u8_t *)&netif_gw)[3]);
    PRINTF("************************************************\r\n");
    sys_thread_new("weather", weather_thread, NULL, DEFAULT_THREAD_STACKSIZE, DEFAULT_THREAD_PRIO);
    vTaskDelete(NULL);
}
static void weather_thread(void *arg)
{
	  int sock = -1,rece;
	  struct sockaddr_in client_addr;
	  char* host_ip;
	  ip4_addr_t dns_ip;
	  err_t err;
	  uint32_t *pSDRAM= pvPortMalloc(BUF_LEN);//
	    host_ip = HOST_NAME;
	    PRINTF("host name : %s , host_ip : %s\r\n",HOST_NAME,host_ip);
	  while(1)
	  {
	       sock = socket(AF_INET, SOCK_STREAM, 0);
	       if (sock < 0)
	       {
	         PRINTF("Socket error\n");
	         vTaskDelay(10);
	         continue;
	        }
	       client_addr.sin_family = AF_INET;
	       client_addr.sin_port = htons(PORT);
	       client_addr.sin_addr.s_addr = inet_addr(host_ip);
	       memset(&(client_addr.sin_zero), 0, sizeof(client_addr.sin_zero));
	       if (connect(sock, (struct sockaddr *)&client_addr,  sizeof(struct sockaddr)) == -1)
	       {
	          PRINTF("Connect failed!\n");
	          closesocket(sock);
	          vTaskDelay(10);
	          continue;
	       }
	       PRINTF("Connect to server successful!\r\n");
	       write(sock,get_weather,sizeof(get_weather));
	       while (1)
	       {
	          rece = recv(sock, (uint8_t*)pSDRAM, BUF_LEN, 0);//BUF_LEN
	          if (rece <= 0)
	            break;
               memcpy(weather_data.weather_info, pSDRAM,1500);//max 1457
	       }
	       Weather_process();
	       memset(pSDRAM,0,BUF_LEN);
	       closesocket(sock);
	    vTaskDelay(10000);
	  }
}

3.2 VIT识别自定义代码添加

将之前生成的VIT_Model_cn.h,替换到maestro_record工程的文件夹路径:vit\RT1060_CortexM7\Lib
具体唤醒词和识别词相关代码,可以从代码vit_pro.c中查看,主要涉及函数为
int VIT_Execute(void *arg, void *inputBuffer, int size)
代码修改如下,主要是记录唤醒以及唤醒词号,用于具体的功能控制,这里直接控制的命令是本地“开灯“,”关灯“命令,至于天气命令需要调用socket client API,所以在主程序lwip调用区域结合命令词识别号予以调用:

if (VIT_DetectionResults == VIT_WW_DETECTED)
    {
        PRINTF(" - WakeWord detected \r\n");
        weather_data.ww_flag =  1; //kerry
    }
    else if (VIT_DetectionResults == VIT_VC_DETECTED)
    {
        // Retrieve id of the Voice Command detected
        // String of the Command can also be retrieved (when WW and CMDs strings are integrated in Model)
        VIT_Status = VIT_GetVoiceCommandFound(VITHandle, &VoiceCommand);
        if (VIT_Status != VIT_SUCCESS)
        {
            PRINTF("VIT_GetVoiceCommandFound error: %d\r\n", VIT_Status);
            return VIT_Status; // will stop processing VIT and go directly to MEM free
        }
        else
        {
            PRINTF(" - Voice Command detected %d", VoiceCommand.Cmd_Id);
            weather_data.vc_index = VoiceCommand.Cmd_Id;//kerry 1:ledon 2:ledoff 3:today weather 4:tomorrow weather 5:aftertomorrow weather
            if(weather_data.vc_index == 1)//1
            {
        		GPIO_PinWrite(GPIO1, 3, 1U); //pull high
        		PRINTF(" led on!\r\n");
            }
            else if(weather_data.vc_index == 2)//2
            {
        		GPIO_PinWrite(GPIO1, 3, 0U); //pull low
        		PRINTF(" led off!\r\n");
            }
            // Retrieve CMD Name: OPTIONAL
            // Check first if CMD string is present
            if (VoiceCommand.pCmd_Name != PL_NULL)
            {
                PRINTF(" %s\r\n", VoiceCommand.pCmd_Name);
            }
            else
            {
                PRINTF("\r\n");
            }
        }
    }

3.3 语音识别天气信息

这里代码在weather_thread的while循环中,判断唤醒词与识别词,只有满足条件才建立socket连接,并且写API以及获取数据:
代码如下:

while(1)
{
	  //add the command request, only cmd == weather flag, then call it.
        if((weather_data.ww_flag ==  1))
        {
    	    if(weather_data.vc_index >= 3)
    	   {
		   // create connection
                //write API and read API
	       Weather_process();
    	    }
	     memset(weather_data.weather_info, 0, sizeof(weather_data.weather_info));
 	     weather_data.ww_flag = 0;
 	     weather_data.vc_index = 0;
        }
	    vTaskDelay(10000);
}
void Weather_process(void)
{
 char * datap, *datap1;
     datap = strstr((char*)weather_data.weather_info,"date");
     if(datap != NULL)
     {
    	 memcpy(today_weather, datap,184);//max 1457
    	 if(weather_data.vc_index == 3)
    	 {
    	    PRINTF("\r\n*******************today weather***********************************\n\r");
    	    PRINTF("%s\r\n",today_weather);
    	    return;
    	 }

     }
     else
    	 return;
     datap1 = strstr(datap+4,"date");
     if(datap1 != NULL)
     {
          memcpy(tomorr_weather, datap1,184);//max 1457
          if(weather_data.vc_index == 4)
          {
         	 PRINTF("\r\n*******************tomorrow weather*******************************\n\r");
         	 PRINTF("%s\r\n",tomorr_weather);
         	 return;
          }
     }
     else
    	 return;
     datap = strstr(datap1+4,"date");
     if(datap != NULL)
     {
          memcpy(aftertom_weather, datap,184);//max 1457
          if(weather_data.vc_index == 5)
          {
         	 PRINTF("\r\n*******************after tomorrow weather**************************\n\r");
         	 PRINTF("%s\r\n",aftertom_weather);
          }
     }
     else
    	 return;
}

其中Weather_process函数是根据语音识别的天气索引号,去提取对应的日期数据,并且打印出来。

四, 测试结果

测情况视频:

record

打印log结果如图11,经过测试,可以看到唤醒和识别词均能成功识别,在识别词序号为3,4,5也就是天气获取的时候,可以成功调用lwip socket client API,成功获取天气信息并且打印。
在这里插入图片描述

图11 系统测试打印结果

五, 问题总结

5.1 LWIP获取天气失败

在构建代码的时候,开始调用postman提供的http代码:

GET /v3/weather/weatherInfo?key=8f777fc7d867908eebbad7f96a13af10&amp; city=310000&amp; extensions=all&amp; output=JSON HTTP/1.1
Host: restapi.amap.com

添加到socket API函数中:

uint8_t get_weather[]= "GET /v3/weather/weatherInfo?key=xxx&amp;city=310000&amp;extensions=all&amp;output=JSON HTTP/1.1\r\nHost: restapi.amap.com\r\n\r\n\r\n\r\n";

调用结果总是出现下图:
在这里插入图片描述

图12 初测socket 天气API返回问题
可以看到,sever也连接了,http数据也返回了,就是出现参数错误的情况,最后检查下来,采用了postman C代码情况,构建数组如下:
uint8_t get_weather[]= "GET /v3/weather/weatherInfo?key=xxx&city=310000&extensions=all&output=JSON HTTP/1.1\r\nHost: restapi.amap.com\r\n\r\n\r\n\r\n";
然后能够成功获取天气数据,和postman一致。

5.2 VIT LWIP融合内存不足

在融合maestro_record和lwip socket代码之后,编译出现DTCM内存溢出问题。

在这里插入图片描述

图13 融合代码内存溢出
经过各种精简,还是会导致DTCM超出一点,最后选择重新配置flexRAM:
OCRAM 192K, DTCM 256K, ITCM 64K
再次编译,内存问题解决:
在这里插入图片描述

图14 flexRAM重配

5.3 中文打印

直接使用teraterm,当天气API返回有中文的时候,打印中文出乱码,后经过如下配置,实现中文的打印:
Setup -> Terminal
Locale : american->chinese
Codepage : 65001 ->936
在这里插入图片描述

图15 Tera Term中文打印
综上,经过各种资料收集,问题解决,最后在MIMXRT1060-EVK上结合官方SDK,完成了自定义VIT语音命令获取实时天气与本地控制的功能。说明,就算是普通的RT非S/L/A/F系列,也可以利用VIT实现语音识别功能。
代码包请到这个链接下载:
https://community.nxp.com/t5/i-MX-RT-Knowledge-Base/The-RT-speech-recognition-system-based-on-VIT-to-obtain-weather/ta-p/1513203