基于百度接口的实时流式语音识别系统

基于百度接口的实时流式语音识别系统

本文介绍了一个基于百度语音识别服务的实时流式语音识别系统。该系统利用WebSocket协议，实现从麦克风捕获音频数据并实时进行语音识别。文章详细描述了系统的架构设计、模块功能以及具体实现代码，对于从事语音识别相关工作的技术人员具有一定的参考价值。

基于百度接口的实时流式语音识别系统

1. 简介

本项目实现了一个实时流式语音识别系统，利用百度语音识别服务和WebSocket协议，实现从麦克风捕获音频数据并实时进行语音识别。该系统适用于需要将实时语音转换为文本的应用场景。

2. 需求分析

• 实时捕获麦克风音频数据
• 使用WebSocket与百度语音识别服务进行通信
• 实时发送音频数据并接收识别结果
• 提供可选的音频输入设备选择

3. 系统架构

• 音频输入模块：使用PyAudio库捕获麦克风的音频数据。
• WebSocket通信模块：使用websocket-client库与百度语音识别服务进行通信。
• 音频处理模块：处理捕获的音频数据并通过WebSocket发送。
• 结果处理模块：接收并处理百度语音识别服务返回的识别结果。

4. 模块设计

4.1 音频输入模块

• 功能：从麦克风捕获音频数据并传递给WebSocket模块。
• 实现：利用PyAudio库的回调函数实现音频数据的实时捕获。

4.2 WebSocket通信模块

• 功能：与百度语音识别服务建立WebSocket连接，发送音频数据并接收识别结果。
• 实现：使用websocket-client库实现WebSocket的连接、数据发送和接收。

4.3 音频处理模块

• 功能：将捕获的音频数据按需处理并转换为适合发送的格式。
• 实现：将音频数据转换为PCM格式并按帧发送。

4.4 结果处理模块

• 功能：处理并显示百度语音识别服务返回的识别结果。
• 实现：解析WebSocket返回的JSON数据并输出识别结果。

5. 接口设计

5.1 WebSocket接口

• 连接URI：由const.URI定义
• 连接参数：在连接建立时发送的起始参数帧，包含appid, appkey, dev_pid, cuid, sample, format等。

5.2 音频输入接口

• 设备选择：列出可用的音频输入设备，用户选择设备索引。

6. 流程图

1. 启动程序，列出可用音频输入设备，用户选择设备。
2. 建立WebSocket连接。
3. 发送起始参数帧。
4. 开始捕获音频数据，通过WebSocket发送。
5. 接收并处理识别结果。
6. 发送结束帧，关闭连接。

程序说明文档

1. 安装依赖

首先，确保安装必要的库：

pip install websocket-client pyaudio

2. 运行程序

运行程序时，可以选择输入音频文件路径或者直接使用麦克风捕获音频：

python realtime_asr.py

3. 配置文件 (const.py)

在const.py文件中，需要配置以下参数：

URI = "your_baidu_asr_service_uri"
APPID = "your_appid"
APPKEY = "your_appkey"
DEV_PID = 1537 # 选择合适的识别模型

4. 程序结构

• realtime_asr.py：主程序文件，包含实时语音识别的实现。
• const.py：配置文件，包含WebSocket URI和百度语音识别服务的appid和appkey。

5. 代码说明

5.1 主程序

import websocket
import pyaudio
import threading
import time
import uuid
import json
import logging
import const

logger = logging.getLogger()

# 配置音频输入
CHUNK = 1024
FORMAT = pyaudio.paInt16
CHANNELS = 1
RATE = 16000
p = pyaudio.PyAudio()

# 列出所有音频设备
info = p.get_host_api_info_by_index(0)
numdevices = info.get('deviceCount')
for i in range(0, numdevices):
    if (p.get_device_info_by_host_api_device_index(0, i).get('maxInputChannels')) > 0:
        print("Input Device id ", i, " - ", p.get_device_info_by_host_api_device_index(0, i).get('name'))

# 选择设备
device_index = int(input("Select device index: "))

def send_start_params(ws):
    req = {
        "type": "START",
        "data": {
            "appid": const.APPID,
            "appkey": const.APPKEY,
            "dev_pid": const.DEV_PID,
            "cuid": "yourself_defined_user_id",
            "sample": 16000,
            "format": "pcm"
        }
    }
    body = json.dumps(req)
    ws.send(body, websocket.ABNF.OPCODE_TEXT)
    logger.info("send START frame with params:" + body)

def send_audio(ws):
    def callback(in_data, frame_count, time_info, status):
        ws.send(in_data, websocket.ABNF.OPCODE_BINARY)
        return (in_data, pyaudio.paContinue)

    stream = p.open(format=FORMAT,
                    channels=CHANNELS,
                    rate=RATE,
                    input=True,
                    input_device_index=device_index,
                    frames_per_buffer=CHUNK,
                    stream_callback=callback)
    stream.start_stream()
    while stream.is_active():
        time.sleep(0.1)
    stream.stop_stream()
    stream.close()

def send_finish(ws):
    req = {
        "type": "FINISH"
    }
    body = json.dumps(req)
    ws.send(body, websocket.ABNF.OPCODE_TEXT)
    logger.info("send FINISH frame")

def send_cancel(ws):
    req = {
        "type": "CANCEL"
    }
    body = json.dumps(req)
    ws.send(body, websocket.ABNF.OPCODE_TEXT)
    logger.info("send Cancel frame")

def on_open(ws):
    def run(*args):
        send_start_params(ws)
        send_audio(ws)
        send_finish(ws)
        logger.debug("thread terminating")
    threading.Thread(target=run).start()

def on_message(ws, message):
    logger.info("Response: " + message)

def on_error(ws, error):
    logger.error("error: " + str(error))

def on_close(ws):
    logger.info("ws close ...")

if __name__ == "__main__":
    logging.basicConfig(format='[%(asctime)-15s] [%(funcName)s()][%(levelname)s] %(message)s')
    logger.setLevel(logging.DEBUG)
    logger.info("begin")
    uri = const.URI + "?sn=" + str(uuid.uuid1())
    logger.info("uri is "+ uri)
    ws_app = websocket.WebSocketApp(uri,
                                    on_open=on_open,
                                    on_message=on_message,
                                    on_error=on_error,
                                    on_close=on_close)
    ws_app.run_forever()

• send_start_params(ws)：发送识别开始的参数帧。
• send_audio(ws)：实时捕获麦克风音频并通过WebSocket发送。
• send_finish(ws)：发送识别结束的参数帧。
• send_cancel(ws)：发送取消识别的参数帧。
• on_open(ws)：WebSocket连接建立后的回调，启动一个线程发送音频数据。
• on_message(ws, message)：接收服务端返回的识别结果。
• on_error(ws, error)：处理连接错误。
• on_close(ws)：WebSocket连接关闭时的处理。

结论

本系统实现了从麦克风实时捕获音频并通过WebSocket与百度语音识别服务进行通信，实现实时语音识别的功能。该系统可应用于各种需要实时语音转文字的场景，如实时字幕、语音助手等。