【AI智能体】智能音视频-基于乐鑫 ESP32 实现音视频通话
本文介绍如何在乐鑫 ESP32 芯片上实现与智能体音视频通话，你可以选择基于 RTC 实现音视频通话，或基于 WebSocket 实现语音通话。
RTC 音视频通话
乐鑫提供了 esp-adf 示例项目源码，本文将基于该示例项目源码，详细演示如何在乐鑫 ESP32-S3 芯片的 ESP32-S3-Korvo-2 开发板上实现与智能体的音视频通话功能。该开发板适用于开发多种智能产品，包括但不限于音视频通话设备、智能门铃、宠物监控系统、智能音响、儿童玩具以及智能家具面板等。
搭建开发环境
本文基于 esp-adf 示例项目源码进行实现，该仓库已内置稳定版本的 ESP-IDF，无需额外安装。详细的 ESP32-S3 开发环境信息请参见 ESP-IDF 快速入门。
获取示例代码。
在终端创建一个 esp 目录用于存放相关代码。
mkdir ~/esp进入 esp 目录并克隆代码。
cd ~/esp
git clone https://github.com/espressif/esp-adf.git递归更新子模块。
git submodule update --init --recursive在 adf 仓库下运行安装脚本。
sh ./install.sh
sh ./export.sh配置环境变量，ADF_PATH 和 IDF_PATH 的获取方法请参见 ESP ADF 快速入门。
ADF_PATH={{你的 adf 路径}}
IDF_PATH={{你的 idf 路径}}适配硬件
选择开发板
进入本地 esp-adf 代码的 volc_rtc 目录。
cd ~/esp/esp-adf/examples/ai_agent/volc_rtc设置目标芯片型号，本文使用 esp32s3。
idf.py set-target esp32s3选择开发板。
idf.py menuconfig在弹出的交互界面中选择使用的开发板，本文使用 ESP32-S3-Korvo-2 ，按 S 保存。
修改 I/O 配置（可选）
说明：
如果使用乐鑫官方的 ESP32-S3-Korvo-2 开发板，请忽略该步骤。
由于本示例使用的 01_RTC_LCD 开发板在视频流和扬声器的针脚与官方 ESP32-S3-Korvo-2 不一致，需修改驱动代码以确保正常运行。
使用编码 IDE 打开 esp-adf 目录，单击 components/audio_board_board.c 文件。
修改以下内容：
扬声器 PA 针脚：找到 audio_board_init 函数，将 PA 针脚修改为 TCA9554 的 0 号针脚。将下面的代码替换掉audio_board_init 函数。
audio_board_handle_t audio_board_init(void)
{ESP_LOGW(TAG, "Init board Start!");if (board_handle) {ESP_LOGW(TAG, "The board has already been initialized!");return board_handle;}board_handle = (audio_board_handle_t) audio_calloc(1, sizeof(struct audio_board_handle));AUDIO_MEM_CHECK(TAG, board_handle, return NULL);board_handle->audio_hal = audio_board_codec_init();board_handle->adc_hal = audio_board_adc_init();esp_tca9554_config_t pca_cfg = {.i2c_scl = GPIO_NUM_18,.i2c_sda = GPIO_NUM_17,.interrupt_output = -1,};tca9554_init(&pca_cfg);tca9554_set_io_config(BIT(0), TCA9554_IO_OUTPUT);tca9554_set_output_state(BIT(0), TCA9554_IO_HIGH);return board_handle;
}屏幕偏选信号：屏幕型号为 ST7789，触摸 IC 为 GT911。找到 audio_board_lcd_init 函数中的 io_config 对象，将如下代码替换掉io_config中的初始化代码。
esp_lcd_panel_io_spi_config_t io_config = {.dc_gpio_num = LCD_DC_GPIO,.cs_gpio_num = LCD_CS_GPIO,.pclk_hz = 60 * 1000 * 1000,.lcd_cmd_bits = 8,.lcd_param_bits = 8,.spi_mode = 0,.trans_queue_depth = 10,.on_color_trans_done = cb,.user_ctx = NULL,};修改示例项目源码
你需要修改 esp-adf 示例代码中的 WiFi 信息和扣子配置。
配置 WiFi 信息。
在 menuconfig 中，填写 SSID 和 PASSWORD，然后编译下载到开发板中。
配置扣子。
在 coze_http_request.h 中修改如下配置：
| 参数 | 是否必选 | 说明 |
| uri | 必选。 | 请填写 https://api.coze.cn/v1/audio/rooms。 |
| authorization | 必选。 | 请填写扣子的访问密钥，用于身份认证与鉴权。 体验或调试场景：建议开发者生成一个短期的个人访问令牌（PAT），快速跑通 Realtime SDK 的整体流程。个人访问令牌获取方式可参考添加个人访问令牌。 线上环境：线上环境应使用 OAuth 鉴权方案。OAuth 鉴权方案的详细说明可参考OAuth 应用管理。 |
| bot_id | 必选。 | 智能体 ID，获取方法如下： 进入智能体的开发页面，开发页面 URL 中 bot 参数后的数字即为智能体 ID。例如， URL 为扣子，则智能体 ID 为73428668*****。 |
| voice_id | 可选。 | 音色 ID。默认采用柔美女友音色，音色 ID 为 7426720361733046281。你可以调用查看音色列表 API 查看当前可用的音色列表，也可以使用系统音色列表。 |
修改 HTTP 请求配置。
说明：
你也可以自行配置 TLS 证书，配置之后无需修改。
在 byte_rtc_request.c 文件中，找到 byte_rtc_request 函数中的 http_client_config 变量，将该变量的声明替换为如下的代码：
esp_http_client_config_t http_client_config = {.url = config->uri,.query = "esp",.event_handler = _http_event_handler,.user_data = &rsp_data,.disable_auto_redirect = true,.buffer_size = DEFAULT_STACK_SIZE,.buffer_size_tx = DEFAULT_STACK_SIZE,.skip_cert_common_name_check = true,.cert_pem = NULL,.transport_type = HTTP_TRANSPORT_OVER_SSL,.crt_bundle_attach = esp_crt_bundle_attach,.is_async = false,.timeout_ms = 10000,.keep_alive_enable = true
};本文介绍如何在乐鑫 ESP32 芯片上实现与智能体音视频通话，你可以选择基于 RTC 实现音视频通话，或基于 WebSocket 实现语音通话。
RTC 音视频通话
乐鑫提供了 esp-adf 示例项目源码，本文将基于该示例项目源码，详细演示如何在乐鑫 ESP32-S3 芯片的 ESP32-S3-Korvo-2 开发板上实现与智能体的音视频通话功能。该开发板适用于开发多种智能产品，包括但不限于音视频通话设备、智能门铃、宠物监控系统、智能音响、儿童玩具以及智能家具面板等。
搭建开发环境
本文基于 esp-adf 示例项目源码进行实现，该仓库已内置稳定版本的 ESP-IDF，无需额外安装。详细的 ESP32-S3 开发环境信息请参见 ESP-IDF 快速入门。
获取示例代码。
在终端创建一个 esp 目录用于存放相关代码。
mkdir ~/esp进入 esp 目录并克隆代码。
cd ~/esp
git clone https://github.com/espressif/esp-adf.git递归更新子模块。
git submodule update --init --recursive在 adf 仓库下运行安装脚本。
sh ./install.sh
sh ./export.sh配置环境变量，ADF_PATH 和 IDF_PATH 的获取方法请参见 ESP ADF 快速入门。
ADF_PATH={{你的 adf 路径}}
IDF_PATH={{你的 idf 路径}}适配硬件
选择开发板
进入本地 esp-adf 代码的 volc_rtc 目录。
cd ~/esp/esp-adf/examples/ai_agent/volc_rtc设置目标芯片型号，本文使用 esp32s3。
idf.py set-target esp32s3选择开发板。
idf.py menuconfig在弹出的交互界面中选择使用的开发板，本文使用 ESP32-S3-Korvo-2 ，按 S 保存。
修改 I/O 配置（可选）
如果使用乐鑫官方的 ESP32-S3-Korvo-2 开发板，请忽略该步骤。
由于本示例使用的 01_RTC_LCD 开发板在视频流和扬声器的针脚与官方 ESP32-S3-Korvo-2 不一致，需修改驱动代码以确保正常运行。
使用编码 IDE 打开 esp-adf 目录，单击 components/audio_board_board.c 文件。
修改以下内容：
扬声器 PA 针脚：找到 audio_board_init 函数，将 PA 针脚修改为 TCA9554 的 0 号针脚。将下面的代码替换掉audio_board_init 函数。
audio_board_handle_t audio_board_init(void)
{ESP_LOGW(TAG, "Init board Start!");if (board_handle) {ESP_LOGW(TAG, "The board has already been initialized!");return board_handle;}board_handle = (audio_board_handle_t) audio_calloc(1, sizeof(struct audio_board_handle));AUDIO_MEM_CHECK(TAG, board_handle, return NULL);board_handle->audio_hal = audio_board_codec_init();board_handle->adc_hal = audio_board_adc_init();esp_tca9554_config_t pca_cfg = {.i2c_scl = GPIO_NUM_18,.i2c_sda = GPIO_NUM_17,.interrupt_output = -1,};tca9554_init(&pca_cfg);tca9554_set_io_config(BIT(0), TCA9554_IO_OUTPUT);tca9554_set_output_state(BIT(0), TCA9554_IO_HIGH);return board_handle;
}屏幕偏选信号：屏幕型号为 ST7789，触摸 IC 为 GT911。找到 audio_board_lcd_init 函数中的 io_config 对象，将如下代码替换掉io_config中的初始化代码。
esp_lcd_panel_io_spi_config_t io_config = {.dc_gpio_num = LCD_DC_GPIO,.cs_gpio_num = LCD_CS_GPIO,.pclk_hz = 60 * 1000 * 1000,.lcd_cmd_bits = 8,.lcd_param_bits = 8,.spi_mode = 0,.trans_queue_depth = 10,.on_color_trans_done = cb,.user_ctx = NULL,};修改示例项目源码
你需要修改 esp-adf 示例代码中的 WiFi 信息和扣子配置。
配置 WiFi 信息。
在 menuconfig 中，填写 SSID 和 PASSWORD，然后编译下载到开发板中。
配置扣子。
在 coze_http_request.h 中修改如下配置：
| 参数 | 是否必选 | 说明 |
| uri | 必选。 | 请填写 https://api.coze.cn/v1/audio/rooms。 |
| authorization | 必选。 | 请填写扣子的访问密钥，用于身份认证与鉴权。 体验或调试场景：建议开发者生成一个短期的个人访问令牌（PAT），快速跑通 Realtime SDK 的整体流程。个人访问令牌获取方式可参考添加个人访问令牌。 线上环境：线上环境应使用 OAuth 鉴权方案。OAuth 鉴权方案的详细说明可参考OAuth 应用管理。 |
| bot_id | 必选。 | 智能体 ID，获取方法如下： 进入智能体的开发页面，开发页面 URL 中 bot 参数后的数字即为智能体 ID。例如， URL 为扣子，则智能体 ID 为73428668*****。 |
| voice_id | 可选。 | 音色 ID。默认采用柔美女友音色，音色 ID 为 7426720361733046281。你可以调用查看音色列表 API 查看当前可用的音色列表，也可以使用系统音色列表。 |
修改 HTTP 请求配置。
你也可以自行配置 TLS 证书，配置之后无需修改。
在 byte_rtc_request.c 文件中，找到 byte_rtc_request 函数中的 http_client_config 变量，将该变量的声明替换为如下的代码：
esp_http_client_config_t http_client_config = {.url = config->uri,.query = "esp",.event_handler = _http_event_handler,.user_data = &rsp_data,.disable_auto_redirect = true,.buffer_size = DEFAULT_STACK_SIZE,.buffer_size_tx = DEFAULT_STACK_SIZE,.skip_cert_common_name_check = true,.cert_pem = NULL,.transport_type = HTTP_TRANSPORT_OVER_SSL,.crt_bundle_attach = esp_crt_bundle_attach,.is_async = false,.timeout_ms = 10000,.keep_alive_enable = true
};本文介绍如何在乐鑫 ESP32 芯片上实现与智能体音视频通话，你可以选择基于 RTC 实现音视频通话，或基于 WebSocket 实现语音通话。
RTC 音视频通话
乐鑫提供了 esp-adf 示例项目源码，本文将基于该示例项目源码，详细演示如何在乐鑫 ESP32-S3 芯片的 ESP32-S3-Korvo-2 开发板上实现与智能体的音视频通话功能。该开发板适用于开发多种智能产品，包括但不限于音视频通话设备、智能门铃、宠物监控系统、智能音响、儿童玩具以及智能家具面板等。
搭建开发环境
本文基于 esp-adf 示例项目源码进行实现，该仓库已内置稳定版本的 ESP-IDF，无需额外安装。详细的 ESP32-S3 开发环境信息请参见 ESP-IDF 快速入门。
获取示例代码。
在终端创建一个 esp 目录用于存放相关代码。
mkdir ~/esp进入 esp 目录并克隆代码。
cd ~/esp
git clone https://github.com/espressif/esp-adf.git递归更新子模块。
git submodule update --init --recursive在 adf 仓库下运行安装脚本。
sh ./install.sh
sh ./export.sh配置环境变量，ADF_PATH 和 IDF_PATH 的获取方法请参见 ESP ADF 快速入门。
ADF_PATH={{你的 adf 路径}}
IDF_PATH={{你的 idf 路径}}适配硬件
选择开发板
进入本地 esp-adf 代码的 volc_rtc 目录。
cd ~/esp/esp-adf/examples/ai_agent/volc_rtc设置目标芯片型号，本文使用 esp32s3。
idf.py set-target esp32s3选择开发板。
idf.py menuconfig在弹出的交互界面中选择使用的开发板，本文使用 ESP32-S3-Korvo-2 ，按 S 保存。
修改 I/O 配置（可选）
如果使用乐鑫官方的 ESP32-S3-Korvo-2 开发板，请忽略该步骤。
由于本示例使用的 01_RTC_LCD 开发板在视频流和扬声器的针脚与官方 ESP32-S3-Korvo-2 不一致，需修改驱动代码以确保正常运行。
使用编码 IDE 打开 esp-adf 目录，单击 components/audio_board_board.c 文件。
修改以下内容：
扬声器 PA 针脚：找到 audio_board_init 函数，将 PA 针脚修改为 TCA9554 的 0 号针脚。将下面的代码替换掉audio_board_init 函数。
audio_board_handle_t audio_board_init(void)
{ESP_LOGW(TAG, "Init board Start!");if (board_handle) {ESP_LOGW(TAG, "The board has already been initialized!");return board_handle;}board_handle = (audio_board_handle_t) audio_calloc(1, sizeof(struct audio_board_handle));AUDIO_MEM_CHECK(TAG, board_handle, return NULL);board_handle->audio_hal = audio_board_codec_init();board_handle->adc_hal = audio_board_adc_init();esp_tca9554_config_t pca_cfg = {.i2c_scl = GPIO_NUM_18,.i2c_sda = GPIO_NUM_17,.interrupt_output = -1,};tca9554_init(&pca_cfg);tca9554_set_io_config(BIT(0), TCA9554_IO_OUTPUT);tca9554_set_output_state(BIT(0), TCA9554_IO_HIGH);return board_handle;
}屏幕偏选信号：屏幕型号为 ST7789，触摸 IC 为 GT911。找到 audio_board_lcd_init 函数中的 io_config 对象，将如下代码替换掉io_config中的初始化代码。
esp_lcd_panel_io_spi_config_t io_config = {.dc_gpio_num = LCD_DC_GPIO,.cs_gpio_num = LCD_CS_GPIO,.pclk_hz = 60 * 1000 * 1000,.lcd_cmd_bits = 8,.lcd_param_bits = 8,.spi_mode = 0,.trans_queue_depth = 10,.on_color_trans_done = cb,.user_ctx = NULL,};修改示例项目源码
你需要修改 esp-adf 示例代码中的 WiFi 信息和扣子配置。
配置 WiFi 信息。
在 menuconfig 中，填写 SSID 和 PASSWORD，然后编译下载到开发板中。
配置扣子。
在 coze_http_request.h 中修改如下配置：
| 参数 | 是否必选 | 说明 |
| uri | 必选。 | 请填写 https://api.coze.cn/v1/audio/rooms。 |
| authorization | 必选。 | 请填写扣子的访问密钥，用于身份认证与鉴权。 体验或调试场景：建议开发者生成一个短期的个人访问令牌（PAT），快速跑通 Realtime SDK 的整体流程。个人访问令牌获取方式可参考添加个人访问令牌。 线上环境：线上环境应使用 OAuth 鉴权方案。OAuth 鉴权方案的详细说明可参考OAuth 应用管理。 |
| bot_id | 必选。 | 智能体 ID，获取方法如下： 进入智能体的开发页面，开发页面 URL 中 bot 参数后的数字即为智能体 ID。例如， URL 为扣子，则智能体 ID 为73428668*****。 |
| voice_id | 可选。 | 音色 ID。默认采用柔美女友音色，音色 ID 为 7426720361733046281。你可以调用查看音色列表 API 查看当前可用的音色列表，也可以使用系统音色列表。 |
修改 HTTP 请求配置。
你也可以自行配置 TLS 证书，配置之后无需修改。
在 byte_rtc_request.c 文件中，找到 byte_rtc_request 函数中的 http_client_config 变量，将该变量的声明替换为如下的代码：
esp_http_client_config_t http_client_config = {.url = config->uri,.query = "esp",.event_handler = _http_event_handler,.user_data = &rsp_data,.disable_auto_redirect = true,.buffer_size = DEFAULT_STACK_SIZE,.buffer_size_tx = DEFAULT_STACK_SIZE,.skip_cert_common_name_check = true,.cert_pem = NULL,.transport_type = HTTP_TRANSPORT_OVER_SSL,.crt_bundle_attach = esp_crt_bundle_attach,.is_async = false,.timeout_ms = 10000,.keep_alive_enable = true
};创建并加入扣子房间。
你需要调用扣子的创建房间接口创建房间，再加入房间，才可以与智能体进行对话。在乐鑫示例代码的 volc_rtc.c 文件中已经实现了创建房间的代码，在实际使用的时候，你需要执行如下操作才能使用相关代码。
声明一个全局变量。
const char* g_default_room_id = NULL; // 定义全局变量修改文件中的byte_rtc_engine_create方法，引入请求扣子的代码，并使用扣子返回的 app_id 创建 RTC 引擎。
使用扣子返回的 room_id 赋值给全局变量 g_default_room_id 。
在voice_read_task方法中，用扣子返回的 room_id 指定对话时的 room_id。
byte_rtc_send_audio_data(s_volc_rtc.engine, g_default_room_id, voice_data, voice_data_read_sz, &audio_frame_info);WebSocket 语音通话
乐鑫推出基于扣子 WebSocket 封装的轻量级 Espressif Coze SDK，能在 ESP32 嵌入式设备上接入扣子 WebSocket Open API，实现语音通话，具体请参见 Espressif Coze 官网，示例项目源码请参见 esp_websocket_client 示例项目源码。
相关文档
集成音视频 Realtime 嵌入式 SDK
硬件设备基于 WebSocket 实现语音交互