当前位置: 首页 > news >正文

通过顶顶通呼叫中心中间件玩转FreeSWITCH媒体流

怎么获取FreeSWITCH的媒体流是一个老生常谈的问题了,最常见的方法media_bug,我在2019年就做的FreeSWITCH对接ASR开源的例子https://gitcode.net/iyaosan/FreeSWITCH-ASR用的就是media_bug,对接ASR常见的方法还有通过mod_mrcp模块对接mrcp的asrserver。

很多人需要直接获取原始的声音流,然后自己处理,其实FreeSWITCH也是支持的,只是知道的极少,FreeSWITCH原生支持 unicast 通过udp 把声音流推送到一个UDP端口,和播放网络的声音流。 fs实现的unicast,有一个缺陷如果启动了unicast 就没办法调用playback等放音函数了。

通过顶顶通呼叫中心中间件提供的 cti_unicast 则没这个缺点。可以不影响fs本身所有的功能情况下把媒体流推送到 远端udp端口,和播放网络声音。

cti_unicast 通过media_bug挂了2个回调SMBF_READ_STREAM和SMBF_WRITE_REPLACE,其中 SMBF_READ_STREAM,用来把媒体流推送到远端UDP端口,SMBF_READ_STREAM用来把远端发送来的声音混音到fs的放音。从而实现了完全不影响fs自身功能的前提下,实现推流和播放流。

顶顶通呼叫中心中间件还提供了tcp的推流和播放流函数 cti_audiao_stream。

这2个函数可以通过拨号方案启动,也可以通过 freeswitch esl 接口调用。

还有websocekt协议的播放流函数 wss://ip/tts?text=文字 可用于对接实时TTS。

顶顶通呼叫中心中间件ASR接口更高级的2个函数是
uuid_cti_start_detect_speech
用于质检 ,检测到说话实时推流给ASR,支持weboscket,mrcp等多种协议。用户说话停止自动停止推流。
cti_play_and_detect_speech
用于电话机器人,放音的时候检测用户说话,检测到说话实时推流给ASR,支持weboscket,mrcp等多种协议。支持多种打断模式,比如检测到人声打断,识别到多少文字打断。

详细可以看 http://www.ddrj.com/callcenter/asr.html

http://www.lryc.cn/news/227796.html

相关文章:

  • Maven内网开发使用离线仓库
  • CSS特效007:绘制3D文字,类似PS效果
  • LLM 面试总结
  • acwing算法基础之数学知识--求小于等于n的所有质数
  • 安装和使用 nn-Meter
  • PHP原生类总结利用
  • C/C++满足条件的数累加 2021年9月电子学会青少年软件编程(C/C++)等级考试一级真题答案解析
  • zookeeper:服务器有几种状态?
  • 大数据-之LibrA数据库系统告警处理(ALM-12040 系统熵值不足)
  • HTML页面模拟了一个类似Excel的表格在线diy修改表格内容
  • Unity如何保存场景,如何导出工程文件/如何查看保存位置?【各版本通用】
  • 2023年第十六届山东省职业院校技能大赛中职组“网络安全”赛项规程
  • html菜单的基本制作
  • Spark Job优化
  • CSS花边001:无衬线字体和有衬线字体
  • nodejs+vue+python+PHP+微信小程序-安卓- 基于小程序的高校后勤管理系统-计算机毕业设计
  • Leetcode153. Find Minimum in Rotated Sorted Array
  • 为什么要用“交叉熵”做损失函数
  • 【Android】Android apk 逆向编译
  • 04-详解SpringBoot自动装配的原理,依赖属性配置的实现,源码分析
  • [100天算法】-不同路径 III(day 73)
  • 【c++随笔12】继承
  • Excel中使用数据验证、OFFSET实现自动更新式下拉选项
  • Android修行手册 - 可变参数中星号什么作用(冷知识)
  • Python与ArcGIS系列(三)视图缩放
  • [ASP]数据库编辑与管理V1.0
  • MyBatis Plus整合Redis实现分布式二级缓存
  • 如何帮助 3D CAD 设计师实现远程办公
  • 如何在 Idea 中修改文件的字符集(如:UTF-8)
  • 【C++】单例模式【两种实现方式】