首页 > 代码库 > FreeSWITCH折腾笔记4——自己做一个TTS服务器
FreeSWITCH折腾笔记4——自己做一个TTS服务器
freeswitch原生支持的tts功能中文一般是使用的ekho，但是那合成的效果简直惨不忍睹，于是我想自己做一个TTS服务器。
首先是找到比较满意的TTS引擎，科大讯飞的效果当然是没话说，但是价格不菲，其他商业的引擎中文合成也不是很流畅，偶然发现windows7自带的合成引擎还算过得去，windows10带的合成引擎就更好了（有兴趣的可以先测试一下，直接在windows控制面板中的语音设置里面有测试，但是测试的中英文混读很蛋疼）。
那么问题来了，怎么把这个引擎用到我的FS上边呢？
思路，debian上的freeswitch（后续简称de-FS）需要TTS的时候，通过桥接到另外一个windows版本的freeswitch（后续简称win-FS），在SIP消息X-header中附加上需要合成的文字，然后win-FS接收到文字后，通过lua脚本调用一个应用程序转换成语音文件，win-FS再播放出来，这样呼入原de-FS的主叫就听到了文本转换后的语音了。
折腾了一个星期，终于把这个TTS服务搭建好了，分享出来，顺便记一下，免得下次要用时找不到。
废话不多说了，直接上脚本（注：de-FS使用fusionpbx搭建的，数据源调用直接用了fusionpbx的方法，深究的可以搭一个fusionpbx查查里面的脚本）
1、de-FS端查数、外呼、转接脚本：
function createIconv(from,to,text)
-- 本函数用于将utf8编码和gbk编码相互转换
-- apt-get install lua-iconv #需要先安装lua-iconv
local iconv = require("iconv")
local cd = iconv.new(to .. "//TRANSLIT", from)
local ostr, err = cd:iconv(text)
if err == iconv.ERROR_INCOMPLETE then
return "ERROR: Incomplete input."
elseif err == iconv.ERROR_INVALID then
return "ERROR: Invalid input."
elseif err == iconv.ERROR_NO_MEMORY then
return "ERROR: Failed to allocate memory."
elseif err == iconv.ERROR_UNKNOWN then
return "ERROR: There was an unknown error."
end
return ostr
end
function inser_str_for(in_num)
--本函数用在长串数字中插入空格
if in_num == nil then
out_str = ‘error in_num‘
else
-- print("正在转换：" .. in_num .. "\n")
in_num_len = string.len(in_num)
tmp_str = string.sub(in_num,1,1)
for start_len=2,in_num_len,1 do
sub_str = string.sub(in_num,start_len,start_len)
tmp_str = tmp_str .. " " .. sub_str
end
out_str = tmp_str
end
return out_str
end
-- require "resources.functions.config";
local Database = require "resources.functions.database";
dbh = Database.new(‘switch‘); --调用freeswitch数据库
api = freeswitch.API();
session:answer();
if (session:ready() == true) then
-- orderid = session:playAndGetDigits(8, 8, 3, 5000, ‘#‘, ‘first sound:#‘, ‘error_try sound‘, ‘\\d+|#‘);
orderid = session:playAndGetDigits(12, 12, 3, 8000, ‘#‘, ‘misc/enter_carryid.wav‘, ‘misc/erro_carryid.wav‘, ‘\\d+|#‘)
end
if (orderid== nil) then
error_code = 0
else
error_code = 1
end
if (error_code == 1) then
session:execute( "playback", "misc/carry_querying.wav" )
local params = {carry_id_in = orderid}
local sql = "SELECT * from carry_staut t where t.carry_id= :carry_id_in;"
dbh:query(sql, params, function(row)
carry_staut = row.info; --返回字段映射
end);
if carry_staut==nil then
session:streamFile("misc/erro_carryid.wav")
else
-- out_orderid=inser_str_for(orderid) -- 当使用微软音库时需转换
out_orderid=orderid -- 当使用"VM Hui"音库时无需转换
tts_text = "您好，单号：" .. out_orderid .."，7月11日，您从广州寄往深圳的快件当前状态：".. carry_staut .."，签收人李先生，感谢使用顺丰！"
tts_text = createIconv("utf-8","gbk",tts_text) --调用函数将字符集转换为gbk
session:setVariable("sip_h_X-Text",tts_text)
tts_session = freeswitch.Session("sofia/gateway/80fd35d7-d767-4fb3-907f-72daaa7896ea/1098", session)
if (tts_session:ready() == true) then
freeswitch.bridge(session,tts_session)
tts_session:hangup()
end
end
else
session:streamFile("misc/erro_carryid.wav")
end
session:sleep(500)
local digits = session:playAndGetDigits(1, 1, 3, 8000, ‘‘, ‘misc/continue_carryid.wav‘, ‘ivr/ivr-that_was_an_invalid_entry‘, ‘[\\d{1}|*]‘)
if (digits == "1") then
session:execute("transfer","6200");
else
if (digits == "2") then
session:execute("transfer","6002");
else
if (digits == "*") then
session:execute("transfer","6000");
else
session:execute("transfer","6002");
end
end
end2、win-FS接收端脚本：
session:answer();
session:ready();
uuid = session:getVariable("uuid");
sounds_dir = session:getVariable("sounds_dir");
text1 = session:getVariable("sip_h_X-Text");
if text1 == nil then
text1 = session:getVariable("caller_id_name");
end
os.execute("G:\\fusionpbx\\TTS\\tts_app\\tts_app.exe" .. " -to" .. " \"" .. text1 .. "\" " .. " \"" .. sounds_dir .. "/" .. uuid .. ".wav" .. "\"");
session:streamFile(sounds_dir .. "/" .. uuid .. ".wav");
session:sleep(1000);
os.remove(sounds_dir .. "/" .. uuid .. ".wav");
session:hangup();3、调用windows的tts程序代码（用C#写的一个控制台程序，可实现列出语音库，直接放音，和将语音保存到文件，直接调用windows接口）：
using System;
using System.Speech.Synthesis;
using System.Configuration;
using System.Speech.AudioFormat;
namespace tts_app
{
class Program
{
static void Main(string[] args)
{
// Encoding utf8 = Encoding.GetEncoding("utf8");
// Encoding gb2312 = Encoding.GetEncoding("gb2312");
String tts_text;
String outputfile;
String Voice_out = ConfigurationManager.AppSettings["Voice"];
String Speed =ConfigurationManager.AppSettings["Speed"];
String Volume =ConfigurationManager.AppSettings["Volume"];
int Speed_true=0;
int Volume_true=0;
int Speed_out, Volume_out;
int.TryParse(Speed, out Speed_true);
if (Speed_true >= -10 && Speed_true <= 10)
{
Speed_out = int.Parse(Speed);
}
else
{
Console.WriteLine("语速配置错误，将以默认语速0输出");
Speed_out = 0;
}
int.TryParse(Volume, out Volume_true);
if (Volume_true >= 0 && Volume_true <= 100)
{
Volume_out = int.Parse(Volume);
}
else
{
Console.WriteLine("音量配置错误，将以默认音量100输出");
Volume_out = 100;
}
if (args.Length == 1 && args[0] == "-l")//判断输入参数等于1，且等于-l时列出语音库信息
{
SpeechSynthesizer speech = new SpeechSynthesizer();
Console.WriteLine("本机安装的语音包如下：");
foreach (InstalledVoice voice in speech.GetInstalledVoices())
{
VoiceInfo info = voice.VoiceInfo;
string AudioFormats = "";
foreach (SpeechAudioFormatInfo fmt in info.SupportedAudioFormats)
{
AudioFormats += String.Format("{0}\n",
fmt.EncodingFormat.ToString());
}
Console.WriteLine(" 音库名称: " + info.Name);
Console.WriteLine(" 语种: " + info.Culture);
Console.WriteLine(" 年龄: " + info.Age);
Console.WriteLine(" 性别: " + info.Gender);
Console.WriteLine(" 描述: " + info.Description);
Console.WriteLine(" ID: " + info.Id);
Console.WriteLine(" 是否启用: " + voice.Enabled);
if (info.SupportedAudioFormats.Count != 0)
{
Console.WriteLine("语音格式：" + AudioFormats);
}
else
{
Console.WriteLine(" 不支持的语音格式：");
}
string AdditionalInfo = "";
foreach (string key in info.AdditionalInfo.Keys)
{
AdditionalInfo += String.Format(" {0}: {1}\n", key, info.AdditionalInfo[key]);
}
Console.WriteLine(" 其他信息： " + AdditionalInfo);
}
speech.SetOutputToNull();
speech.Dispose();
Console.WriteLine("读取语音列表完成！");
}
else
if (args.Length == 2 && args[0] == "-t")
{
tts_text = args[1];
// 以下代码用于将linux传过来的UTF8转码成正常文字
//byte[] buffer1 = Encoding.Default.GetBytes(tts_text);
//byte[] buffer2 = Encoding.Convert(Encoding.UTF8, Encoding.Default, buffer1, 0, buffer1.Length);
//tts_text = Encoding.Default.GetString(buffer2, 0, buffer2.Length);
SpeechSynthesizer speech = new SpeechSynthesizer();
String defult_voice;
speech.GetInstalledVoices();
speech.SelectVoice(Voice_out); //语音类型
speech.Rate = Speed_out; //语速
speech.Volume = Volume_out; //音量
Console.WriteLine("正在合成: ");
Console.WriteLine(tts_text);
speech.Speak(tts_text);
Console.WriteLine("合成完成");
speech.Dispose();
}
else
if (args.Length == 3 && args[0] == "-to")
{
tts_text = args[1];
outputfile = args[2];
// 以下代码用于将linux传过来的UTF8转码成正常文字
// byte[] buffer1 = Encoding.Default.GetBytes(tts_text);
// byte[] buffer2 = Encoding.Convert(Encoding.UTF8, Encoding.Default, buffer1, 0, buffer1.Length);
// tts_text = Encoding.Default.GetString(buffer2, 0, buffer2.Length);
SpeechSynthesizer speech = new SpeechSynthesizer();
speech.SelectVoice(Voice_out); //语音类型
speech.Rate = Speed_out; //语速
speech.Volume = Volume_out; //音量
Console.Write("正在合成: ");
Console.WriteLine(tts_text);
Console.Write("输出文件名: ");
Console.WriteLine(outputfile);
speech.SetOutputToWaveFile(outputfile);
speech.Speak(tts_text);
Console.WriteLine("合成完成");
speech.SetOutputToNull();
speech.Dispose();
}
else
{
Console.WriteLine("启动参数错误，请使用“-t 文本内容，或使用“-to 文本内容 输出文件名”，“-l”列出本机安装的语音库");
}
}
}
}4、TTS程序配置文件（用来调整语速，音量和选择音库）：
<?xml version="1.0" encoding="utf-8"?> <configuration> <startup> <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.5.2" /> </startup> <appSettings> <add key="Voice" value="http://www.mamicode.com/Microsoft Lili"> </add> <!-- --> <add key="Speed" value="http://www.mamicode.com/0"> </add> <!-- --> <add key="Volume" value="http://www.mamicode.com/100"> </add> <!-- --> </appSettings> </configuration>
附件包含了两个语音合成效果和我编译好了的tts_app应用(需要安装.net运行库)
应用的使用方式：
1、列出语音库：tts_app.exe -l （如果放不出来，则需要查询语音库有哪些，然后将音库名称填入到配置文件的voice参数里面）
2、直接合成：
tts_app.exe -t “需要合成的文字”
3、保存到wav文件
tts_app.exe -to “需要合成的文字” "D:\存放路径\文件名.wav"
本文出自 “折腾笔记” 博客，转载请与作者联系！
FreeSWITCH折腾笔记4——自己做一个TTS服务器
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。