Delphi中Synopse连字符代码为何与TeX处理结果不一致？
- 内容介绍
- 文章标签
- 相关推荐
本文共计645个文字，预计阅读时间需要3分钟。
这个问题涉及对Synopse的Delphi分词和连字符处理功能进行测试。以下是简化的内容：
测试Synopse的Delphi分词功能，与常规的+previous+question不同。Synopse的连字符处理非常快速，且在OpenOffice libhnj库（使用TeX分词）上构建。简单测试：如果输入‘发音’，Synopse应连续输出字符。
这个问题遵循 previous question但不同. Synopse’s delphi hyphenation非常快,并且在OpenOffice libhnj library that uses TeX hyphenation上构建.一个简单的测试是：
如果我输入’发音’,则Synopse连字符输出’pro = nun = ci = ation'(4个可能的连字符或音节). //(不是’pro = nun = ci = a = tion’,5个连字符或音节).
我读了2篇关于Tex连字算法用于音节化的论文(here和here).作者表示,音节准确率约为95％.我在CMU Pronouncing Dictionary测试了Synopse连字符仅用于计算音节,但只有大约53％的准确度.
为什么结果会有显着差异？
我以一种详细的方式重现了我的方法.
我解析CMU发音字典来计算所有单词数.
CMU dic就像：
PRONOUNS P R OW1 N AW0 N Z PRONOVOST P R OW0 N OW1 V OW0 S T PRONTO P R AA1 N T OW0 PRONUNCIATION P R OW0 N AH2 N S IY0 EY1 SH AH0 N PRONUNCIATION(1) P R AH0 N AH2 N S IY0 EY1 SH AH0 N
我会得到这个结果：
PRONOUNS=2 PRONOVOST=3 PRONTO=2 PRONUNCIATION(1)=5 // will be ignored PRONUNCIATION=5 // use this one
与Synopse连字符lib相比,带括号的单词将被忽略.它们是替代或次要发音(变体).
类似地,我将使用连字符lib来计算CMU字典中每个单词的音节数.然后我比较两个看看有多少匹配.具有不同音节数的单词记录如下：
... 94814 cmu PROMULGATED=4 | PROMULGATED=3 Synopse Hyphenation 94821 cmu PRONGER=2 | PRONGER=1 Synopse Hyphenation 94829 cmu PRONOUNCES=3 | PRONOUNCES=2 Synopse Hyphenation 94833 cmu PRONTO=2 | PRONTO=1 Synopse Hyphenation 94835 cmu PRONUNCIATION=5 | PRONUNCIATION=4 Synopse Hyphenation ...
CMU的总行数为123611(不包括带括号的行和没有有意义的单词的行,如引号行'(‘).
两个相同单词的总音节数不同：57870.
CMU可能不是音节数字的标准.在这个测试中,(123611-57870)/123611=53.183%.这与作者在上述论文中所述的准确率有很大不同.当然,他们使用另一个数据库(CELEX)进行测试.为什么结果如此不同？
Synopse连字库非常快.我想进一步了解这是否是由于模式文件(用于最初来自OpenOffice中使用的libhnj的连字符的dic文件).或者论文的作者是否使用了不同的字典文件？
简而言之,我认为我们的SPIRE 2009论文中报告的内容与此处报告的结果之间的准确性差异是如此之大的原因是因为我们培训了该方法而不是使用通过先前培训生成的模式(从我的内容可以聚集,就是你在这里做的事情).我们如何进行培训以获得我们的模式在本文的第三页(第176页)中进行了简要描述,并在我的论文的第4.3节中有更详细的描述,您可以在这里找到：
web.cs.dal.ca/~adsett/Adsett_SyllAlgs_2008.pdf
本文共计645个文字，预计阅读时间需要3分钟。
这个问题涉及对Synopse的Delphi分词和连字符处理功能进行测试。以下是简化的内容：
测试Synopse的Delphi分词功能，与常规的+previous+question不同。Synopse的连字符处理非常快速，且在OpenOffice libhnj库（使用TeX分词）上构建。简单测试：如果输入‘发音’，Synopse应连续输出字符。
这个问题遵循 previous question但不同. Synopse’s delphi hyphenation非常快,并且在OpenOffice libhnj library that uses TeX hyphenation上构建.一个简单的测试是：
如果我输入’发音’,则Synopse连字符输出’pro = nun = ci = ation'(4个可能的连字符或音节). //(不是’pro = nun = ci = a = tion’,5个连字符或音节).
我读了2篇关于Tex连字算法用于音节化的论文(here和here).作者表示,音节准确率约为95％.我在CMU Pronouncing Dictionary测试了Synopse连字符仅用于计算音节,但只有大约53％的准确度.
为什么结果会有显着差异？
我以一种详细的方式重现了我的方法.
我解析CMU发音字典来计算所有单词数.
CMU dic就像：
PRONOUNS P R OW1 N AW0 N Z PRONOVOST P R OW0 N OW1 V OW0 S T PRONTO P R AA1 N T OW0 PRONUNCIATION P R OW0 N AH2 N S IY0 EY1 SH AH0 N PRONUNCIATION(1) P R AH0 N AH2 N S IY0 EY1 SH AH0 N
我会得到这个结果：
PRONOUNS=2 PRONOVOST=3 PRONTO=2 PRONUNCIATION(1)=5 // will be ignored PRONUNCIATION=5 // use this one
与Synopse连字符lib相比,带括号的单词将被忽略.它们是替代或次要发音(变体).
类似地,我将使用连字符lib来计算CMU字典中每个单词的音节数.然后我比较两个看看有多少匹配.具有不同音节数的单词记录如下：
... 94814 cmu PROMULGATED=4 | PROMULGATED=3 Synopse Hyphenation 94821 cmu PRONGER=2 | PRONGER=1 Synopse Hyphenation 94829 cmu PRONOUNCES=3 | PRONOUNCES=2 Synopse Hyphenation 94833 cmu PRONTO=2 | PRONTO=1 Synopse Hyphenation 94835 cmu PRONUNCIATION=5 | PRONUNCIATION=4 Synopse Hyphenation ...
CMU的总行数为123611(不包括带括号的行和没有有意义的单词的行,如引号行'(‘).
两个相同单词的总音节数不同：57870.
CMU可能不是音节数字的标准.在这个测试中,(123611-57870)/123611=53.183%.这与作者在上述论文中所述的准确率有很大不同.当然,他们使用另一个数据库(CELEX)进行测试.为什么结果如此不同？
Synopse连字库非常快.我想进一步了解这是否是由于模式文件(用于最初来自OpenOffice中使用的libhnj的连字符的dic文件).或者论文的作者是否使用了不同的字典文件？
简而言之,我认为我们的SPIRE 2009论文中报告的内容与此处报告的结果之间的准确性差异是如此之大的原因是因为我们培训了该方法而不是使用通过先前培训生成的模式(从我的内容可以聚集,就是你在这里做的事情).我们如何进行培训以获得我们的模式在本文的第三页(第176页)中进行了简要描述,并在我的论文的第4.3节中有更详细的描述,您可以在这里找到：
web.cs.dal.ca/~adsett/Adsett_SyllAlgs_2008.pdf