首页 > 代码库 > 使用Moses中tokenizer.perl无法正常工作：纠结的"<" 和">"（已解决）
使用Moses中tokenizer.perl无法正常工作：纠结的"<" 和">"（已解决）
发现居然没有输入文本和输出文本，折腾了一晚上，到了半夜终于搞懂了：
官方的Manual上这么写的：
The tokenisation can be run as follows: ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l en < ~/corpus/training/news-commentary-v8.fr-en.en > ~/corpus/news-commentary-v8.fr-en.tok.en ~/mosesdecoder/scripts/tokenizer/tokenizer.perl -l fr \ < ~/corpus/training/news-commentary-v8.fr-en.fr > ~/corpus/news-commentary-v8.fr-en.tok.fr
MLGB的写的太不精确了（虽然仔细一想也很精确），一直以为 ‘<‘和‘>‘这俩货是Linux自动换行给的呢卧槽！有没有搞错，但是正常使用的话，这两个符号表示从制定位置输入和输出，尼玛啊！！！！！
使用Moses中tokenizer.perl无法正常工作：纠结的"<" 和">"（已解决）
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。