Moses 全安装记录——Ubuntu16.04

这个使用perl,c,c++什么的搞得,需要编译安装,原来这个搞的不太多,所以弄了很长时间,现在算是懂了一些安装这些工具的套路了。
看懂moses的官方教程,我觉得必须要明白一件事情,就是moses的流程是:
准备数据(分词->大小写转换->清洗)--> 训练关于某种语言的语言模型 --> 利用语言模型训练翻译模型 --> 微调 --> 测试


简介:Moses是当今最著名的开源统计机器翻译系统。绝大多数的统计机器翻译技术是Moses中都有支持,比如基于短语的模型、基于句法的模型、各种解码方法、各种特征权重训练方法。其历史悠久(相对),技术全面,性能出色,适合做论文的baseline。


我一共安装四个东西

  1. irstlm 模型生成工具,其实moses默认使用Kenlm,所以不用也可以
  2. giza++ 词语对齐工具,训练模型结束,会同时生成giza.en-cn和giza.cn-en两个文件夹,
  3. cmph 这个主要用于模型生成以后二进制,提高加载速度,直接去Ubuntu的package里面去下载,传送门
  4. xmlrpc-c 这个是因为要把moses作为tcp服务就需要,传送门

安装irstlm,传送门:
下载下来,解压,我都是放在我的moses_system文件夹下
cd ~/moses_system/irstlm-5.80.08/trunk
./regenerate-makefiles.sh
./configure --prefix=/home/wangxin/irstlm
make
sudo make install


安装giza++
git clone https://github.com/moses-smt/giza-pp.git
make
官方:是在mosesdecoder文件夹下创建tools文件夹,然后把giza++生成的三个文件复制进去
cp ~/moses_system/giza-pp/GIZA++-v2/GIZA++ ~/moses_system/giza-pp/GIZA++-v2/snt2cooc.out ~/moses_system/giza-pp/mkcls-v2/mkcls tools


安装mosesdecoder
git clone git://github.com/moses-smt/mosesdecoder.git


安装cmph
./configure --prefix=/home/wangxin/cmph
make
make install


安装xmlrpc-c
./configure --prefix=/home/wangxin/xmprpc
make 这个基于其他的一些包,有可能需要一些依赖
make install


最重要的是,关于Mosesdecoder的编译命令,这个我前前后后弄了好多次,最后发现主要是其他工具编译的时候最好是带有前缀编译,然后路径对应上就好
./bjam -j4 --with-irstlm=/home/wangxin/irstlm --with-giza=/home/wangxin/moses_system/giza-pp --with-cmph=/home/wangxin/cmph --with-xmlrpc-c=/home/wangxin/xmlrpc

最后会提醒Success,至此成功了安装moses了。

发表评论

电子邮件地址不会被公开。