HMM算法学习——使用Baum-Welch训练HMM分词模型的参数

上一篇已经说过,读取jieba分词的参数用维特比算法去进行分词。
但是也给自己留了个坑,说要训练出来HMM分词的参数。
如果还不懂前向、后向、Gamma这一些东西,请先看上一篇博客
具体代码可以查看 https://github.com/1000-7/xinlp

十分感谢这个博客,博主已经实现了,自己借用了里面的很多内容。
继续阅读“HMM算法学习——使用Baum-Welch训练HMM分词模型的参数”

GMM高斯混合模型

文章相关代码参见github:xinlp

EM算法的一个重要应用是高斯混合模型的参数估计。
高斯混合模型(Gaussian Mixed Model)指的是多个高斯分布函数的线性组合,理论上GMM可以拟合出任意类型的分布,常用于解决同一集合下的数据包含多个不同的分布的情况(或者是同一类分布但参数不一样,或者是不同类型的分布,比如正态分布和伯努利分布)。 继续阅读“GMM高斯混合模型”

EM算法学习

意图识别 <= Bi-LSTM+CRF <= 先懂CRF <= 先懂HMM <= 先懂EM
学习书籍:《概率论与数理统计》陈希儒.《统计学习方法》李航. 《PRML》神书.
此外参考了一些博客,看懂EM还是花了一些时间的,在李航那本书上做了很多笔记,所以整理出来这篇博客。

文章相关代码参见github:xinlp

这一篇就是从EM开始讲,EM的各种变量也统一是用《统计学习方法》这本书的,言归正传。 继续阅读“EM算法学习”

防御性编程(转)

转:https://www.cnblogs.com/bakari/archive/2012/08/27/2658215.html
防御性编程是一种细致、谨慎的编程方法。为了开发可靠的软件,我们要设计系统中的每个组件,以使其尽可能地“保护”自己。我们通过明确地在代码中对设想进行检查,击碎了未记录下来的设想。这是一种努力,防止(或至少是观察)我们的代码以将会展现错误行为的方式被调用。

继续阅读“防御性编程(转)”

一个mnist的GAN

自己想从0实现一个GAN,读了很多博客,看了开始大神Ian J.Goodfellow的那篇论文,也看了一些视频(觉得还是看论文好,博客写的都是轻描淡写,胡扯一堆,一到具体公式就摸瞎,论文写的真的很清楚;还有就是原始论文都是用多层感知器,梯度上升什么的,现在变化很多,一般都会加卷积核什么东西,效果比论文里要好很多)

继续阅读“一个mnist的GAN”

Vim学习

vi编辑器是Visual Interface的简称,是linux最基本的文本编辑器。
vim是vi的加强版,定位就是开发工具,不是文本编辑工具,增加了很多适合程序编写的新功能。
参考书籍和网站:
《Linux系统命令及shell脚本实践指南》
菜鸟教程

继续阅读“Vim学习”