IMDB情感分析

第三个kaggle参与比赛,第一次使用了word embedding的方法
使用了GloVe的词向量矩阵

弄明白几个新东西

softmax_cross_entropy_with_logits 方法本身就是激活方法,前面不应该添加激活函数
而且两个激活函数可能会导致梯度不再下降

import tensorflow as tf
a=[[-1,2],[2,-0.5]]
b=tf.nn.relu(a)
with tf.Session() as sess:
    c=sess.run(b)
    print(c)

结果是
[[ 0. 2.]
[ 2. 0.]]

sudo scp wangxin@192.168.1.108:/home/wangxin/PycharmProjects/kaggle/IMDB/code/submission_2_3* /Users/unclewang/data
关于这个的理解稍后需要总结一下

单层lstm,final_state[1]就是最后隐藏层的输出
但是多层lstm,final_state[-1][1]才行

训练集和测试集一定要保证数据分布一致,对于rnn来说,训练集和测试集都是序列的文本数据,那就要保证两种数据的序列性质具有一致性

  • 错误的使用:训练集具有正向和反向的训练数据,但是测试只有正向的数据(虽然能扩充训练集,但结果很差)

发表评论

电子邮件地址不会被公开。