DialSum
DialSum copied to clipboard
MiuLab
How to do Inferencing?
What are the directions for doing inferencing? If I have a .txt file containing meeting transcript, how would get the output of the summarization? Thanks!
Hi！ I have the same problem. Have you solved it?
I solved myself , a new test.py file was made below to predict new data
import os
import argparse
import logging
import sys
import shutil
import tensorflow as tf
import numpy as np
np.set_printoptions(threshold=np.inf)
from tensorflow.python.ops import rnn_cell_impl
from utils import loadVocabulary
from utils import computeAccuracy
from utils import DataProcessor
import rouge
in_vocab = loadVocabulary(os.path.join('./vocab', 'in_vocab'))
da_vocab = loadVocabulary(os.path.join('./vocab', 'da_vocab'))
os.path.join(full_valid_path, arg.sum_file),sess
sess = tf.Session()
saver = tf.train.import_meta_graph('./model/backup/summary_only_size_256_epochs_14.ckpt.meta')
saver.restore(sess,'./model/backup/summary_only_size_256_epochs_14.ckpt') #default path is ./model
graph = tf.get_default_graph()
input_data = graph.get_tensor_by_name("inputs:0")
sequence_length = graph.get_tensor_by_name("sequence_length:0")
sum_length = graph.get_tensor_by_name("sum_length:0")
sum_output = graph.get_tensor_by_name("sum_output:0")
da_output = graph.get_tensor_by_name("da_output:0")
batch_size = graph.get_tensor_by_name("batch_size:0")
# I changed the batch_size to tf.placeholder in train.py
data_processor_valid = DataProcessor('./data/test/in', './data/test/da', './data/test/sum', in_vocab, da_vocab)
in_data, da_data, da_weight, length, sums, sum_weight,sum_lengths, in_seq, da_seq, sum_seq = data_processor_valid.get_batch(1)
print(in_data,length,sum_lengths)
feed_dict = {input_data: in_data, sequence_length: length, sum_length: sum_lengths,batch_size:1}
out = sess.run([da_output,sum_output],feed_dict)
print(da_data.shape,in_data.shape,in_data[0])
print(out[0].shape,out[1][0].shape)
print("done!")
我跑了一下你的代码，输出来的是矩阵信息
矩阵信息就是每个对话中的每个单词在单词表中的索引 例如out[1] 是一个矩阵 k * M * N k个对话摘要， 每个对话M个单词，每个单词在单词表的概率分布
我跑了一下你的代码，输出来的是矩阵信息
矩阵信息就是每个对话中的每个单词在单词表中的索引 例如out [1]是一个矩阵k * M * N k个对话摘要，每个对话M个单词，每个单词在单词表的概率分布
为什么索引是这种小数形式呢
我跑了一下你的代码，输出来的是矩阵信息
矩阵信息就是每个对话中的每个单词在单词表中的索引 例如out [1]是一个矩阵k * M * N k个对话摘要，每个对话M个单词，每个单词在单词表的概率分布
你这个是out[1]吗 我也记不清了，应该是个概率分布，概率最大的就是他的索引
我跑了一下你的代码，输出来的是矩阵信息
矩阵信息就是每个对话中的每个单词在单词表中的索引 例如[1]是一个矩阵k * M * N k个对话摘要，每个对话M个单词，每个单词在单词表的概率分布
你这个是out [1]吗我也记不清了，应该是个概率分布，概率最大的就是他的索引
你还记得怎么输出句子形式的信息吗， 你有没有把这个模型应用到中文方面呢
@Sperao 应该是这种形式[[8831(yeah) 20(.) 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]....] 我只在英文上面用了，而且他这个与其说是摘要更像是分类，因为训练集中的摘要基本上是一些重复的话。
我提取了一下摘要是这样子的，确实有很多是重复的话，，，所以说这个模型的效果并不好不能使用吗