Visualizer

Visualizer copied to clipboard

cache无内容的问题

11

我想查看transformerdecoderlayer里的attn，在主函数中get_local.activate(),但是cache中的['transformer_decoderlayer']中是[]，我的模型结构是train中调用model,model中调用transformer

ZHEGG

Visualizer是只能处理一张图像输入的情况吗，不能输入一个batch，我发现输入一个batch会返回一个空的cache.

AvadaKarrot

MorphBai

wang149876

``` c = Bytecode.from_code(func.__code__) extra_code = [ Instr('STORE_FAST', '_res'), Instr('LOAD_FAST', self.varname), Instr('STORE_FAST', '_value'), Instr('LOAD_FAST', '_res'), Instr('LOAD_FAST', '_value'), Instr('BUILD_TUPLE', 2), Instr('STORE_FAST', '_result_tuple'), Instr('LOAD_FAST', '_result_tuple'), ] c[-1:-1] = extra_code ``` 请教各位大佬，这部分的字节码是啥意思？是怎么得到@get_local值的？

aakejiang

aakejiang

有关grid注意力的疑惑

1

你好，如果我想要全局的注意力图，要怎么操作呢，你的demo是对应某个grid的注意力图

XA23i

I appreciate your interesting work. In the `cls_padding` function, there are two lines that seem to be a bug: ```python mask = mask / max(np.max(mask),cls_weight) cls_weight = cls_weight / max(np.max(mask),cls_weight)...

star-journey

生成图片问题

1

 首先感谢您的代码，其次第一个问题，在您的代码中不同的网格序号生成的图像的注意力是不一样的，也就是说网格是它的注意力图的灯塔，但是在我生成的图片中，不同的网格序号生成的图片完全一样，这是什么原因？然后第二个问题，为什么我生成的图片全局花里胡哨，而不像您的那种除了网格附近是颜色亮的，其余地方是冷色系？期待您的解答和回复，谢谢。

sijiua

您好, 我用您的方法展示了我的模型可视化结果并呈现在了我的论文中, 但我似乎没有在您的github主页找到相关的引用说明. 请问我该如何在我的文章中写引用了您的Visualizer呢?

LEM0NTE