fluent-plugin-twitter
fluent-plugin-twitter copied to clipboard
y-ken
log_level enabled can not do?
Fill the console you get lots of Tweets, are in trouble.
Add log_level option by repeatedly · Pull Request #255 · fluent/fluentd
Would you please tell me the type of logs? I know the two type of logs but you mean to another logs.
- input: on startup message staring with
twitter: starting Twitter Streaming API for
details in https://github.com/y-ken/fluent-plugin-twitter/blob/master/lib/fluent/plugin/in_twitter.rb#L64 - output: error message https://github.com/y-ken/fluent-plugin-twitter/blob/master/lib/fluent/plugin/out_twitter.rb#L47
I'm not so good at writing English, so I also write in Japansese.
en
It is the https://github.com/y-ken/fluent-plugin-twitter/blob/master/lib/fluent/plugin/in_twitter.rb that I use.
I changed "$ log.info" to "log.info", but it seems that it is not reflected.
Although it is a suggestion, how about trying log_level debug tweet for images?
ja
私が使っているのは、 https://github.com/y-ken/fluent-plugin-twitter/blob/master/lib/fluent/plugin/in_twitter.rb の方です。
自分で "$log.info" を "log.info" に書き換えたのですが、反映されなかったようです。
そこで、提案ですが画像の用にツイートを log_level debug にしてみてはどうでしょう？
apiキーは隠した上で、設定ファイルを見せて頂けますか？ おそらく、設定サンプルのように、stdoutの設定が残ってるように見受けられます。
<match twitter.sampling>
@type stdout
</match>
ありがとう御座います。 日本語で安心しました。
現在は開発中なので、こちらのレポジトリーに全ファイル置いてあります。 api Key を 直書きしないために環境変数を多様してます。みにくいかと思いますがよろしくお願いします。 fluent-norikra-elasticsearch-kibana/fluent-twitter/conf.d at master · FoxBoxsnet/fluent-norikra-elasticsearch-kibana
追加で説明しますと。ここで log_level warn 指定してます。
https://github.com/FoxBoxsnet/fluent-norikra-elasticsearch-kibana/blob/master/fluent-twitter/conf.d/31-match.norikra.output.conf#L41
ログを発生させているところで、log_levelの設定を行う事で出力されるログを制御できます。[info]付きのログメッセージがそれです。
ですのでstdoutを指定した場合には、そこで流れていたログが全て表示されるのは仕様です。
前提として、ログ自体はfluent.infoやfluent.warnなどのタグで流れております。 ref. http://chopl.in/post/2013/04/27/fluentd_internal_log/
stdoutで出力される内容を制御するためには、filterプラグインを経由する必要があります。
stdoutで出力される内容を制御するためには、filterプラグインを経由する必要があります。
公式サイトにこちらの記事があり、log_level 使えるそうです
http://docs.fluentd.org/v0.12/articles/out_stdout
#36 現在これに遭遇して gem uninstall json -v='2.0.3' を追加する事で 0.6.0 で 起動は出来ましたが、ツイートが来なかったため、 0.5.4 を使用してます
先ほど確認したら 対応されてましたね. ごめんなさい。私の勘違いのようです
stdoutでlog_levelを用いるケースですが、それ自体で発生するエラー、bufferd outputではなくmemory outputなので、例えばディスクフルのため標準出力ログに書き出せなかった、といったエラーを出すかどうかの制御程度しか想定できません。 log_levelの制御対象はタグの中のメッセージではなく、指定したそのプラグインによって発生したタグの中のメッセージとは別にログファイルに書き出すべきエラーです。そのため、制御できるのは既にログファイルに書き出されている[notice]や[info]、[warn]が付いたものに限定されるのです。
そうですか、 では fluent-plugin-twitter が 0.5.4 以上で稼働出来るようになったら
<source>
type twitter
log_level warn
</source>
と書いてログ出力側の方で設定する用にしてみます。 ありがとう御座いました.
新しいバージョンを本日リリースしましたので、確認をお願いします。 https://rubygems.org/gems/fluent-plugin-twitter/versions/0.6.1
おそらく、次の所で発生したエラーを、集約サーバで集めたいのだと推測します。
<source>
type twitter
log_level warn
</source>
その場合には、次のように発生した内部エラーログを他のサーバに転送する設定がtwitterを入れてるサーバで必要です。
<filter fluent.**>
type record_transformer
<record>
host ${hostname}
</record>
</match>
<match fluent.**>
type forward
<server>
name watcher
host watcher.domain
port 24224
</server>
</match>