loggie icon indicating copy to clipboard operation
loggie copied to clipboard

feat(sink): add pulsar sink

Open carrotshub opened this issue 3 years ago • 4 comments

Proposed Changes:

  • 增加支持pulsar sink

Which issue(s) this PR fixes:

Fixes #199

Additional documentation:

pulsar

使用sink kafka将日志数据发送至下游Pulsar。

!!! example

```yaml
sink:
  type: pulsar
  url: pulsar://localhost:6650
  topic: persistent://tenant/namespace/topic
```

brokers

字段 类型 是否必填 默认值 含义
url string 必填 日志发送端pulsar连接地址

topic

字段 类型 是否必填 默认值 含义
topic string 必填 发送日志至pulsar的topic

operation_timeout_seconds

字段 类型 是否必填 默认值 含义
operation_timeout_seconds time.Duration 非必填 30s Producer-create, subscribe and unsubscribe operations will be retried until this interval, after which the operation will be marked as failed

connectionTimeout

字段 类型 是否必填 默认值 含义
connectionTimeout time.Duration 非必填 5s Timeout for the establishment of a TCP connection

sendTimeout

字段 类型 是否必填 默认值 含义
sendTimeout time.Duration 非必填 30s SendTimeout set the timeout for a message that is not acknowledged by the server 30s

maxPendingMessages

字段 类型 是否必填 默认值 含义
sendTimeout time.Duration 非必填 MaxPendingMessages specifies the max size of the queue holding the messages pending to receive an acknowledgment from the broker

hashingSchema

字段 类型 是否必填 默认值 含义
hashingSchema int 非必填 0 HashingScheme is used to define the partition on where to publish a particular message. 0:JavaStringHash,1:Murmur3_32Hash

hashingSchema

字段 类型 是否必填 默认值 含义
hashingSchema int 非必填 0 HashingScheme is used to define the partition on where to publish a particular message. 0:JavaStringHash,1:Murmur3_32Hash

compressionType

字段 类型 是否必填 默认值 含义
compressionType int 非必填 0 0:NoCompression,1:LZ4,2:ZLIB,3:ZSTD

LogLevel

字段 类型 是否必填 默认值 含义
LogLevel string 非必填 0 日志级别: "info","debug", "error"

batchingMaxSize

字段 类型 是否必填 默认值 含义
batchingMaxSize int 非必填 2048(KB) BatchingMaxSize specifies the maximum number of bytes permitted in a batch

batchingMaxMessages

字段 类型 是否必填 默认值 含义
batchingMaxMessages int 非必填 1000 BatchingMaxMessages specifies the maximum number of messages permitted in a batch

batchingMaxPublishDelay

字段 类型 是否必填 默认值 含义
batchingMaxPublishDelay time.Duration 非必填 10ms BatchingMaxPublishDelay specifies the time period within which the messages sent will be batched

useTLS

字段 类型 是否必填 默认值 含义
useTLS bool 非必填 false 是否使用TLS认证

tlsTrustCertsFilePath

字段 类型 是否必填 默认值 含义
tlsTrustCertsFilePath string 非必填 the path to the trusted TLS certificate file

tlsAllowInsecureConnection

字段 类型 是否必填 默认值 含义
tlsAllowInsecureConnection bool 非必填 false Configure whether the Pulsar client accept untrusted TLS certificate from broker

certificatePath

字段 类型 是否必填 默认值 含义
certificatePath string 非必填 TLS证书路径

privateKeyPath

字段 类型 是否必填 默认值 含义
privateKeyPath string 非必填 TLS privateKey路径

token

字段 类型 是否必填 默认值 含义
token string 非必填 如果使用token认证鉴权pulsar,请填写此项

tokenFilePath

字段 类型 是否必填 默认值 含义
tokenFilePath string 非必填 auth token from a file

carrotshub avatar May 29 '22 03:05 carrotshub

@ethfoo

carrotshub avatar May 29 '22 04:05 carrotshub

@carrotshub 麻烦冲突解决一下

ethfoo avatar Jun 21 '22 07:06 ethfoo

这是来自QQ邮箱的自动回复邮件。您好,您的邮件我已收到,我将尽快回复!谢谢!

carrotshub avatar Jun 21 '22 07:06 carrotshub

@carrotshub 麻烦冲突解决一下

已解决

carrotshub avatar Jun 22 '22 13:06 carrotshub

resovle confilcts by: https://github.com/loggie-io/loggie/pull/417

ethfoo avatar Dec 06 '22 08:12 ethfoo

这是来自QQ邮箱的自动回复邮件。您好,您的邮件我已收到,我将尽快回复!谢谢!

carrotshub avatar Dec 06 '22 08:12 carrotshub