ilogtail icon indicating copy to clipboard operation
ilogtail copied to clipboard

[FEATURE]: iLogtail support oss Flusher

Open pj1987111 opened this issue 1 year ago • 5 comments

pj1987111 avatar Apr 15 '23 07:04 pj1987111

I'm very interested, can you assign this task to me?

wlazjr avatar May 10 '23 02:05 wlazjr

I'm very interested, can you assign this task to me?

sorry,I am currently working on this task.

pj1987111 avatar May 10 '23 11:05 pj1987111

we need this function

renhao-0518 avatar May 12 '23 02:05 renhao-0518

参数 类型 是否必选 说明
Bucket String Oss Bucket名
Endpoint String Oss接口自定义Endpoint。
KeyFormat String Object key格式,支持动态变量。多节点下需要保证每次上传文件名不冲突。
ContentKey String 日志数据字段名。
Encoding String 声明Object的编码方式。
identity(默认值):表示Object未经过压缩或编码。
gzip:表示Object采用Lempel-Ziv(LZ77)压缩算法以及32位CRC校验的编码方式。
compress:表示Object采用Lempel-Ziv-Welch(LZW)压缩算法的编码方式。
deflate:表示Object采用zlib结构和deflate压缩算法的编码方式。
br:表示Object采用Brotli算法的编码方式。
ObjectAcl String 指定OSS创建Object时的访问权限。
default(默认):Object遵循所在存储空间的访问权限。
private:Object是私有资源。只有Object的拥有者和授权用户有该Object的读写权限,其他用户没有权限操作该Object。
public-read:Object是公共读资源。只有Object的拥有者和授权用户有该Object的读写权限,其他用户只有该Object的读权限。
public-read-write:Object是公共读写资源。所有用户都有该Object的读写权限。
ObjectStorageClass String 指定Object的存储类型。
Standard:标准存储(默认)
IA:低频访问
Archive:归档存储
ColdArchive:冷归档存储
DeepColdArchive:极冷归档存储
Tagging String 以键值对(Key-Value)的形式指定Object的标签信息,可同时设置多个标签,例如TagA=A&TagB=B。
MaximumFileSize Int 文件上传的大小上限(MB),当超过后会将之前的文件重命名,并上传新的文件,默认大小4096
Convert Struct ilogtail数据转换协议配置
Convert.Protocol String ilogtail数据转换协议,kafka flusher 可选值:custom_single,otlp_log_v1。默认值:custom_single
Convert.Encoding String ilogtail flusher数据转换编码,可选值:jsonnoneprotobuf,默认值:json
Convert.TagFieldsRename Map 对日志中tags中的json字段重命名
Convert.ProtocolFieldsRename Map ilogtail日志协议字段重命名,可当前可重命名的字段:contents,tagstime
Authentication Struct OSS 连接访问认证配置,优先会读取环境变量中OSS_ACCESS_KEY_ID、OSS_ACCESS_KEY_SECRET变量值,若没有才会读取 Authentication结构下的ak和sk
Authentication.PlainText.AccessKeyId String OSS AccessKeyId
Authentication.PlainText.AccessKeySecret String OSS AccessKeySecret

pj1987111 avatar Jul 02 '23 14:07 pj1987111

催更催更~

liangry avatar Jul 19 '23 02:07 liangry