Metamorphosis

Metamorphosis copied to clipboard

metaSpout过大数据不准确

1

@killme2008 我们一个分析日志的应用，会统计日志里面的某个字段的出现次数，最后将结果存入数据库。数据分区开了10个。 1、在设置metaSpout的时候设置了48个。测试数据发送了100条，结果数据比实际数据多出一部分，多次测试，数据不一样但都不准确 2、其他不变条件不变，减少metaSpout的数量（测试了10，11），结果准确。

gongweijun86

关于Comsumer重连问题

5

在生产环境运行过程中，偶尔因为网络问题，导致Consumer一直报下面的错误 2014-08-28 13:21:53 ERROR SimpleFetchManager - 获取消息失败,topic=Disc,partition=0 com.taobao.metamorphosis.exception.MetaOpeartionTimeoutException: Send message timeout in 10000 mills at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer.fetch(SimpleMessageConsumer.java:372) ~[metamorphosis-client-1.4.6.2.jar:na] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.processRequest(SimpleFetchManager.java:227) [metamorphosis-client-1.4.6.2.jar:na] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.run(SimpleFetchManager.java:215) [metamorphosis-client-1.4.6.2.jar:na] at java.lang.Thread.run(Thread.java:662) [na:1.6.0_45] 2014-08-28 13:21:53 ERROR SimpleFetchManager...

lnj2050

Metamorphosis 分布式事务支持

1

请问 Metamorphosis 是否支持分布式事务？看了下example 下的实例代码，都是本地事务。

yllions

53693 [storm-test-fetch-Runner-0] ERROR c.t.m.c.c.SimpleFetchManager - Process messages failed,topic=test,partition=1 java.lang.RuntimeException: MetaSpout -- Obtain data fail! at com.heetian.bigdata.storm.spout.MetaSpout$1.recieveMessages(MetaSpout.java:139) ~[metaq-storm-0.0.1-SNAPSHOT.jar:?] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.processReceiveMessage(SimpleFetchManager.java:415) [metamorphosis-client-1.4.6.2.jar:?] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.receiveMessages(SimpleFetchManager.java:362) [metamorphosis-client-1.4.6.2.jar:?] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.notifyListener(SimpleFetchManager.java:324) [metamorphosis-client-1.4.6.2.jar:?] at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.processRequest(SimpleFetchManager.java:232) [metamorphosis-client-1.4.6.2.jar:?] at...

xyxiaoyou

请问为什么第一次保存数据库时，group_id的值后面会跟上一串Thread字符串，而更新数据库时，group_id是根据正常的meta-example来更新呢？导致一直无法更新操作？

humnchou

问题：Could not rename temp file to C:\Users\Administrator.meta_offsets 看LocalOffsetStorage源码后得知，tmpFile.renameTo(new File(this.filePath))，这段断码一直报错，因为.meta_offsets一开始就创建了，然后rename到存在的文件下就报错，请问这是什么问题？谢谢啊！

humnchou

目前我有三台metaq和zookeeper提供服务。 Producer1 注册了topic A group testGroup Producer2 注册了topic B group testGroup Producer3 注册了topic C group testGroup Consumer1 extends DefaultMessageListener 订阅了 A,B, Consumer2 extends DefaultMessageListener 订阅了 A,C Consumer3 extends DefaultMessageListener 订阅了...

107192468

com.taobao.metamorphosis.exception.MetaOpeartionTimeoutException: Send message timeout in 300000 mills at com.taobao.metamorphosis.client.consumer.SimpleMessageConsumer.fetch(SimpleMessageConsumer.java:372) at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.processRequest(SimpleFetchManager.java:227) at com.taobao.metamorphosis.client.consumer.SimpleFetchManager$FetchRequestRunner.run(SimpleFetchManager.java:215) at java.lang.Thread.run(Thread.java:745)

wuguangxue

对于共享订阅者配置方式，messageConsumer没有被创建 ``` xml ``` MessageListenerContainer 类 ``` java public void afterPropertiesSet() throws Exception { log.info("Start to initialize message listener container."); if (this.subscribers != null) { Set consumers = new HashSet();...

songshaopu

关于consumer 安全消费的问题

1

订阅的时候 maxsize 设置过小，会影响安全消费吗？ maxsize 和 fetchRunnerCount 怎么设置合理？消费的时候要注意些什么？

mylovemaliang