Xinjie Chen
Xinjie Chen
@czs0x55aa 您好,问一下,您在您的docker hadoop-master容器里面运行 ``` oozie admin -oozie http://hadoop-master:11000/oozie -status System mode:NORMAL //显示正常结果 ``` 这个命令是正常的吗? 您的Docker是在ubuntu系统上安装的还是在windows系统上安装的呢? 我们自己在windows平台以及ubuntu平台的Docker上安装都是成功的。
@thincamel 您好,请问下您是什么运行不起来呢?是oozie还是EML的首页?,IO_ERROR这个问题可以忽略,是网络连接不稳定原因,不影响oozie和tomcat的启动。
@czs0x55aa 关于上述登录失败问题,是由于工程所依赖的xml-api.jar包的版本问题造成的。在maven依赖中,oozie client和dom4j都包含了xml-api的不同版本的包。上述错误是因为由于包冲突,默认采用了xml-apis1.0.b2 这个包,这个包版本太低会出现上述错误。  目前我们已经在pom中exclude dom4j的低版本的包,并进行重新打包,更新至网盘。您可以在 [google drive disk](https://drive.google.com/open?id=0B5Lj6qkCMBbFWW5uYlJwb2drb1k) or [Baidu Cloud](https://pan.baidu.com/s/1jH6SToy) 的/cluster/config 目录下下载最新的EMLStudio.war包,并将该包通过以下命令拷贝到hadoop-master容器的tomcat目录下重新部署即可。 `docker cp your_dir/EMLStudio.war hadoop-master:/usr/local/tomcat/webapps/ //Copy file from your own entity machine to docker continer` 同时我们已更新pom.xml文件在github工程中,您可以pull一下我们的代码。...
@thincamel 关于您所说描述的: > 参照完成了部署,但oozie服务以及对应页面无法访问 > 执行oozie 命令: > root@hadoop-master:~# oozie admin -oozie http://hadoop-master:11000/oozie -status > Error: IO_ERROR : java.net.ConnectException: Connection refused 您可以按照下述方式重启Oozie。进入Hadoop-master容器,先后执行以下命令,完成Oozie重启 > rm -rf $OOZIE_HOME/logs/* //Clear log directory >...
@zuochenbigdata 恩对的,这个现在会有这个问题,我们正在修复。
@leafage-autumn 你去集群里面所有的机器上安装一下scikit-learn就行了。
@Kenneth-Wong 请仔细查看下启动start-hadoop.sh过程中是否有错误日志
@guanhonly 好的。抱歉啦。忘记更新了。
@mayaoguang **您好。关于您的问题:** 1、请检查一下windows系统下是否能访问docker中的mysql。地址为:ubuntu地址:3306 2、您上述的错误原因为: **开发环境编译运行无法访问docker中的datanode。** 关于这个问题,首先对于ubuntu来说,ubuntu主机能够访问docker中的hadoop-master(Docker自定义的虚拟地址:172.18.0.3)、hadoop-slave1(172.18.0.4)、hadoop-slave2(172.18.0.5)容器;对于windows系统来说,windows主机能够访问ubuntu。但是由于通过Eclipse或IDEA编译运行工程之后,相当于工程部署在windows系统的GWT Server上,任务的提交是通过windows系统进行提交即需要通过windows访问docker中的hdfs。目前的连接关系如下图所示: (1)windows 能连接ubuntu (2)ubuntu能连接Docker中的容器 (3)windows无法连接Docker中的容器(导致无法访问docker中的datanode)  **目前的解决方案** 1、上述开发机无法连接Docker Container的问题,我们目前还没有解决。您可以将EML工程通过maven编译、GWT编译之后打成war包,将war包拷贝到ubuntu系统中(建议用Eclipse进行打包,IDEA打包可能会有问题,具体请参考[Eclipse搭建流程](https://github.com/ICT-BDA/EasyML/issues/18)),再通过以下命令拷贝到docker的tomcat中进行部署访问: `docker cp 工程路径 hadoop-master:/usr/local/tomcat/webapps/` 2、您也可以通过搭建Windows的docker环境,通过[docker toolbox](https://www.docker.com/products/docker-toolbox)安装windows版本的docker,然后搭建虚拟集群,具体请参考[Docker Toolbox安装流程](http://blog.csdn.net/tina_ttl/article/details/51372604)。该toolbox的原理是将docker安装在virtual box的虚拟机上,docker的默认虚拟地址为`192.168.99.100`。 这种方式也会存在无法访问docker datanode的问题,但是可以通过将Virtual Box虚拟机的网关以及windows 的网关改为`192.168.99.100`来解决。 目前我们也在努力解决开发机无法访问Docker容器中的datanode的问题,如果您有合适的解决方案也欢迎一起讨论。
@mayaoguang 您好,您遇到的问题,我们已经解决,具体可参考https://github.com/ICT-BDA/EasyML/wiki/Summary-About-EasyML-Install-Common-Problems 关于IDE部分遇到问题的解决方案。 如您嫌麻烦,也可更新我们网盘中的安装包,我们今天会更新一个新版本解决上述问题。如有任何问题,欢迎向我们反馈,多谢!