默认配置好了java的环境变量，默认下载了spark的spark-3.0.0-bin-hadoop3.2.tgz安装包和jackson-databind-2.10.1.jar包，默认python版本3.6-3.8spark包解压到D盘的spark文件夹下，同时在这个文件夹下创建jara文件夹和log文件夹，其中jara文件夹里面装了jar包。 sp…
正常关闭顺序 /usr/local/spark/sbin/stop-all.sh hbase-daemon.sh stop thrift stop-hbase.sh stop-all.sh zkServer.sh stop//这个要三台机器都分别停止，别的只要在主节点hadoop01就可以了 保存镜像 由于我们是Docker搭建，所以我们可以每次都…
spark没搭建好的可以查看之前的教程https://abytelalala.cn/index.php/2024/06/26/%e5%9f%ba%e4%ba%8eubentu%e4%b8%8adocker%ef%bc%8chbase%e7%9a%84spark%e9%83%a8%e7%bd%b2/ 首先进入hadoop01 docker exec …
修改02，03机器上的myid docker start hadoop01 hadoop02 hadoop03 docker exec -it hadoop01 bash exit docker exec -it hadoop02 bash //分别在不同终端运行 cd /usr/local/zookeeper/data nano myid 将其m…
当时docker镜像之后，重新启动，发现遇到很多问题，无奈之下，送给他一个日志与临时文件删除大礼包 删除 rm -rf /usr/local/hadoop/tmp/hdfs/* rm -rf /usr/local/hadoop/logs/* rm -rf /usr/local/zookeeper/dataDir/* rm -rf /usr/loca…
如果前面没搭建docker，详情请看这篇文章：https://abytelalala.cn/index.php/2024/06/24/ubentu%e4%bb%8e%e9%9b%b6%e5%bc%80%e5%a7%8b%e9%83%a8%e7%bd%b2docker/ nano /etc/docker/daemon.json 写入如下三行内容 { …
如果没搭建hbase，详情请看这篇https://abytelalala.cn/index.php/2024/06/26/%e5%9f%ba%e4%ba%8eubentudocker%e6%90%ad%e5%bb%bahadoop%ef%bc%8czookeeper%ef%bc%8chbase/ 安装包 下载安装包scala-2.12.13.tgz…
如果前面没搭建docker，详情请看这篇文章：https://abytelalala.cn/index.php/2024/06/24/ubentu%e4%bb%8e%e9%9b%b6%e5%bc%80%e5%a7%8b%e9%83%a8%e7%bd%b2docker/ nano /etc/docker/daemon.json 写入如下三行内容 { …
ubuntu sudo passwd root su - apt update apt upgrade apt install net-tools apt install nano apt install openssh-server ifconfig //查看ip之后，可以ssh远程连接了。如果你用的是虚拟机，就不用在难看卡顿的ubentu里了。…