这篇文章没有摘要
首先配置环境变量nano ~/.bashrc，添加下面这几行 export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH export HADOOP_CLASSPATH=$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/share/hadoo…
su - wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz wget https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz wg…
之前老师给我的python团队一个功能列表，用python实现数据清洗，调用计算，数据导入，数据导出，表操作等功能。前几天突然提起要把程序封装到一起，打包成一个exe文件并做授权，苦思冥想一夜，想了一下大概的产品结构，确定好架构图。于是我们小组开始疯狂的写第一版的基础功能软件，这其中遇到一些问题。 1.多用户操作 举个例子，我刚开始，在数据传递上，…
正常关闭顺序 /usr/local/spark/sbin/stop-all.sh hbase-daemon.sh stop thrift stop-hbase.sh stop-all.sh zkServer.sh stop//这个要三台机器都分别停止，别的只要在主节点hadoop01就可以了 保存镜像 由于我们是Docker搭建，所以我们可以每次都…
修改02，03机器上的myid docker start hadoop01 hadoop02 hadoop03 docker exec -it hadoop01 bash exit docker exec -it hadoop02 bash //分别在不同终端运行 cd /usr/local/zookeeper/data nano myid 将其m…
当时docker镜像之后，重新启动，发现遇到很多问题，无奈之下，送给他一个日志与临时文件删除大礼包 删除 rm -rf /usr/local/hadoop/tmp/hdfs/* rm -rf /usr/local/hadoop/logs/* rm -rf /usr/local/zookeeper/dataDir/* rm -rf /usr/loca…
如果前面没搭建docker，详情请看这篇文章：https://abytelalala.cn/index.php/2024/06/24/ubentu%e4%bb%8e%e9%9b%b6%e5%bc%80%e5%a7%8b%e9%83%a8%e7%bd%b2docker/ nano /etc/docker/daemon.json 写入如下三行内容 { …
如果前面没搭建docker，详情请看这篇文章：https://abytelalala.cn/index.php/2024/06/24/ubentu%e4%bb%8e%e9%9b%b6%e5%bc%80%e5%a7%8b%e9%83%a8%e7%bd%b2docker/ nano /etc/docker/daemon.json 写入如下三行内容 { …