之前老师给我的python团队一个功能列表，用python实现数据清洗，调用计算，数据导入，数据导出，表操作等功能。前几天突然提起要把程序封装到一起，打包成一个exe文件并做授权，苦思冥想一夜，想了一下大概的产品结构，确定好架构图。于是我们小组开始疯狂的写第一版的基础功能软件，这其中遇到一些问题。 1.多用户操作 举个例子，我刚开始，在数据传递上，…

有一个需求是实现把python脚本提交为spark任务封装为api，这里思路是用一个flask框架，传递json参数是脚本文件路径和名称，这样api就知道要执行哪个脚本了。关闭也是一样，用json参数传递一个关闭动作，api服务就关闭了。 api.py from flask import Flask, request, jsonify import…

首先看python解释器路径： import sys print(sys.path) 然后直接安装到指定路径就行 pip install 库 --target=上个命令出来的任意一个路径 或者直接用下面这个 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host…

表操作命令： 创建表： create 'table_name', 'column_family1', 'column_family2', ...示例： create 'my_table', 'cf1', 'cf2' 禁用表： disable 'table_name'禁用表后，该表将不再接受读写操作。 启用表： enable 'table_name'…

默认配置好了java的环境变量，默认下载了spark的spark-3.0.0-bin-hadoop3.2.tgz安装包和jackson-databind-2.10.1.jar包，默认python版本3.6-3.8spark包解压到D盘的spark文件夹下，同时在这个文件夹下创建jara文件夹和log文件夹，其中jara文件夹里面装了jar包。 sp…

虚拟机运行架构 寄居架构 原生架构

最近是课设周加考试周，要做很多流程图，数据流图，数据库ER图，用visio画的非常的累。上网上查了一下，发现这种一键生成图的方法很少，不然就要花钱，这里介绍了两个免费实用办法。 第一种： 下载一个draw.io，在上面菜单栏有一个功能叫做marmind代码，你把你需要的内容给gpt，说让他生成这个代码的格式，他就给你了。 第二种 直接让gpt给你写…

正常关闭顺序 /usr/local/spark/sbin/stop-all.sh hbase-daemon.sh stop thrift stop-hbase.sh stop-all.sh zkServer.sh stop//这个要三台机器都分别停止，别的只要在主节点hadoop01就可以了 保存镜像 由于我们是Docker搭建，所以我们可以每次都…

spark没搭建好的可以查看之前的教程https://abytelalala.cn/index.php/2024/06/26/%e5%9f%ba%e4%ba%8eubentu%e4%b8%8adocker%ef%bc%8chbase%e7%9a%84spark%e9%83%a8%e7%bd%b2/ 首先进入hadoop01 docker exec …

修改02，03机器上的myid docker start hadoop01 hadoop02 hadoop03 docker exec -it hadoop01 bash exit docker exec -it hadoop02 bash //分别在不同终端运行 cd /usr/local/zookeeper/data nano myid 将其m…