分类： 数据治理

19 篇文章

搭建作业文件服务器
|
384
|
0
|
框架项目,环境搭建

518 字
|
22 分钟
apt install npmapt install nodejsmkdir file-servercd file-servernpm init -ynpm install express multer mysql2npm install uuidnpm install bcryptjsmysql -u root ALTER USER 'root'…
利用pydoop将mysql导入hdfs
|
455
|
0
|
数据治理

87 字
|
2 分钟
首先配置环境变量nano ~/.bashrc，添加下面这几行 export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$PATH export HADOOP_CLASSPATH=$HADOOP_HOME/etc/hadoop:$HADOOP_HOME/share/hadoo…
hadoop
Pycharm安装激活教程
|
681
|
0
|
环境搭建

98 字
|
1 分钟内
Download PyCharm: The Python IDE for data science and web development by JetBrains 点击右下角other versions可以切换版本，然后download 就行了，双击下载好的exe，跟着向导一步步安装就行。 激活码： SFXUSA86FM-eyJsaWNlbnNl…
Portainer(docker可视化软件)部署
|
406
|
0
|
环境搭建

2 字
|
几秒读完
docker volume create portainer_db docker run -d -p 8888:8000 -p 9999:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/dat…
docker
docker部署mysql
|
350
|
0
|
环境搭建

9 字
|
几秒读完
docker pull mysql:5.7 docker run -d -p 401:3306 -p 402:8084 -p 403:6379 -it -h mysql01 --name mysql01 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7 然后用就行了
数据治理开发工具编写
|
382
|
0
|
数据治理,解决问题

864 字
|
4 分钟
之前老师给我的python团队一个功能列表，用python实现数据清洗，调用计算，数据导入，数据导出，表操作等功能。前几天突然提起要把程序封装到一起，打包成一个exe文件并做授权，苦思冥想一夜，想了一下大概的产品结构，确定好架构图。于是我们小组开始疯狂的写第一版的基础功能软件，这其中遇到一些问题。 1.多用户操作 举个例子，我刚开始，在数据传递上，…
hadoop
服务器上spark使用python脚本封装为api
|
342
|
0
|
数据治理

255 字
|
5 分钟
有一个需求是实现把python脚本提交为spark任务封装为api，这里思路是用一个flask框架，传递json参数是脚本文件路径和名称，这样api就知道要执行哪个脚本了。关闭也是一样，用json参数传递一个关闭动作，api服务就关闭了。 api.py from flask import Flask, request, jsonify import…