数据治理开发工具编写

之前老师给我的python团队一个功能列表,用python实现数据清洗,调用计算,数据导入,数据导出,表操作等功能。前几天突然提起要把程序封装到一起,打包成一个exe文件并做授权,苦思冥想一夜,想了一下大概的产品结构,确定好架构图。于是我们小组开始疯狂的写第一版的基础功能软件,这其中遇到一些问题。

1.多用户操作

举个例子,我刚开始,在数据传递上,hbase连接信息作为参数发给api,我没有考虑一个多用户操作会覆盖的情况,因为正常来说传给服务端数据库信息参数,原先架构的逻辑下,在用户下一个操作这个时间段都不能修改传过来的数据库连接。但是原先逻辑是下一个用户假如也在操作就会覆盖掉这个数据库连接文件,所以不合理。本来正常应该做一个注册功能,用来区分每个用户的数据库连接文件,现在产品加急,我们就选择了一个简单的方法——每个用户访问api的时候都会带着自己的id,这样在后端就能根据id找对应的数据库连接了。

2.架构

关于架构部分,由于时间紧迫加上是第一次架构,关于整体流程实在是不堪一视,导致本来开发流程两三天大家就能开发完成的,但由于逻辑交付还有团队冗余等待的时间周期就比较长,占比时间比较大,所以还是浪费了一些没必要的时间,希望下次还有这样的机会历练时,一定要注重架构流程,应用逻辑和中间层。

3.GUI设计

这个设计应该尽量人性化一点,就是尽量少弄子页面。举个例子,我们这个子页面就特别多,到了五级页面都,不太适合用户操作,但是navicat的页面就很好用,我们后来返工的时候就仿照navicat的页面重新弄。还有一个事情就是,GUI简单的话,尽量是一个人来编写,他只需要知道传什么参数就可以了,不然后期多个人把gui合到一起的时间都赶的上重构一遍的时间了。

4.队列设计

这个设计一定要最先开始把功能什么的确定好,编写每个GUI和API的时候要做到这点。要不然后面再加就很麻烦,就是把每个函数加入到celery队列中。

5.数据镜像

我们的工具有数据回退功能,关于数据镜像,我们在服务器mysql有一个整体的管理映射表,这个表记录了每个镜像的创建时间,对应的表名,和镜像名字,然后可以把对应的镜像提取到我们的数据库里。

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇