EDA365欢迎您登录！
您需要 登录 才可以下载或查看，没有帐号？注册
x
一、个人为什么要搭建一个统一研发平台1、为了有方向感，不迷茫，不浪费时间，有可行的学习计划 上大学的时候，就开始学习计算机，从基础的Java到Java web，再到框架，再到在学校接一些小项目，如企业网站，兼职网，报名网站等，这几步路大概走了2年左右，而在学完两年之后，人还是很迷茫，方向感还不是特别强，而在找方向和突破迷茫上面，走过了很多弯路，终于找到点方向。后来才发现，很多这个专业的同学，可能毕业几年之后，依然还找不到方向和定位，东学一点西学一点，很浪费时间，可能醒悟的时候，已经过了3~5年，很难再转回头。 2、为了在工作和学习过得中不断积累和提高学习效率 学习和工作的几年里，几乎每个项目，资料，文档，规范都是有共性的，而由于各个项目的不统一，在接收新项目的，几乎都从零开始，一些非功能性需求的建设已经占去了实际项目的很多时间，投入需求建设的时间其实没多少，最简单的，代码的CURD都是一样，自己在做的时候，针对每个项目都有改进，比如这个项目统一了CURD，那个项目梳理出了公共代码，但是项目是分开的，最终新的项目，也是从零开始或者复制，再加上人工，手工，人肉运维，不断的繁琐而简单的工作的学习中无法脱身，影响进入下一步学习。这类似于温水煮青蛙，没有感觉，可能慢慢拖死自己，特别是做项目的前两年，除了数据的添加删除，还是这些。重复开发，无法共用这些都消耗了很长的时间。比如一直想学大数据，但是由于没有好的平台依托，目前还是无法投入学习。 3、为了可以总结和反思，可以不断的打磨出一个平台，一个产品或者一个精品 这几年的工作和学习中，有很多都是在学习，在努力，也很上进，资料有不计其数，但是却在用的时候，没有深入或者精通某一个模块，最常见的，连自己精通的模块都无法界定，不自信，没有自己的深入心得，比较浮在表面上。自己近乎有两年的状态如此，一直在努力，但是却一直没有达到预期的，别人认可的效果，接触的面好像很多，但是却没有哪一样是完全吃透的。最终发现的原因是没有做好总结和复习，反思，一个知识点以为看过了就懂，但是没有结合实际进行提炼与打磨，没有吃透，就往下一个模块，最终导致好像不断的在捡东西，但最终这些东西都不是自己的。所以需要打磨自己的东西，能谈出自己心得，这就是自己的产品，就是自己的精品，或者自己就一个精品。 4、为了扩大自己的视野和学习心态，开放心态 学习中最怕和就是无沟通与交流，没有他人的指点和自己的固步自封，坐井观天等心态，在学得一些技术之后，开始自以为自，然后偏向于安逸。明显，这种心态自己曾经有过，而且持续很长一段时间。这间接造成不管是沟通、技术方面都慢慢出现问题。自己一直相信，心态有多开放，有多宽容，帮助的人越多，自己也才更好的成长，不管是技术还是管理，包括生活等。 二、个人需要搭建怎么样的研发平台来学习1、可以随时随地的学习，只要有网络和电脑，就可以学习 闲碎的时间常常存在，比如学校上机，看手机，还有一些无聊的聚会，甚至上厕所，这些都要能可以用来学习，网络现在无处不在，有个手机就可以上网，所以这些时间要能充分利用起来。 2、可以好的工具和学习环境 学习过程，工具的成熟度和熟练程度很多时间影响到自己的学习效率。比如vim的配置使用，熟练之后，不管在编辑和代码方面，速度都比一般的操作快得多。还有jenkins，在这个工具上不断的学习和积累，不管是配置和权限，发布，运维，分布式都能很大的帮助，同时节省很多时间。 3、可以不断的学习目标，最好从基础程序员到总监 学习有一个从零开始，到不断往上的过程，并且有目标，知道每个目标阶段需要什么样的技术，能力，成长时间等，做到心知肚明，不浪费多余时间 。可以不断的有学习积累，在积累上由量变到质变 5、可以不断的跟外界沟通交流，避免闭门造车，固步自封 需要不断的与外部学习，获取到外部的建议，看到自己的不足，同时也看到自己的优点。在自己不断学习的过程中，同时不断的成果，并让别人看到，给自己提建议，在自己把自己的思路成果对外贡献的同时，别人也一样帮自己提升。 三、研发平台怎么搭建，搭建到什么样的程度搭建的思路都是先有一稿，然后再后期慢慢在这一稿上面做好优化，同时参考当前社会主流技术，便于学习。 1、制定整体学习规划和学习路线，技术路线和成长规划 平台构建过程中，产生大量的技术产物和管理产物，而在大量的项目过程中，同时也会产生大量的问题导致过程中细节的不完善，人为的不完善及限制，导致平台无法正常管理和运维，开发平台的管理规划即针对整体平台的运维管理进行的建议，以达到管理统一有序，过程明确，产物明确，目标明确等 从需求->准备->组织->开发<->内部测试<->用户测试<->自动测试->生产(试运行)->生产->运维整个流程完善，每个流程中又包括多个工作，如需求管理，同时每个工具必然有一定的产物，如需求管理的产物是需求管理基线和需求文档。 序号 模块 功能 产物 备注
# d8 h2 W) }3 x! [1需求需求管理管理基线 # w1 u/ M8 t* G+ H% [' r8 _' W
2需求组织分工需求人员管理表
# v6 a' d- F" F2 {6 H, p3需求需求变更
" _+ N. h: Y2 w$ b9 m- o1 ]' @! p4需求需求确认需求文档
5 w/ w6 v2 Q2 E" \% B& E5需求需求分配 ' z& P2 B; G3 r
6准备工具准备工具管理文档 & c( a% W% K, R( W4 x+ C
7准备组织结构人员资源清单 , P2 H5 ^" V6 `: S8 K0 [( i
8准备环境准备开发基线/文档管理基线
7 w4 ]( D, @8 R G$ ~3 H9准备资源准备
" \& ~* L5 o* x8 h& ?) n10准备基线准备 . [* g" H: g/ r- z, {: ^$ B
11组织人员资源人员资源准备
: A! x. o! X: I9 J3 D12组织开发管理
1 L, e% r3 c+ u1 O1 l m, `9 Y13组织沟通管理
9 Z Q% w( h9 Y: z5 B14组织角色分工角色分工及联系沟通表 ) x {* M' L) m
15组织版本管理
4 Y0 ~6 E# M3 v# a9 U16开发开发培训 - y* @7 n0 v- M- I" F2 d
17开发开发管理
. [2 p" y8 H% [' d2 F18开发单元测试 p* U5 } q6 \# ?* H' E: [1 _+ j
19开发开发流程
8 F( _/ s$ s4 f$ y6 M4 c20开发部署管理
, l6 R, p% E" R' x21开发问题处理 & w6 P' ?! z" f- _5 i# v
22测试(内部)内部测试 # |7 |* |. E2 M! m$ I6 H
23测试(内部)组织机构 1 K' N3 b0 Y7 r8 W
24测试(内部)问题反馈 # I% ^( y2 C9 j7 w! _- b5 F
25测试(内部)Bug管理
- K, K: {( M! ?26测试(内部)接口测试 & ?: r* x& s% K9 }
27测试(内部)功能测试 9 n% K$ ]" G; Z8 c7 k
28测试(内部)集成测试
( h0 x8 R+ J6 t S$ P0 K29测试(用户)业务测试 1 d$ T' D" s) \% j ]) T( B P
30测试(用户)问题反馈 " W( V* G+ l, K m
31测试(用户)Bug管理 6 X5 U3 i3 S! K( o( t
32测试(用户)问题反馈
& y; s' t# C2 Y+ p3 M" v3 L2 r' ^33测试(用户)测试报告
( H+ o) e& x, c) m. Z3 c. }* {1 T, ?34测试(用户)版本管理
8 ~0 o$ T' z6 C: \* a+ q% B35测试(自动)测试配置 * b; L( A( U9 i/ H0 @3 h
36测试(自动)压力测试
# Z4 |5 N2 o" d1 R37测试(自动)安全扫描 + i* X; [7 s6 _* x& x
38测试(自动)功能测试测试报告 0 t$ }; y: U! H8 Q
39测试(自动)安全测试安全报告
1 f$ I. ?7 l( {8 B" ]40测试(自动)压力测试压力报告 5 J4 k* o7 |: W: B3 ?2 U
41生产(试运行)切换计划
* f# b0 b' k6 X# q42生产(试运行)工单管理
) a7 N9 E7 i2 v6 r43生产(试运行)账号管理
8 J0 ~& f, q' {0 p+ Y" s9 w44生产(试运行)安全管理
7 Z6 ?% ]3 B; I0 x45生产(正式)运维监控
* m9 n7 |" C9 G2 Y' ^& S1 M46生产(正式)工单管理 0 Y# r8 \& j. Z; \2 j) c* S
47生产(正式)日志管理) w, q# G& T1 H0 S/ \2 ~
为达到以上的要求，也为了过程有记录和沉淀，考虑一些必要性的管理工具，暂时考虑以下几个工具： 序号 说明 技术 版本 备注
' V" n- \0 _; ~: H: N# J# `" _1文档管理GitBook 企业内部做好考虑，团队未必每个人都能接受markdown
1 @1 I( W% l$ r( Y i" Q) Z% v2Wiki管理GitBook 企业内部做好考虑，团队未必每个人都能接受markdown" M0 t+ v$ y9 w
3开发过程管理Jira
9 ]4 g& m' z' { d* ^4开发工具管理百度网盘 公司内部建议使用FTP或者内部文件系统% @9 p0 B+ ^& m% { S2 ?
5邮件通知163邮箱 建议使用企业内部邮箱! c6 k5 @7 S/ G9 B
以下为文档管理基线示例 ![]()
2、制定持续集成环境，为学习提供基础的准备和提升效率 持续集成他一套比较成熟的自动化研发解决方案，使用也有几年时间，不同的人有不同的设计，有些可能只是发布工程，这里针对于需求、开发、测试、文档、运维几个维度，进行了整合，同时也制定和管理方案，以达到基础规范 – 组织结构 – 基础架构 – 业务开发 – 持续集成– 自动化部署 – 自动化测试 – 生产运维监控 – 在线升级 几个方向自动化，这里不得不提一下Jenkins+git，确实是整个自动化的核心。目前考虑了一下这些工具，针对于开发的： 序号 说明 技术 版本 备注
% I! x: S$ h! M3 D& r5 e, J+ u1代码管理Git(gitee)2.17.1企业内部建议使用gitlab(更能满足需求)6 A3 Z& ^' q: Z7 B+ Q7 ^- C& \
5代码管理客户端SourceTree2.7.6 5 a* G- g& u$ s% b8 _
2自动部署工具Jenkins2.107.1不建议使用太新版本7 {3 F; J h& X% z, g U' l0 S
3私服库Nexus2.14.1不建议使用3.x版本
7 u" W* r1 L6 @; {* _$ P2 t3构建工具Maven3.6.0 : N5 `! `, b0 E* M5 \( O( v
4代码检测Sonar5.x不建议使用太新版本7 P1 L7 K2 u! s# I
5镜像管理Harbor1.5.2
9 K9 x$ i) L5 I4 g( q1 X- J6镜像容器Docker1.12.1 , ^( T5 M1 |- i3 e3 M) y J/ ^
7容器管理Kubernetes1.10不建议使用太高版本,跟着社区走2 M, s% z& G& }* W: ]7 X6 w6 x
自动化持续集成的效果如下： ![]()
文档持续集成效果如下: ![]()
3、下载和整理软件工具，整理软件工具版本 基础环境完善及配置，为整个开发平台做基础，以环境搭建为主,为本地开发环境。 使用的阿里云服务器规划如下： 序号 作用 服务器资源(系统/内存/硬盘) IP规划 备注 ) W( G1 j' u4 k2 x9 L: c2 t
1开发服务器_masterCentOS7.4_x64_4G_40G192.168.1.110 1 q( F3 Y1 V2 L* l, t% O
2开发服务器_slaveCentOS7.4_x64_2G_40G192.168.1.111
9 V3 E9 M0 c5 e8 v3开发服务器_slaveCentOS7.4_x64_1G_40G192.168.1.112
0 s+ t( r6 B; T% R4 R G规划的使用工具如下： 序号 说明 工具 IP 是否集群 文档完善进度 备注 2 L7 t$ }4 V: ^ R2 p- N2 I
1基础环境JDK172.18.11.17单点已完善 ' \2 Y9 \) \2 V- t, m U. M2 I
8反向代理Nginx172.18.11.17单点已完善 7 X% K- }; `4 [) l, b% @
11自动部署工具Jenkins172.18.11.17单点完善中
' Q$ e& f7 v% }8 i12私服库Nexus172.18.11.17单点已完善 7 o5 Z) f3 c1 m) G# ]' x
17链接跟踪skywalking172.18.11.17单点 # m# h6 c! t* b, t" }# `. K) o4 h
13代码检测Sonar172.18.11.17单点 6 ^# u; Y. }- E% w$ J* o
2缓存工具Redis172.18.11.17单点已完善
+ s5 u2 v( U5 p4消息列表Kafka172.18.11.17单点已完善 ' ]4 X1 C8 a y d4 k$ p- y
10分布式注册中心zeekeeper172.18.11.17单点完善中 * B2 Y ?& H/ Z- j/ b3 a4 m) N
6分布式注册中心Eurake172.18.11.139单点
% {. b/ l5 ~/ i; w/ l4 I8 f9 a10分页式配置中心Apollo172.18.11.139单点 : _; s% C/ f7 A2 a8 v
6数据库MySQL172.18.11.139单点已完善 4 z0 n' V- O @8 w j; U
1开发过程管理Jira192.168.1.120集群
' H/ A. u3 e9 s6 {3Redis监控工具Redmon192.168.1.119单点 7 F) ?5 x% W6 A/ B7 f) b
5消息管理工具Kafka-Manager192.168.1.119单点
; _6 @6 m! E1 B+ X& V! R( V0 a7数据库主从MyCAT192.168.1.111/112集群 - X& A7 j( Z. q D
7容器管理Kubernetes192.168.1.1110/111/112集群 ! ~/ k1 H# n( o, @3 p* ]2 v. Y- ]& z
9高可用KeepAlived192.168.1.110/111/112集群
2 ]& p; }# E9 O ]* A5 i14镜像管理Harbor192.168.1.110单点
" h M$ \1 F4 ^5 `& ^15自动部署Ansible192.168.1.119单点 ! i6 f; v2 p8 p( J, a6 [+ Y
16自动部署管理Ansible Tower192.168.1.119单点 * j# U" L* j; ?. E. w4 m! v
17链接跟踪pinpoint192.168.1.119单点
% d l; K- J; S2 ^# v. ^18日志监控elk192.168.1.119集群
$ a8 B& x+ Y5 t6 Z' Z. v19服务器监控Zabbix192.168.1.119单点
& U% }3 R7 z: @$ ?6 f' o3 b, l% T) I- X: F! Z
4、规划平台非功能性需求组件，包括基础组件等 功能重用，组件重用，目前最好的技术承载就是微服务了，这也是这几年才出现，这样规划研发平台构架，对我而言，微服务架构自然成为不二的选择（后面的中台业务也是在微服务上进行进程创建） 服务设计原则 服务单库设计,以减少迁移，服务之前影响等；
; ^ d7 ]. p+ X) p% o5 k基础服务只为调用设计，位于服务的底层或者中间层，基础服务禁止调用业务服务；7 ^) a0 R# r+ W# k3 |) P+ X7 q
业务服务调用基础服务，或者其它服务，业务服务为服务的顶层，用于定制化业务；
) o* i$ E/ S6 g% Z( S同一级服务之间可以互相调用，只能自下往下调用，平级调用，禁止自下往上调用，以避免服务混乱及维护混乱。
7 m# m& \! z# M' ?) K. n每种服务目录按999个服务规划 服务设计规划 类型 目录名称 说明 备注 & a# t8 C+ ?- }. `0 E2 B8 i
教程示例服务做示例工程，包含有所有服务调用示例 9 o4 W3 U0 z; V
前端应用门户服务与中台服务同级，用于统一门户服务 1 l- ^3 R. F9 L- Z/ P6 W( n- \
前端应用应用服务前端应用或者手机应用
( @1 C4 `' H) j9 X网关应用网关服务对外网关服务,与平台组件同级，但仅做为网关部分 % g8 o: a- b! T- N# \, a
中台服务中台服务服务于前端应用，处理业务，可以服务之间互相调用，或者调用基础服务 , Z6 N A o& x
基础服务基础服务公用基础组件，只能被调用或者调用公共或者组件包,不能主动调用其它服务
+ \5 Q# X6 G: a$ e基础服务公共服务基础公共包,所有工程的基础，包括配置，页面，核心包等 1 Q( Y! C7 x% a
基础服务组件服务基础组件包，用于第三方等，组件包不能单独运行，只能被依赖
& z% K2 q# ]( ^/ i" [) V( p, v运维环境监控服务监控平台，用于运维平台，目前仅规划,有可能与平台服务合并一起
9 m0 E9 B+ J) s3 d7 O0 L7 A运维环境平台服务包括注册中心，配置中心等* R. w9 E; x, s) J+ \9 P
工程目录规划 关于命名方向，一直不知道用什么名字比较合适，所以使用自己网站的域名。 序号 目录名称 目录规划 端口规划 权限 备注
- S; x. ~4 H* U6 y1公共服务alinesno-cloud-common 研发
2 y' K- v1 _# A9 q2组件服务alinesno-cloud-component 研发
% Q' Y1 |$ A1 a3平台服务alinesno-cloud-platform24000+研发 ( [. s3 u% ]- N: }. l1 [' |3 ?
4基础服务alinesno-cloud-base25000+研发
" r; S* H& ?* k/ L4 R5 \; f9 d5业务服务alinesno-cloud-business26000+开发
- `3 q1 m' @) d1 i$ K% C6门户服务alinesno-cloud-portal27000+研发
. N: Z2 R: t8 A# w' P7网关服务alinesno-cloud-gate28000+开发 . l- S9 ~# N( P# c
8应用服务alinesno-cloud-web34000+开发
' D j# K! @! ^9监控服务alinesno-cloud-monitor35000+研发 ( D/ o, Y; z/ ~* t" `
10示例服务alinesno-cloud-demo30000+研发置于guide基线. H% e+ g7 K# g; i& D% d( v
5、提取出业务中台规划，并完善组件，打磨中台业务产品 上面也提到，业务中台也是在微服务上面构建，设计原则加上了几个点，分别如下： 按“重中台”+”轻应用”设计，业务应用逻辑思路放在前端应用，推荐是尽量减少或不拆分前端服务;0 z, L; T# E* ]3 E
重中台的建设，在于前端应用共性部分的抽取和后期的沉淀，形成中台业务服务;
% s& Z3 ]7 |8 W& w- G中台服务调用基础服务，或者其它同级服务，中台服务为服务的中层，用于业务共性(共享)抽取； 整体中台的业务架构如下： ![]()
中台业务架构设计 中台业务建设目标如下 ![]()
中台业务建设目标 6、统一和通用的权限配置系统和界面设计 这个就是通用的，只需要在配置平台添加好菜单，分配好账号权限，本地开发只需要账户就可以进行本地开发，配置平台包括的一些功能规划如下： 应用管理：用于配置系统应用，添加和删除管理。- ^( [! D v) v7 E* U
用户管理：用户是系统操作者，该功能主要完成系统用户配置。
. o8 S4 \) C* t/ H7 _5 U( |* K+ g部门管理：配置系统组织机构（公司、部门、小组），树结构展现支持数据权限。9 x' f! U! D) d' w4 Z7 S
岗位管理：配置系统用户所属担任职务。4 n- ]& N7 j0 C* R8 }4 |/ k
菜单管理：配置系统菜单，操作权限，按钮权限标识等。
% I* Z, v. ?4 A- m6 k角色管理：角色菜单权限分配、设置角色按机构进行数据范围权限划分。) v/ |4 W' X Y
字典管理：对系统中经常使用的一些较为固定的数据进行维护。5 p/ E/ Z2 A: W8 A
参数管理：对系统动态配置常用参数。
3 Y* U. @1 ]3 _ s6 v: w通知公告：系统通知公告信息发布维护。. A1 e" X5 |2 W2 q& q: H7 e6 L2 s
操作日志：系统正常操作日志记录和查询；系统异常信息日志记录和查询。
( b* A" K+ O: V+ a3 U1 q; `% [: N登录日志：系统登录日志记录查询包含登录异常。7 \+ k" Q0 E5 b" b2 T2 r4 T2 p {
在线用户：当前系统中活跃用户状态监控。2 p* K9 p @ H8 h8 t9 }9 f8 l
定时任务：在线（添加、修改、删除)任务调度包含执行结果日志。5 Q; R; s/ g% |1 ~0 g2 y
代码生成：前后端代码的生成（java、html、xml、sql)支持CRUD下载 。 然后大概的设计如下： ![]()
开发人员的开发流程如下： ![]()
7、完善软件组件辅助，包括测试、运维、环境管理 以上组件的搭建过程，如果一个人管理，会产生很多问题，同时延伸出其它方向的建设，其中包括最基础的服务器管理和服务预警方向，安全策略管理，平台整体入口和常用文档，功能，平台组件的质量保证，即运维、机房环境，测试这几块。在建设统一研发平台的同时，也自然包括建设这些内容，大概做了一些建设工作，以下为一些设计的示例。 机房服务器管理系统 ![]()
机房管理系统，针对云系统和服务部署的管理 平台统一门户管理 - 4 ]' G# M, l' O: `
( y+ O, p! u; C0 Y7 c7 ?7 c
其它的建议，如包括人才培养，大数据，人工智能，项目管理，都是在研发平台中慢慢积累和培养的产物，而最终的结果是为了整理出一套完整的企业统一研发平台。 四、总结以上为目前搭建整体个人整体研发平台的思路和设计，一个优秀的研发人员的工作并非只是编制代码，更多的是自己能做什么，完成什么，有什么价值，能帮别人做什么。 ; d$ k6 A' }8 h* P t
| 
/1 
发表于 2020-8-13 13:54
收藏
淘帖
支持！
反对！