当前位置:首页 > 文章 > 正文内容

做微服务研发工程师的一年来的总结

廖万里2年前 (2022-10-27)文章43497

前述

18年的那个留校夏天,极其偶然接触到了《Docker+Kubernetes》,由纯运维的发展方向转到了云原生运维的发展方向。19年5月以《linux helmsman platform》获得IT创新大赛二等奖,其实质是围绕云原生的边侧服务集成部署。20年5月以《基于Kubernetes的舵手集群系统的设计与实现》获得河南省优秀毕业论文,其实质是在《linux helmsman platform》的基础上进行补丁而成。20年6月初在创业型公司做唯一的云原生运维,那是段足以影响一生的经历:https://www.cnblogs.com/zisefeizhu/p/14601287.html 。
21年6月底极其偶然的机会(面的kubernetes运维岗,入职了微服务研发工程师岗)来到这家公司以微服务研发工程师的角色实质开启纯研发历程,至今已一年有余。在项目空闲期回忆这一年的路程,承上启下。

一年来做的项目

这一年来重点围绕以下项目展开:

1)、 独立开发xxx项目的混合云容器模块:运用go+gin+gorm+mysql+client-go+kubernetes技术栈,实现对kubernetes集群的创建/导入、节点的管理、名称空间的管理、工作负载的管理、配置中心的管理、...、凭证的管理、镜像仓库的适配(harbor/acr/ccr/aws)、集群的适配(tke/ack/aws/自建集群)、等功能。总的来说此项目主要是api的对接,并不具备复杂的技术栈,在实际开发中最大的收获是:1、根据需求实现业务的开发考量 2、对各厂商的字段封装 3、开发中遇到问题的实际处理(1、返回错误信息 2、列表类接口的错误处理 3、数据库字段的设计 4、api接口的设计 5、适配层的转换 6、面向错误的开发、等)。期间思考了下图
做微服务研发工程师的一年来的总结

  • ps:上图只是个人对容器平台的构想,实际项目中并没有用此构思,所以谈不上涉密问题。

做微服务研发工程师的一年来的总结
 1 func Init(g *gin.Engine) { 2     // 跨域 3     g.Use(Cors()) 4     // 定义输出日志格式 5     g.Use(middleware.LoggerToFile()) 6     g.Any("/", v1.Hello) 7     g.GET("/health", v1.Health) 8     api := g.Group("/container/api") 9     clusterRouters(api)10     nodeRouters(api)11     nsRouters(api)12     workloadRouters(api)13     podRouters(api)14     pluginRouters(api)15     registryRouters(api)16     credentialRouters(api)17     configRouters(api)18     csiRouters(api)19     g.GET("/swagger/*any", gs.WrapHandler(swaggerFiles.Handler))20 }
做微服务研发工程师的一年来的总结

 

2)、根据开发devops同事的需求,独自设计与实现(运用helm+kubernetes技术栈)jenkins集群+插件的一键部署。总体来说此项目并不复杂,更多的是考验helm的书写与合理的利用kubernetes的特性。实际构思图如下:
做微服务研发工程师的一年来的总结

做微服务研发工程师的一年来的总结
  1 # Default values for jenkins.  2 # This is a YAML-formatted file.  3 # Declare variables to be passed into your templates.  4 # By zisefeizhu  5 # Time 2021年 8月26日 星期四 10时45分56秒 CST  6   7 # namespaceOverride jenkins部署到的名称空间  8 namespaceOverride: devops  9  10 securityContext: 11   enabled: true 12   privileged: true 13   runAsUser: 0 14 # replicaCount 副本数 15 replicaCount: 1 16  17 # image 镜像信息 18 image: 19   repository: registry.cn-shenzhen.aliyuncs.com/zisefeizhu/annet 20   pullPolicy: IfNotPresent 21   # Overrides the image tag whose default is the chart appVersion. 22   tag: "jenkinsci-blueocean-v0.1.1" 23   baseImageTag: "jenkins-plugins-v0.1.4" 24  25 # dockerRegistry Concentrated verification of consciousness 26 dockerRegistry: 27   enabled: true 28   secretName: jenkins 29   user: xxxx 30   password: xxxxxx 31  32  33 # containerPorts jenkins pod 端口 34 containers: 35   ports: 36   - containerPort: 8080 37     name: web 38     protocol: TCP 39   - containerPort: 50000 40     name: agent 41     protocol: TCP 42  43 nameOverride: "" 44 fullnameOverride: "" 45  46 serviceAccount: 47   # Specifies whether a service account should be created 48   create: true 49   # Annotations to add to the service account 50   annotations: {} 51   # The name of the service account to use. 52   # If not set and create is true, a name is generated using the fullname template 53   name: "" 54  55 # service 类型和端口信息 56 service: 57   ports: 58   - name: web 59     port: 8080 60     targetPort: web 61     nodePort: 31031 62   - name: agent 63     port: 50000 64     targetPort: agent 65   type: NodePort 66 #  port: 31031   #端口 67  68 # pvc的access类型 69 pvc: 70   enabled: true 71   scName: xxxx 72   accessModes: ReadWriteMany 73   storage: xxx 74  75 ingress: 76   enabled: false 77   className: "" 78   annotations: {} 79     # kubernetes.io/ingress.class: nginx 80     # kubernetes.io/tls-acme: "true" 81   hosts: 82     - host: chart-example.local 83       paths: 84         - path: / 85           pathType: ImplementationSpecific 86   tls: [] 87   #  - secretName: chart-example-tls 88   #    hosts: 89   #      - chart-example.local 90  91 # resources limit range obtained from pressure measurement 92 resources: 93   enabled: falase 94   limits: 95     cpu: 1 96     memory: 1Gi 97   requests: 98     cpu: 200m 99     memory: 512Mi100 101 # startupProbe 存活性探针102 startupProbe:103   enabled: false104   probe:105     failureThreshold: 3106     httpGet:107       path: /login108       port: 8080109       scheme: HTTP110     initialDelaySeconds: 30111     periodSeconds: 10112     successThreshold: 1113     timeoutSeconds: 1114 115 # livenessProbe 存活性探针116 livenessProbe:117   enabled: false118   probe:119     failureThreshold: 3120     httpGet:121       path: /login122       port: 8080123       scheme: HTTP124     initialDelaySeconds: 30125     periodSeconds: 10126     successThreshold: 1127     timeoutSeconds: 5128 129 # readinessProbe 就绪性探针130 readinessProbe:131   enabled: false132   probe:133     failureThreshold: 3134     httpGet:135       path: /login136       port: 8080137       scheme: HTTP138     initialDelaySeconds: 30139     periodSeconds: 10140     successThreshold: 1141     timeoutSeconds: 5142 143 autoscaling:144   enabled: true145   minReplicas: 1146   maxReplicas: 10147   targetCPUUtilizationPercentage: 80148   targetMemoryUtilizationPercentage: 80
做微服务研发工程师的一年来的总结

 

3)、根据架构师构思(16年工作经验),独自验证/输出文档,运用:logstash+ceph+operator技术栈。实现es集群之间的全量/增量/全量+增量同步迁移、持久化队列/死信等功能。此项目具有一定复杂度。在实际开发中需要1、对logstash有一定程度的运用(需要对涉及到的功能点进行一一验证实践)、2、对operator有一定的掌握(特别是对spec和status的深度理解)。3、对k8s有较深度的掌握,理解涉及到的核心资源的运用。
做微服务研发工程师的一年来的总结

  • 架构图及源码涉密。

做微服务研发工程师的一年来的总结
  1 # Default values for jenkins.  2 # This is a YAML-formatted file.  3 # Declare variables to be passed into your templates.  4 # By zisefeizhu  5 # Time 2021年 8月26日 星期四 10时45分56秒 CST  6   7 # namespaceOverride jenkins部署到的名称空间  8 namespaceOverride: devops  9  10 securityContext: 11   enabled: true 12   privileged: true 13   runAsUser: 0 14 # replicaCount 副本数 15 replicaCount: 1 16  17 # image 镜像信息 18 image: 19   repository: registry.cn-shenzhen.aliyuncs.com/zisefeizhu/annet 20   pullPolicy: IfNotPresent 21   # Overrides the image tag whose default is the chart appVersion. 22   tag: "jenkinsci-blueocean-v0.1.1" 23   baseImageTag: "jenkins-plugins-v0.1.4" 24  25 # dockerRegistry Concentrated verification of consciousness 26 dockerRegistry: 27   enabled: true 28   secretName: jenkins 29   user: xxxx 30   password: xxxxxx 31  32  33 # containerPorts jenkins pod 端口 34 containers: 35   ports: 36   - containerPort: 8080 37     name: web 38     protocol: TCP 39   - containerPort: 50000 40     name: agent 41     protocol: TCP 42  43 nameOverride: "" 44 fullnameOverride: "" 45  46 serviceAccount: 47   # Specifies whether a service account should be created 48   create: true 49   # Annotations to add to the service account 50   annotations: {} 51   # The name of the service account to use. 52   # If not set and create is true, a name is generated using the fullname template 53   name: "" 54  55 # service 类型和端口信息 56 service: 57   ports: 58   - name: web 59     port: 8080 60     targetPort: web 61     nodePort: 31031 62   - name: agent 63     port: 50000 64     targetPort: agent 65   type: NodePort 66 #  port: 31031   #端口 67  68 # pvc的access类型 69 pvc: 70   enabled: true 71   scName: xxxx 72   accessModes: ReadWriteMany 73   storage: xxx 74  75 ingress: 76   enabled: false 77   className: "" 78   annotations: {} 79     # kubernetes.io/ingress.class: nginx 80     # kubernetes.io/tls-acme: "true" 81   hosts: 82     - host: chart-example.local 83       paths: 84         - path: / 85           pathType: ImplementationSpecific 86   tls: [] 87   #  - secretName: chart-example-tls 88   #    hosts: 89   #      - chart-example.local 90  91 # resources limit range obtained from pressure measurement 92 resources: 93   enabled: falase 94   limits: 95     cpu: 1 96     memory: 1Gi 97   requests: 98     cpu: 200m 99     memory: 512Mi100 101 # startupProbe 存活性探针102 startupProbe:103   enabled: false104   probe:105     failureThreshold: 3106     httpGet:107       path: /login108       port: 8080109       scheme: HTTP110     initialDelaySeconds: 30111     periodSeconds: 10112     successThreshold: 1113     timeoutSeconds: 1114 115 # livenessProbe 存活性探针116 livenessProbe:117   enabled: false118   probe:119     failureThreshold: 3120     httpGet:121       path: /login122       port: 8080123       scheme: HTTP124     initialDelaySeconds: 30125     periodSeconds: 10126     successThreshold: 1127     timeoutSeconds: 5128 129 # readinessProbe 就绪性探针130 readinessProbe:131   enabled: false132   probe:133     failureThreshold: 3134     httpGet:135       path: /login136       port: 8080137       scheme: HTTP138     initialDelaySeconds: 30139     periodSeconds: 10140     successThreshold: 1141     timeoutSeconds: 5142 143 autoscaling:144   enabled: true145   minReplicas: 1146   maxReplicas: 10147   targetCPUUtilizationPercentage: 80148   targetMemoryUtilizationPercentage: 80
做微服务研发工程师的一年来的总结

  

4)、近期为了加深operator的理解,写了workload-operator,实现对deployments/statefulsets/daemonsets/cronjobs/jobs/services 功能的封装。本项目为个人项目,难点在对控制器的理解与status的处理。


operator 的书写逻辑 围绕以下四点即可:

观察:通过监控Kubernetes资源对象变化的事件来获取当前对象状态,只需要注入EventHandler让client-go 将变化的事件对象信息放入WorkQueue中

分析:确定当前状态和期望状态的不同,由Worker完成.

执行:执行能够驱动对象当前状态变化的操作,由Worker完成.

更新:更新对象的当前状态,由Worker完成.

5)、最近在看同事的xxx项目的devops模块,有所感悟:1、开发对需求的实现能力外,其实也应该对要实现的功能有一定的理解。2、对于中间件的掌握(比如Jenkins 的pipeline的书写)。

6)、这一年还帮助同事处理运维问题,帮助同学处理运维问题,也接过外快处理运维相关的问题,也基本每周都抽时间看看云原生相关的知识。偏向开发是必然要的,运维也是规划的重点,需要有意多接触。

综上,其实在过去的一年开发严格意义还是围绕云原生在进行,也符合对职业生涯的规划:运维 --> 云原生运维 --> 容器开发(运维开发) --> sre(偏向开发的运维岗) -->

一年来的收获

这一年来收获很多,依如20年的云原生运维工作一样,对职业产生深远影响:

1、查找资料由csdn/博客园 --> github/官网

2、研发能力由面向百度 --> 面向google/pkg

3、由遇到问题就请教同事 --> 和同事探讨/自我处理

4、由在一家初创企业 --> 一家还算适中的公司

展望下一年

在接下来的一年,重点实现以下几点:

1、巩固已掌握的

2、具备独立解决问题的能力

3、不断降低bug率 ,做到需求即理解、理解即实现、实现即交付。

4、对服务治理、微服务、数据库中间件、serverless 、算法 展开攻关

5、跳槽 ,再入江湖,出道下山、世界这么大

特别感谢

依如20年的贵人,阿里云MVP 如今入职字节的石老大一样,在过去的一年,遇到了我飞飞哥哥,不断骚扰与学习他的长处,嘿嘿嘿。

未来一年,依然坚信,懂云原生的go开发 是属于当下及未来一个时期的所需。

凡是过往、皆为序章。

过手如登山,一步一重天


本文链接:https://www.kkkliao.cn/?id=143 转载需授权!

分享到:

添加博主微信共同交流探讨信息差网赚项目: 19528888767 , 请猛戳这里→点我添加

版权声明:本文由廖万里的博客发布,如需转载请注明出处。

“做微服务研发工程师的一年来的总结” 的相关文章

英国“最富首相”苏纳克如何一路开挂?

英国“最富首相”苏纳克如何一路开挂?

当地时间10月24日下午两点,是英国保守党在下议院党团1922委员会设定的提交新任保守党党首选举提名的截止时间。在成功获得了197名保守党议员提名,且两位对手约翰逊和莫当特先后宣布退选后,前任财政大臣里希·苏纳克成为唯一符合“入闸”条件的党首候选人,按程序自动当选。随后,苏纳克在保守党中央党部发表了...

6G专利申请量比拼:美国占比35.2%,日本占比9.9%,中国排第几?

6G专利申请量比拼:美国占比35.2%,日本占比9.9%,中国排第几?

5G对于现在的人们来说已经不是什么神秘的存在,很多国家通过近些年的研究都已经逐步掌握了5G技术。不过就5G技术发展的成熟度、设备完善程度以及信号铺设范围来说,我国都是当之无愧的世界第一。但是随着科技技术的不断发展,对于6G的技术研发也被提上日程。不少国家都开始攻克6G技术,并取得了各项专利。根据有关...

失窃iPhone最终归宿:一台被盗的手机,如何在华强北“焕发新生”

失窃iPhone最终归宿:一台被盗的手机,如何在华强北“焕发新生”

华强北,一个中国数码史上现象级的名词。这条中轴主干道南北长900多米的街区,造就了中国电子科技历史上的神话。但一个硬币有两面,如果说腾讯、TP-Link这样的成功企业代表了华强北向阳的一面,那么华强北的阴暗一面,就离不开两个词:组装机和山寨机。如今,在各大手机厂商物美价廉的新品联合绞杀之下,山寨机已...

六年前端面试报告

六年前端面试报告

2022.10.20 在当前公司待了两年多,被离职了,拿了点赔偿金继续面试。薪资期望 13-15, 趁着今天1024整理下面试过程。上一次面试我是4年经验,简历也好改,加上两年经验,补上现公司项目就出去找工作了。简历改完后,首先分析下自己现阶段水平,大概能要多少,定一个期望薪资。再就是背面试题了。自...

“双十一”部分手机价格先涨价再降价?券后价格反而比平时贵

“双十一”部分手机价格先涨价再降价?券后价格反而比平时贵

记者 宗智10月24日晚上八点,“双十一”的“先锋号角”已然奏响。从“光棍节”到全民参与的消费狂欢日,从最初的27个商家到现在来自全球各地的29万个品牌,互联网电商一路高歌猛进,其规模与影响力不断扩大,连续创造了13年“神话”。然而,随着消费者生活水平的提升,平台补贴活动走向日常化,低价早已不再是“...

这又是一篇狗屁不通的文章不要在意

  赚钱网赚项目推荐匿名信一封来信万策云廖万里,到底应该如何实现。 所谓赚钱网赚项目推荐匿名信一封来信万策云廖万里,关键是赚钱网赚项目推荐匿名信一封来信万策云廖万里需要如何写。 既然如此, 了解清楚赚钱网赚项目推荐匿名信一封来信万策云廖万里到底是一种怎么样的存在,是解决一切问题的关键。 经过上述讨论...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。