seatunnel初体验(四):二次开发

  |   0 评论   |   0 浏览

背景

初体验

环境准备

  1. maven版本:
  2. jdk版本:

集成测试

可以选用docker环境,也可以选用本地环境。

如果能够方便的获取到docker镜像,建议优先选用docker环境。

docker

docker安装过程略,在执行集成测试时,依赖镜像:

docker pull bitnami/spark:2.4.3

或者使用镜像加速

docker pull mirror.baidubce.com/bitnami/spark:2.4.3

如果提示镜像不存在的话,

查看镜像tag:

curl -XGET https://apg2cbea.mirror.aliyuncs.com/v2/bitnami/spark/tags/list

本地环境

可以将 FakeSourceToConsoleIT复制出来一份,然后在复制文件和提交任务的地方做些对应的修改。

具体过程略。

只编译指定模块

完整编译太慢了,可以使用下面命令仅编译指定模块,如这里只编译 seatunnel-connector-spark-redis 模块。

mvn install  -Dmaven.test.skip=true -Dtests.skip=true -pl seatunnel-connectors/seatunnel-connectors-spark/seatunnel-connector-spark-redis -am

提交时修改用户信息

如果只需要最近一次提交,可以直接使用 git commit –amend。

git commit --amend --author="NewAuthor <[email protected]>"

参考

  1. Git修改提交作者和邮箱
  2. maven常见命令之 -pl -am -amd