0%

StreamPark学习笔记

本文主要包括:

  • StreamPark简介
  • StreamPark源码调试

StreamPark简介

StreamPark 是主打一站式的实时计算平台,集成了项目编译、发布、参数配置、启动、停止、监控等诸多功能于一体, 大大简化了 Flink 任务的日常操作和维护,而且足够专注,比其他开源项目更加轻量

StreamPark源码调试

下载StreamPark源码并编译源码

git clone git@github.com:apache/incubator-streampark.git
git checkout -b 1.2.3-release
mvn clean install -DskipTests -Dscala.version=2.12.13 -Dscala.binary.version=2.12 -Pwebapp -T10

用IDEA打开streampark源码,勾选Profiles -> webapp

StreamPark本地调试

查看StreamPark安装目录bin/streampark.sh,查看项目的启动类为org.apache.streampark.console.StreamParkConsoleBootstrap

  1. 在StreamParkConsoleBootstrap的VM中设置-Dapp.home=<<build.sh脚本执行完成后dist目录下解压过后的二进制包路径>>
    IDEA调试Streampark源码配置
    IDEA调试streampark源码配置Mysql驱动
  2. 修改启动数据库配置
    streampark-console/streampark-console-service/src/main/resources/application.yml
  3. 执行数据库初始化脚本
    source /Users/gujincheng/code/streampark/streampark-console/streampark-console-service/src/main/assembly/script/schema/mysql-schema.sql
    source /Users/gujincheng/code/streampark/streampark-console/streampark-console-service/src/main/assembly/script/data/mysql-data.sql
    

遇到的问题

  1. object TableExt is not a member of package org.apache.streampark.flink.core
    这个问题很奇怪,按照网上查到的,在project structure里配置scala的sdk,没啥用,但是在代码里找到报错的类,点了点上下依赖,就成功了