目录一、本地环境要求二、快速部署一、使用Docker Compose部署推荐1、安装 Docker 和 Docker Compose2、下载部署包3、启动qData3.1、配置.env文件3.2、初始化数据库3.3、启动qData4、访问qData(二)、源码本地部署1、本地环境要求2、克隆仓库3、使用Docker Compose启动中间件4、启动qdata-server服务5、启动qdata-quality服务6、启动前端服务7、重置admin密码8、访问qData一、本地环境要求在本地部署qData需要有以下环境要求后端jdk推荐版本1.8或以上建议使用OpenJDK8或者11 Maven推荐版本3.6 达梦数据库推荐版本8.0 Redis推荐版本5.0 RabbitMQ可选 MySQL推荐版本5.7或8.0 Redis推荐版本5.0 操作系统推荐Windows/Linux/Mac本次使用Windows进行演示。前端Node.js推荐版本16 npm推荐版本10 Vite 推荐最新版。二、快速部署一、使用Docker Compose部署推荐1、安装 Docker 和 Docker Compose推荐安装版本Dockerv19.03 Docker Composev2.20.2Docker Desktop下载地址https://www.docker.com/products/docker-desktop/安装Docker Desktop会包含Docker Compose无需额外安装。Docker compose 安装验证在 PowerShell 或 CMD 中输入命令docker compose version​2、下载部署包部署包进入qq交流群查看群文件点击加入qq群。获取部署包后请解压。3、启动qData打开部署包内部有一个docker.zip压缩包请先解压该压缩包。3.1、配置.env文件进入docker解压位置修改.env文件修改为MySQL作为主库若使用达梦数据库跳过该步骤即可3.2、初始化数据库在当前目录下执行以下命令进行初始化数据库在运行该命令前请先检查所涉及的端口是否被占用否则会导致命令执行失败docker-compose--profileschema up-d# 如果使用 MySQL 作为主库请执行docker-compose-fdocker-compose-mysql.yml--profileschema up-d3.3、启动qData执行以下命令启动qData和所有依赖docker-compose--profileall up-d# 如果使用 MySQL作为主库请执行docker-compose-fdocker-compose-mysql.yml--profileall up-d启动本地源码⚠️注意如果遇到报错请检查镜像源、网络、端口是否被占用问题。docker-compose--profilelocalup-d# 如果使用 MySQL作为主库请执行docker-compose-fdocker-compose-mysql.yml--profileall up-d4、访问qData直接访问http://localhost:80初始账号admin初始密码qData123⚠️注意如果页面打不开请重启一下docker(二)、源码本地部署1、本地环境要求组件版本要求JDK1.8Maven3.6yarnv1.22.22Node.js18.0Docker19.03 or laterDocker Compose1.28 or later2、克隆仓库从Gitee或者GitHub仓库进行克隆仓库或者直接下载zip源码包。Gitee仓库地址https://gitee.com/qiantongtech/qDataGitHub仓库地址https://github.com/qiantongtech/qData本次拿Gitee作为演示3、使用Docker Compose启动中间件qData后端依赖以下中间件数据库DM8/MySQL、PostgreSQL缓存与消息队列Redis、RabbitMQ文件与存储MongoDB、Hadoop、kkFileView调度DolphinScheduler通过 Docker Compose 启动中间件# Docker Compose 部署文档中的本地源码模式docker-compose--profilelocalup-d4、启动后端项目使用IntelliJ IDEA或者其他开发工具打开项目利用Maven引入依赖必要配置application-dev.ymlqdata-server配置修改RabbitMQ连接信息编辑qdata-server/src/main/resources/application-dev.ymlspring:rabbitmq:host:IPport:端口username:账户password:密码修改数据库连接信息编辑qdata-server/src/main/resources/application-dev.yml# 主数据源选择datasource:type:mysql# mysql 或 dm8,填写哪个就修改下面对应的的配置信息# MySQL配置mysql:# JDBC驱动类名driver-class-name:com.mysql.cj.jdbc.Driver# 主库JDBC连接URLurl:jdbc:mysql://IP:端口/qdata?useUnicodetruecharacterEncodingutf8zeroDateTimeBehaviorconvertToNulluseSSLtrueserverTimezoneGMT%2B8# 主库用户名username:账号# 主库密码password:密码# 达梦数据库配置dm8:# JDBC驱动类名driver-class-name:dm.jdbc.driver.DmDriver# 主库JDBC连接URLurl:jdbc:dm://IP:端口/QDATA?STUzeroDateTimeBehaviorconvertToNulluseUnicodetruecharacterEncodingutf-8schemaQDATAserverTimezoneAsia/Shanghai# 主库用户名username:账号# 主库密码password:密码修改调度器相关配置编辑qdata-server/src/main/resources/application-dev.yml#调度器相关配置ds:# 调度器api前缀base\_url:http://IP:12345/dolphinscheduler# 数据质量服务组件HTTP回调地址quality\_url:http://127.0.0.1:8083/quality/qualityTaskExecutor/runExecuteTask# 数据质量任务dolphinscheduler项目编码http\_quality\_projectCode:134799536571008# 调度器令牌可以自行修改token:b07f0e57c4818043a57ba05a28da291a# spark相关配置spark:#spark-master的地址master\_url:spark://IP:7077#jar包在ds的路径main\_jar:file:/dolphinscheduler/default/resources/spark-jar/qdata-etl-3.8.8.jar#jar main入口main\_class:tech.qiantong.qdata.spark.etl.EtlApplication# hdfs相关配置hdfs:#NameNode RPC地址客户端连接 HDFS 的入口地址url:hdfs://IP:端口 修改数据质量服务相关配置编辑 qdata-server/src/main/resources/application-dev.ymlpath:# 数据质量服务前缀quality\_url:http://127.0.0.1:8083/quality/qualityTaskExecutorqdata-quality配置修改RabbitMQ连接信息编辑qdata-quality/src/main/resources/application-dev.ymlspring:rabbitmq:host:IPport:端口username:账户password:密码修改MongoDB连接信息编辑qdata-quality/src/main/resources/application-dev.ymlspring:data:mongodb:# 连接地址uri:mongodb://账户:密码IP:端口/data?authSourceadminfield-naming-strategy:org.springframework.data.mapping.model.SnakeCaseFieldNamingStrategyprint:trueslowQuery:trueslowTime:1000修改数据库连接信息编辑qdata-quality/src/main/resources/application-dev.yml# 主数据源选择datasource:type:mysql# mysql 或 dm8,填写哪个就修改下面对应的的配置信息# MySQL配置mysql:# JDBC驱动类名driver-class-name:com.mysql.cj.jdbc.Driver# 主库JDBC连接URLurl:jdbc:mysql://IP:端口/qdata?useUnicodetruecharacterEncodingutf8zeroDateTimeBehaviorconvertToNulluseSSLtrueserverTimezoneGMT%2B8# 主库用户名username:账号# 主库密码password:密码# 达梦配置dm8:# JDBC驱动类名driver-class-name:dm.jdbc.driver.DmDriver# 主库JDBC连接URLurl:jdbc:dm://IP:端口/QDATA?STUzeroDateTimeBehaviorconvertToNulluseUnicodetruecharacterEncodingutf-8schemaQDATAserverTimezoneAsia/Shanghai# 主库用户名username:账号# 主库密码password:密码修改RabbitMQ连接信息编辑qdata-quality/src/main/resources/application-dev.ymlspring:rabbitmq:host:IPport:端口username:账户password:密码4、启动qdata-server服务运行qdata-server/src/main/java/tech/qiantong/qdata/server/QDataApplication.java5、启动qdata-quality服务运行qdata-quality/src/main/java/tech/qiantong/qdata/quality/QualityApplication.java6、启动前端服务# 进入前端目录cdqdata-ui# 安装依赖yarninstall# 启动yarnrun dev7、重置admin密码#在数据库中执行下面的SQLUPDATE SYSTEM\_USER SETPASSWORD密码WHEREUSER\_ID1;8、访问qData在浏览器中打开http://localhost:81默认账户/密码admin/qData123