• 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心洋葱网用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

mac通过docker一键部署airflow

其他 逍遥酒鬼 1740次浏览 0个评论

目录

  • Airflow部署及使用
    • 1、前言
    • 2、系统配置
    • 3、Dockerhub查看镜像地址
    • 4、拉取docker镜像
    • 5、在宿主机创建外挂文件夹
    • 6、创建docker容器
    • 7、重新创建docker容器
      • 7.1、查看airflow容器是否正常启动
      • 7.2、启动成功才能将容器中的airflow.cfg拷贝出来修改
      • 7.3、删除容器重新创建,非删除镜像
    • 8、进入docker容器
    • 9、sqlite数据库初始化
    • 10、修改airflow的airflow.cfg配置
    • 11、mysql数据库初始化
      • 11.1、查看docker中mysql的IP地址
      • 11.2、登录mysql并创建专属的airflow数据库
      • 11.3、修改mysql的my.cnf配置
      • 11.4、初始化mysql数据库
    • 12、airflow一键初始化脚本
    • 13、总结

Airflow部署及使用

1、前言

由于工作中需要使用airflow进行开发,网上搜索“mac系统在docker中搭建airflow”的文章真的很少,而且写的又不够详细。遂自己摸索搭建成功后便分享给大家使用,即有按部就班“一步一步”的操作,也有“一键初始化”脚本,大家根据自己的实际情况进行操作。

2、系统配置

mac os:Mojave 
mac version:10.14.6

docker desktop version:2.3.0.4
docker version:19.03.12
docker-compose version: 1.26.2

3、Dockerhub查看镜像地址

# 如果你比较懒可以使用最后的“airflow一键初始化脚本”,mac电脑通用
https://hub.docker.com/r/puckel/docker-airflow/tags?page=1&ordering=last_updated

4、拉取docker镜像

# 执行镜像下载命令 
docker pull puckel/docker-airflow:latest

5、在宿主机创建外挂文件夹

# 获取当前系统的用户名,例如:jason 
echo $USER 

# 执行上述命名将得到的用户名替换在 $USER 的位置 
sudo mkdir -p -v /data/docker/volumes/airflow/{dags,logs} && sudo chown -R $USER /data/docker/volumes/airflow/{dags,logs}

6、创建docker容器

# 创建容器
docker run -p 8080:8080  \
-v=/data/docker/volumes/airflow/dags:/usr/local/airflow/dags \
-v=/data/docker/volumes/airflow/logs:/usr/local/airflow/logs \
--name airflow -d puckel/docker-airflow:latest

命令说明:
-d puckel/docker-airflow:latest #交互运行容器,让容器以守护态(daemonized)形式在后台运行
--name airflow #给新创建的容器命名即容器别名,如:airflow
-p 8080:8080  #端口映射,此处映射主机8080端口到容器airflow的8080端口
-v /data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg   #挂载主配置文件
-v /data/docker/volumes/airflow/dags:/usr/local/airflow/dags  #挂载资源路径
-v /data/docker/volumes/airflow/logs:/usr/local/airflow/logs  #挂载日志文件

7、重新创建docker容器

此步骤主要是将容器中的airflow.cfg拷贝出来,方便airflow.cfg后续修改;

7.1、查看airflow容器是否正常启动

# 查看容器是否正常,如 running 即启动成功
docker inspect airflow | jq -r '.[].State.Status'

7.2、启动成功才能将容器中的airflow.cfg拷贝出来修改

#1、查看容器ID,例如:$container_id 
docker ps -a | grep 'airflow' |awk '{print $1}' 

#2、使用docker拷贝(命令参考,可忽略):docker cp source_path target_path 
docker cp $container_id:/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow 

#3、拷贝airflow.cfg到指定目录,命令集成(推荐用,一键搞定省心) 
sudo docker cp $(docker ps -a | grep 'airflow' |awk '{print $1}'):/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow

7.3、删除容器重新创建,非删除镜像

此步骤主要是将/usr/local/airflow/airflow.cfg外挂到宿主机中

#1、删除容器示例:docker stop $image_alias && docker rm $image_alias 
docker stop airflow && docker rm airflow 

#2、重新创建docker容器 
docker run -p 8080:8080 \
-v=/data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg \
-v=/data/docker/volumes/airflow/dags:/usr/local/airflow/dags \
-v=/data/docker/volumes/airflow/logs:/usr/local/airflow/logs \
--name airflow -d puckel/docker-airflow:latest 

#3、查看容器airflow挂载到宿主机的地址 
docker inspect airflow | jq -r '.[].HostConfig.Binds' 

#4、查看容器是否正常 
docker ps

8、进入docker容器

docker exec -it airflow /bin/bash

-d:分离模式,在后台运行 
-i:交互模式,即使没有附加也保持 STDIN 打开 
-t:分配一个伪终端 
/bin/bash:运行命令 bash shell

9、sqlite数据库初始化

(生产不建议使用,但可用于个人测试。生产推荐使用mysql,如果使用mysql可以跳过sqlite部分)

#1、使用默认的sqlite+SequentialExecutor启动 
airflow initdb 

#2、出现错误: 
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

#3、解决办法:
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

#4、将第3步执行的结果替换到export中 
export AIRFLOW__CORE__FERNET_KEY=第3步执行的结果

#5、重新执行初始化数据库命令 
airflow initdb 

#6、启动成功后,即可正常访问 
http://localhost:8080/admin/

mac通过docker一键部署airflow

10、修改airflow的airflow.cfg配置

提供手动修改和命令行修改的功能

#1、查看docker中mysql的IP地址,替换在如下的IP地址中
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

#2、手动修改(使用命令行修改可跳过此步)
executor = LocalExecutor 
# 示例:sql_alchemy_conn="mysql://${USER}:${PASSWORD}@${HOST}:${PORT}/${DB_INSTANCE}${DB_EXTRAS}" 
sql_alchemy_conn = mysql://airflow:airflow@172.17.0.2:3306/airflow 

#3、命令行修改(使用手动修改可跳过此步)
sudo sed -i \"\" 's/executor = SequentialExecutor/executor = LocalExecutor/g' /data/docker/volumes/airflow/airflow.cfg 
sudo sed -i \"\" 's/\# sql_alchemy_conn = sqlite:\/\/\/\/tmp\/airflow.db/sql_alchemy_conn = mysql:\/\/airflow:airflow\@172.17.0.2:3306\/airflow/g' /data/docker/volumes/airflow/airflow.cfg 

#4、查看修改是否成功
cat /data/docker/volumes/airflow/airflow.cfg | grep 'executor ='
cat /data/docker/volumes/airflow/airflow.cfg | grep 'sql_alchemy_conn'

11、mysql数据库初始化

部署方式:docker+airflow+mysql+LocalExecutor

11.1、查看docker中mysql的IP地址

如果你的mysql也是安装在docerk中的话,则最好操作如下命令:

# 查看docker中mysql的IP地址,主要用于mysql创建新用户授权时使用,
# 命令中的 mysql 是docker中安装数据库时的别名,请根据实际情况自行修改
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

mac通过docker一键部署airflow

11.2、登录mysql并创建专属的airflow数据库

#新建名字为<airflow>的数据库
CREATE DATABASE airflow; 

#1、新建用户`airflow`,密码为`airflow`, 该用户对数据库`airflow`有完全操作权限 
#2、将11.1步骤执行命令行的结果替换在 $IPAddress 的位置,也可以将IP最后一位换成%,例如:172.17.0.% 
GRANT all privileges on airflow.* TO 'airflow'@'$IPAddress' IDENTIFIED BY 'airflow'; 
FLUSH PRIVILEGES; 

# 查看授权(常用操作指令可不执行) 
select host,user from mysql.`user` where user='airflow'; 

# 删除授权(常用操作指令可不执行) 
DROP USER 'airflow'@'$IPAddress';

11.3、修改mysql的my.cnf配置

# 由于airflow初始化数据库时需要用到如下参数,请自行添加 
[mysqld]
explicit_defaults_for_timestamp = 1

11.4、初始化mysql数据库

# 1、进入docker容器
docker exec -it airflow /bin/bash 

# 2、先执行数据库重置命令,再执行数据库初始化命令 
airflow reset 
airflow initdb 

# 3、出现错误: 
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

# 4、解决办法: 
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

# 5、将第3步执行的结果替换到export中 
export AIRFLOW__CORE__FERNET_KEY=第3步执行的结果

# 6、查看环境变量是否设置成功 
echo $AIRFLOW__CORE__FERNET_KEY 

# 7、重新执行初始化数据库命令 
airflow initdb 

# 8、启动成功后,即可正常访问 
http://localhost:8080/admin/

mac通过docker一键部署airflow

12、airflow一键初始化脚本

注意:执行《一键初始化脚本》时需要先配置mysql环境和创建airflow数据库用户,即如下操作;

1、先执行9.1、9.2、9.3等步骤的操作,执行完成后请检查是否正确;

2、先启动airflow容器,然后再执行9.4步骤的操作;

3、执行完成后即可访问:http://localhost:8080/admin/

13、总结

这一套配置下来本地就可以玩airflow环境了,有不对之处请留言,会及时修正,谢谢阅读!!

所有文章均为本人原创,本人写作的目的就是想帮助对技术有需要的人,所以欢迎同行转载本站文章,但是,希望您注明来源,并留下原文链接地址,这是对文章作者的尊重,也是对知识的尊重。


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明mac通过docker一键部署airflow
喜欢 (0)

您必须 登录 才能发表评论!

加载中……