Lakehouse Admin
f5d30824fc
- Add root README and docs/ (architecture, hosts, disaster-recovery, operations) - Add compose/ for superset, forgejo, lam, cadvisor; unified deploy compose - Add scripts/deploy (deploy-atc-docker01.sh, container inventory export) - Add inventory/containers-atc-docker01.json snapshot - Add config READMEs for kafka and airflow; .env.example; expand .gitignore - Sync atclab helper scripts; update homepage/superset compose with env support
ATC Lakehouse
Infrastructure-as-code en documentatie voor het Dell ATC Lakehouse lab — Forward Deployed Engineering (Bart & Mo).
Repository-structuur
├── config/ # Applicatie-configuratie (homepage, kafka, trino, spark, airflow, superset)
├── compose/ # Docker Compose per stack (bron van waarheid voor containers)
├── deploy/ # Gecombineerde compose-bestanden per host
├── docs/ # Documentatie als code
├── inventory/ # Export van draaiende containers (referentie)
├── rss-proxy/ # RSS-feed proxy voor homepage widgets
└── scripts/ # Deploy- en hulpscripts
Hosts (overzicht)
| Host | Rol | Belangrijkste services |
|---|---|---|
atc-docker01 |
Docker hub | Homepage, Superset, Forgejo (lokaal), LAM, RSS-proxy, icons |
atc-mgt01 |
Management | Forgejo (Git), LDAP/LAM |
atc-kafka01 |
Streaming | Kafka, Kafka UI |
atc-lake01 |
Lakehouse | Spark, Trino, Debezium, Airflow |
atc-elastic01 |
Search | Elasticsearch, Kibana |
atc-db01 / atc-db02 |
Databases | PostgreSQL, MySQL, MongoDB, Cassandra, Neo4j |
atc-grafana |
Monitoring | Grafana |
pve01 (10.0.10.65) |
Hypervisor | Proxmox VE |
Zie docs/hosts.md voor poorten en IP-adressen.
Snel starten — atc-docker01
cd /root/lakehouse
cp .env.example .env # vul secrets in
./scripts/deploy/deploy-atc-docker01.sh
Documentatie
Git remote
Forgejo: http://atc-mgt01.dell-atc.lan:3001/mo/Lakehouse
git clone http://atc-mgt01.dell-atc.lan:3001/mo/Lakehouse.git /root/lakehouse
Geheimen
Bestanden met credentials (proxmox.yaml, .env, kafka connectors) staan in git voor lab-restore. Voor productie: gebruik .env + *.example en houd secrets buiten een publieke remote.