# ATC Lakehouse

Infrastructure-as-code en documentatie voor het Dell ATC Lakehouse lab — Forward Deployed Engineering (Bart & Mo).

## Repository-structuur

```
├── config/           # Applicatie-configuratie (homepage, kafka, trino, spark, airflow, superset)
├── compose/          # Docker Compose per stack (bron van waarheid voor containers)
├── deploy/           # Gecombineerde compose-bestanden per host
├── docs/             # Documentatie als code
├── inventory/        # Export van draaiende containers (referentie)
├── rss-proxy/        # RSS-feed proxy voor homepage widgets
└── scripts/          # Deploy- en hulpscripts
```

## Hosts (overzicht)

| Host | Rol | Belangrijkste services |
|------|-----|------------------------|
| `atc-docker01` | Docker hub | Homepage, Superset, Forgejo (lokaal), LAM, RSS-proxy, icons |
| `atc-mgt01` | Management | Forgejo (Git), LDAP/LAM |
| `atc-kafka01` | Streaming | Kafka, Kafka UI |
| `atc-lake01` | Lakehouse | Spark, Trino, Debezium, Airflow |
| `atc-elastic01` | Search | Elasticsearch, Kibana |
| `atc-db01` / `atc-db02` | Databases | PostgreSQL, MySQL, MongoDB, Cassandra, Neo4j |
| `atc-grafana` | Monitoring | Grafana |
| `pve01` (`10.0.10.65`) | Hypervisor | Proxmox VE |

Zie [docs/hosts.md](docs/hosts.md) voor poorten en IP-adressen.

## Snel starten — atc-docker01

```bash
cd /root/lakehouse
cp .env.example .env   # vul secrets in
./scripts/deploy/deploy-atc-docker01.sh
```

## Documentatie

- [Architectuur](docs/architecture.md)
- [Hosts & poorten](docs/hosts.md)
- [Disaster recovery](docs/disaster-recovery.md)
- [Dagelijkse operatie](docs/operations.md)
- [Homepage dashboard](config/homepage/README.md)

## Git remote

Forgejo: `http://atc-mgt01.dell-atc.lan:3001/mo/Lakehouse`

```bash
git clone http://atc-mgt01.dell-atc.lan:3001/mo/Lakehouse.git /root/lakehouse
```

## Geheimen

Bestanden met credentials (`proxmox.yaml`, `.env`, kafka connectors) staan in git voor **lab-restore**. Voor productie: gebruik `.env` + `*.example` en houd secrets buiten een publieke remote.