Data Architecture Sizing Calculator

Best-practice dimensionering voor enterprise data platforms — gebaseerd op 15+ jaar ervaring

Bereken de optimale Kafka cluster configuratie op basis van throughput, retentie en replicatie. Geschikt voor Confluent, Red Hat AMQ Streams, en Apache Kafka.

Input Parameters

Berichten per seconde (msg/s)

Gem. berichtgrootte (KB)

Retentie (dagen)

Replicatie factor

Disk snelheid (MB/s per disk)

Compressie

Resultaten

Doorvoer (bruto)—

Doorvoer (netto na compressie)—

Opslag per dag—

Totale opslag (retentie)—

Totaal met replicatie—

Aanbevolen partitions—

Min. brokers (performance)—

Aanbevolen Cluster Configuratie

—

Mek-Tech Best Practice

Voor enterprise Kafka deployments raden wij 3 replication factor aan met minstens 3 brokers. Gebruik NVMe storage voor critical workloads, SSD voor standard. Partition count = max(3 × brokers, throughput / 10MB).

Dimensionering voor Apache Spark en Flink workloads. Optimaliseer executors, cores, memory en dynamic allocation voor batch en streaming.

Input Parameters

Data volume per dag (GB)

Processing type

Gewenste processing time (min)

Beschikbaar geheugen per node (GB)

CPU cores per node

Dynamic allocation

Resultaten

Aanbevolen executors—

Cores per executor—

Memory per executor (GB)—

Totale cluster RAM (GB)—

Totale vCores—

Aanbevolen worker nodes—

Totale cluster capaciteit

—

Mek-Tech Best Practice

Standaard Spark config: 5 cores per executor, 4-8 GB overhead per executor. Voor streaming gebruik 2-3 cores per executor. Altijd dynamic allocation inschakelen voor fluctuaties.

Sizing voor MinIO object storage clusters. Berekent erasure coding, drive configuratie en totale bruikbare capaciteit. Geschikt voor S3-compatible storage.

Input Parameters

Bruto opslag capaciteit (TB)

Drive grootte (TB)

Erasure Code (EC)

Redundantie

Compressie (avg)

Resultaten

Aantal drives—

Aantal nodes—

Bruto capaciteit—

EC overhead factor—

Bruikbaar na EC—

Effectief na compressie—

Min. nodes aanbevolen—

Aanbevolen Configuratie

—

Mek-Tech Best Practice

Minio EC:8+4 is de sweet spot voor enterprise — 1.5x overhead met 4 parity failures tolerantie. Gebruik minimaal 12 nodes (24 drives) voor productie. Rack-aware deployment voor datacenter resiliency.

SAP HANA memory en platform sizing. Berekent vereist geheugen, CPU en opslag op basis van SAP best practices en ervaringscijfers.

Input Parameters

SAP module / workload

Actieve gebruikers

Data volume (GB, huidig)

Groei per jaar (%)

HA (High Availability)

DR (Disaster Recovery)

Resultaten

Berekend geheugen (RAM)—

waarvan data footprint—

waarvan overhead / growth—

CPU cores aanbevolen—

Opslag (data + logs)—

Aanbevolen node type—

Totale HANA Platform Sizing

—

Mek-Tech Best Practice

SAP HANA geheugen: 1GB RAM per 50GB data (S/4HANA) of 1:4 (BW/4HANA). Tel 20-30% overhead voor growth en workloads. Scale-up voor performance, scale-out voor capaciteit. Gebruik minimaal 2x data voor opslag (logs + backups).

Dimensionering voor Data Warehouse en Lakehouse architecturen (Iceberg, Snowflake, Redshift, BigQuery). Berekent compute/storage verhouding.

Input Parameters

Bruto data volume (TB)

Daily change (ingest/CDC)GB per dag

Concurrent queries

Query complexiteit

Architectuur

Resultaten

Gecomprimeerde data (Snappy)—

Effectieve opslag (incl. replicatie)—

Compute eenheden—

Geheugen (GB)—

vCores—

Aanbevolen nodes—

Aanbevolen Platform Configuratie

—

Mek-Tech Best Practice

Lakehouse: Iceberg tables + Trino/Presto query engine. Reken op 5-8x compressie op Parquet. Compute/storage scheiding geeft flexibiliteit. Voor 100TB data: 4-8 worker nodes met 64GB RAM + 16 cores.

Sizing voor vector databases en embedding stores (Pinecone, Weaviate, Qdrant, Milvus). Berekent geheugen, dimensies en index grootte.

Input Parameters

Aantal vectors (miljoenen)

Vector dimensies

Index type

Replicatie factor

Resultaten

Ruwe vector grootte (GB)—

Index overhead—

Totaal geheugen (RAM)—

Totaal met replicatie—

Aanbevolen nodes—

Node type—

Aanbevolen Vector Store

—

Mek-Tech Best Practice

HNSW index met 768 dims is de sweet spot voor enterprise. Reken op 2-3x ruwe data voor index overhead. Houd minimaal 2x RAM vrij naast de vector index voor query processing. Gebruik replica's voor HA.

Kubernetes cluster sizing voor data workloads. Berekent node pools, resource quotas, pod density en cluster capaciteit.

Input Parameters

Totaal aantal pods

CPU request per pod (cores)

Memory request per pod (GB)

Node type

Overcommit ratio

Resultaten

Totale CPU request—

Totaal geheugen request—

Node capaciteit (pods)—

Aanbevolen nodes—

Gebruikte capaciteit—

N+1 redundantie—

Aanbevolen Cluster

—

Mek-Tech Best Practice

Gebruik medium nodes (32c/128GB) voor data workloads. Reken 110 pods max per node. Reserveer 20% capaciteit voor cluster overhead (system daemons, DNS, monitoring). Overcommit 1.5x voor batch jobs.

Hadoop HDFS en data lake sizing. Berekent storage, replication, block size, en cluster configuratie voor big data workloads.

Input Parameters

Bruto data volume (TB)

Replicatie factor

Block size

Disk (TB per node)

Compressie

Resultaten

Effectieve opslag (na compressie)—

Totaal met replicatie—

Bruto capacity per node—

Aantal data nodes—

Aantal blokken in cluster—

MapReduce capacity—

Aanbevolen Hadoop Cluster

—

Mek-Tech Best Practice

HDFS replicatie 3x is enterprise standaard. Gebruik 256MB block size voor data lake workloads. Reken 70-80% disk utilization na OS overhead. Snappy compressie voor balance tussen ratio en speed. Namenode heeft 1GB RAM per 1M blokken.