Beobachtetes Signal · 15. Juli 2026 · Technical Release · Quelle: DEV Community · Relevanz: 3/5 · Sentiment: Positiv
Open-Source-Engine apitap verschiebt 10 Mio. Zeilen in 9,9 Sekunden
Mit apitap wurde eine neue Open-Source-Engine veröffentlicht, die dank eines Rust-Kerns mit Python-Bindings ganze Datenbanktabellen ohne komplexe Konfiguration repliziert. In Benchmarks auf einer 16-Core-Maschine übertrug das via pip installierte Tool 10 Millionen Datensätze in 9,9 Sekunden von Postgres zu ClickHouse. In weiteren Tests erreichte apitap einen Durchsatz von 100 Millionen Zeilen (46 GB) in 139 Sekunden, was einer Rate von 1,2 TB/Stunde entspricht. Unterstützt werden Transferrouten zwischen Postgres, ClickHouse und MySQL. Durch strikt begrenztes Streaming-Memory und TCP-Backpressure operiert das Tool extrem ressourcenschonend selbst in Containern mit nur 0,5 vCPU und 256 MB RAM. Datensätze werden zur Gewährleistung atomarer Swaps zunächst in Shadow Tables bereitgestellt. Das unter MIT-Lizenz stehende Projekt positioniert sich in reproduzierbaren Vergleichen deutlich vor Alternativen wie dlt oder ingestr; weitere Konnektoren sind für die Roadmap geplant.
Eine extrem performante, ressourcensparende Data-Movement-Engine kann Cloud- und Pipeline-Kosten im ETL-Bereich drastisch senken. Dies bietet Data-Infrastructure- und MarTech-Teams neue architektonische Ansätze für massenhafte Tabellentransfers.
Marktsignale zu Airbyte in Echtzeit verfolgen
Polaris7 erfasst behördliche Registrierungen, Primärquellen, Führungswechsel und Deal-Aktivitäten rund um die Uhr. Erstellen Sie Ihren Polaris7-Workspace, um automatisierte Executive Briefings zu erhalten.
Wichtigste Kernpunkte & Evidenz
- apitap ist eine MIT-lizenzierte Open-Source-Engine (Rust-Core mit Python-Bindings), die vollständige Datenbanktabellen per Einzelaufruf migriert.
- Auf einer 16-Core-Instanz transferierte die Engine 10 Millionen Zeilen in 9,9 Sekunden von Postgres zu ClickHouse.
- Unterstützte Routen umfassen Postgres→Postgres (Binary COPY Passthrough), Postgres→ClickHouse (Transcoding zu RowBinary) sowie MySQL→ClickHouse/Postgres.
- Dank speicherbegrenztem Byte-Streaming mit TCP-Backpressure läuft apitap stabil in minimalen Containern (0,5 vCPU / 256 MB RAM).
- In reproduzierbaren Vergleichstests mit dlt und ingestr erzielte apitap Spitzen-Durchsätze von bis zu 1,2 TB/Stunde (100 Mio. Zeilen / 46 GB in 139 s).
Verknüpfte Unternehmen
4 verknüpfte Unternehmen“Airbyte dient als primärer Vergleichspunkt für etablierte ETL-Lösungen.”
“Auf einer 16-Core-Maschine überträgt der Aufruf 10 Millionen Zeilen von Postgres zu ClickHouse in 9,9 Sekunden.”
“Der Quellcode des Projekts wird auf GitHub gehostet.”
“Unterstützung für Snowflake, BigQuery und Arrow-Export ist bereits in Entwicklung.”
Ontologie & Marktkonzepte
Verwandte Marktsignale & Trends
Aktuelle verifizierte Unternehmensentwicklungen und Deal-Aktivitäten in diesem Marktsegment.
ClickHouse versus PostgreSQL: Detaillierter Vergleich von OLAP und OLTP
Ein von Entwicklern verfasster technischer Beitrag vergleicht ClickHouse und PostgreSQL im Rahmen einer Artikelserie. Der Artikel erläutert, dass PostgreSQL eine zeilenorientierte OLTP-Datenbank ist, die für transaktionale Workloads mit häufigen Einfügungen, Aktualisierungen und Löschungen sowie starken Transaktionsgarantien optimiert ist. Im Gegensatz dazu handelt es sich bei ClickHouse um eine spaltenorientierte OLAP-Datenbank, die für groß angelegte Analysen, schnelle Aggregationen sowie Zeitreihen- und Event-Analysen konzipiert ist. Der Beitrag skizziert Unterschiede bei Speicherung und Komprimierung, Skalierungsüberlegungen sowie gängige Bereitstellungsmuster, bei denen Unternehmen PostgreSQL für operative Daten und ClickHouse für analytische Berichts-Workloads einsetzen. Das Ziel ist es, die Datenbankauswahl anhand von Workload-Anforderungen statt nach Beliebtheit oder Benchmarks zu leiten.
OpenAI skaliert PostgreSQL für 800 Millionen ChatGPT-Nutzer
OpenAI hat Einblicke in die Skalierung von PostgreSQL gegeben, um Millionen Queries pro Sekunde und 800 Millionen ChatGPT-Nutzer zu unterstützen. Das Team nutzt eine zentrale Azure PostgreSQL Flexible Server Instanz für Write-Operationen sowie knapp 50 geoverteilte Read-Replicas, während schreibintensive Workloads zu Systemen wie Azure Cosmos DB migriert wurden. Zu den zentralen Techniken gehören aggressive Query-Optimierung, Workload-Isolierung, PgBouncer Connection Pooling – wodurch die durchschnittliche Verbindungszeit von 50 ms auf 5 ms sank –, Cache-Locking gegen Cache-Miss-Stürme, Rate Limiting sowie strenge Schema-Änderungskontrollen. OpenAI verzeichnet eine geringe P99-Read-Latenz, eine Verfügbarkeit von Five-Nines und lediglich einen schwerwiegenden Postgres-Vorfall in den letzten zwölf Monaten. Diese Architekturentscheidungen unterstreichen, wie selbst extrem laststarke Applikationen klassische relationale Datenbanken durch gezielte Replikation und Auslagerung performant betreiben können.
High-Performance-ETL für Apple Health XML-Exporte
Dieses technische Tutorial beschreibt den Aufbau einer hochgradig konkurrenten ETL-Engine zur Verarbeitung sehr großer Apple Health XML-Exporte. Der Autor skizziert eine auf Performance ausgelegte Architektur: einen streamingbasierten Rust XML-Parser (quick-xml) zur Extraktion von <Record>-Tags, den Export von Daten als Apache Arrow Record Batches via PyO3 für die Zero-Copy-Nutzung in Python/Polars sowie das Bulk-Ingesting bereinigter Daten in ClickHouse mittels clickhouse-connect. Der Beitrag enthält Code-Snippets für den Rust-Parser, die Arrow-Polars-Brücke, das ClickHouse-Tabellenschema sowie das Bulk-Insert und diskutiert Produktionsaspekte wie Parallelisierung, Schema-Evolution, den Umgang mit fehlerhaftem XML, Grafana-Visualisierung und die Speisung von Arrow-Buffern in ML-Frameworks wie PyTorch.
Alle künftigen Signale zu Airbyte & Wettbewerbern im Briefing erhalten
Verpassen Sie keine M&A-Transaktionen, Führungswechsel, Kunden-Etats oder Produkt-Launches mehr. Polaris7 überwacht über 20.000 Primärquellen rund um die Uhr und liefert evidenzbasierte Telemetrie direkt in Ihr wöchentliches Executive Briefing.