Effiziente Datenstrukturen für maximale Performance
Abfragen greifen sowohl auf den langfristigen Datenspeicher als auch auf den Schreibpuffer zu. Selbst wenn im Puffer zeilenbasierte Daten abgefragt werden, sorgen die persistenten Speicherstrukturen für extrem schnelle Zugriffszeiten.
Ein spaltenbasiertes Datenformat, das auf Flash gedeiht
Obwohl Parquet heute das führende Dateiformat für Data Science ist, nutzen Systeme, die Parquet verwenden, die Infrastruktur von Spalten-Speichern ineffizient. Mit einer Chunk-Größe von 32 KB ist der VAST DataBase Chunk 16.000-mal kleiner als eine durchschnittliche Parquet-Zeilengruppe. Durch die Einführung eines reinen Flash-Daten-Sees erreichen wir unglaubliche Filterungslevel bei Abfragen und reduzieren die Anzahl der Datensätze, die von Abfrage-Engines durchlaufen werden müssen.
Bei 32 KB is die spaltenbasierte Nutzlast der VAST DataBase zudem einfach zu aktualisieren. Kunden können Tabellen sofort aktualisieren, sei es für GDPR-Anfragen oder zur Durchsetzung von Aufbewahrungsrichtlinien – und das ohne die Kopfschmerzen, die herkömmliche Datenbanken durch aufwendige Bereinigungen verursachen. Es ist einfach… schnell.
Leistungsvergleich
Die VAST DataBase zeigt eine außergewöhnliche Effizienz bei der schnellen Identifizierung spezifischer Datenpunkte, wie z.B. das Auffinden seltener Muster in großen Datensätzen. Ein Beispiel: Bei der Suche nach Taxifahrten in NYC mit Mautgebühren über 100 $, benötigte S3 in einem Test 8,11 Sekunden, um 28 Millionen Zeilen zu verarbeiten, während die VAST DataBase nur 2,27 Sekunden brauchte, um lediglich 2 Zeilen zu verarbeiten. Dies verdeutlicht die Fähigkeit, die Abfrageverarbeitungszeit drastisch zu verkürzen und die Leistung zu steigern.
Datenspeicherung für die Zukunft von AI
Erfahren Sie, wie die VAST DataBase grundlegende Herausforderungen in der Datenverarbeitung löst, indem sie transaktionale und analytische Workloads auf einer einzigen Plattform vereint. Optimieren Sie Ihre Datenpipelines und reduzieren Sie die Betriebskosten drastisch.
