Der Nutzen der Speicherung von AE Daten in einem modernen Datenbankformat

摘要

Etwa 1985 entschieden wir uns, AE Daten in einem binaren Format zu speichern. Das binare Format bot die schnellste und kompakteste Form der Datenspeicherung und nutzte damit optimal die damals doch recht begrenzte Rechenleistung und Speichergrosse. Dass dieses Format noch heute verwendet wird, spricht fur seine Vorteile, z.B, die unubertroffene Echtzeitanalyserate von uber 100.000 Hits pro Sekunde. Leider fuhrt die Komplexitat des binaren Formats zu einer gewissen Unflexibilitat, da so unterschiedliche Datenarten wie kompakte Hit- und Zeitgetriebene Merkmalsdaten, grossvolumige Wellenformdaten, Anwendertexte (Labels) und andere, verwaltet werden mussen. Dies erschwert das Hinzufugen neuer Merkmale und Funktionen. Nach jahrelanger Analyse moderner Alternativen entschieden wir uns fur das Format SQLite3 und die Datenbankbibliothek SQLite. Nach [1] ist SQLite die meist angewendete "Structured Query Language" (SQL) Datenbank-Bibliothek der Welt. SQLite ist "transaktional", das bedeutet u.A., dass eine Anderung der Daten nur erfolgt, wenn eine Transaktion, einschliesslich Schreibvorgang auf Datei, durch keine der folgenden Storungen unterbrochen wurde: Program Crash, Betriebssystem Crash, oder Stromausfall. Somit ist SQLite mindestens so sicher wie das bisherige Format, wo die "Preallocation" bei o.g. Storungen die Datenrettung in den meisten Fallen ebenfalls ermoglicht. SQLite ist nun in unserer Software (Acquisition32, VisualAE…) stabil und anwendungsreif implementiert. Eine Echtzeitanalyserate von uber 100.000 Hits pro Sekunde wird weiterhin unterstutzt, erfordert aber eine Dual Core CPU. In Zukunft konnen wir das Format so flexibel an neue Anforderungen anpassen wie nie zuvor. Endlich konnen wir vielen Wunschen nach Funktionserweiterungen naher treten. Wir planen die Freigabe einer Softwareversion, die sowohl das neue als auch das bisherige Dateiformat unterstutzt, fur 2013. Anwender, die sofort testen wollen was auf sie zukommt, (Ruckmeldungen erwunscht), erhalten auf Anforderung eine Beta-Version. Es wird Sie uberraschen, wie gut und fehlerfrei die neue Software - auch mit existierenden Daten - funktioniert und wie einfach und Anwender-freundlich der Umstieg erfolgt. Wir hoffen, mit der Implementierung von SQLite zu einem wesentlichen Fortschritt der AE Technologie beizutragen.