Investigate: How to proceed with large numbers of files
Aus Planungsissue https://gitlab.indiscale.com/caosdb/internal/all/-/issues/1501:
Performance mit großen Dateimengen
Relevant vor allem für UMG, möglicherweise auch für andere Kund:innen. Einlesen von ~10^6 Dateien dauert enorm lange (> 3 Tage), währenddessen ist das System nicht benutzbar.
-> Untersuchung zu Performance: Wie kann das besser werden? Was hilft möglicherweise das neue Filebackend (Directories und nur relevante Files?)?
Hier müssen wir erstmal weitere Untersuchungen anstellen und das Problem konkretisieren, danach dann auch auf die UMG zugehen und schauen, ob die hier Performanceverbesserungen kaufen wollen.
DoD
-
Problem konkretisiert: Was dauert lange? Wo kann das angegangen werden? Gibt es Alternativen? Muss das das System blockieren oder darf das Hinzufügen von Files im Hintergrund laufen? -
Untersucht, was mit neuem Filebackend besser werden kann.
Edited by Henrik tom Wörden