Bisher habe ich gerne den Minio S3 Server zusammen mit meiner Mastodon Instanz metalhead.club genutzt, um dort Mediendateien abzulegen. Doch seit Sommer letzten Jahres nimmt das Minio-Projekt leider einen Verlauf, der mich dazu bewegt hat, mich nach Alternativen umzusehen: Zuerst wurde der interne Dateibrowser aus der Verwaltungsoberfläche gestrichen - kurz darauf wurde dann verkündet, dass Minio nicht mehr als Open Source Projekt weiter gepflegt würde. Außerdem wurde die Verteilung von Minio-Binaries eingestellt. Es gab also keine Updates mehr. Minio ist seitdem effektiv tot - zumindest, was die Community Version angeht.
Mit SeaweedFS habe ich allerdings eine tolle Alternative gefunden, auf die ich meine Mastodon Instanz kürzlich umgestellt habe. Hier beschreibe ich, in welche Probleme ich dabei gelaufen bin und wie ich diese gelöst habe.
Gestern habe ich mir ein kleines Tool geschrieben, das ermittelt, wie die Dateigrößenverteilung in meinem metalhead.club S3 Storage ist.
Wichtig: Das bezieht sich auf den Storage-Layer von meinem Minio-Server - nicht direkt auf die Dateien, wie sie hochgeladen wurden. Minio legt noch Metadateien dazu bzw. integriert kleinere Dateien in eigene Strukturen und legt diese dann im Dateisystem ab. Siehe: Working with Small Objects in AI/ML workloads
Ich wollte trotzdem mal sehen, wie viel Speicher durch Blocksize-Overhead verloren geht.