Kürzlich habe ich für einen Kunden den S3-Storage für eine Mastodon Instanz von Minio S3 auf ein extern gehostetes Hetzner S3 umgestellt. Das bringt auch eine Änderung bei der Datensicherung mit sich: Statt einfach nur das lokale Minio-Dateisystem zu sichern, muss sich für das Hetzner S3 Bucket eine andere Lösung überlegt werden. Im Folgenden will ich meine Lösung dafür aufzeigen.

Weiterlesen

Im Auftrag eines Kunden hatte ich kürzlich die Aufgabe, ein S3 Bucket für eine Mastodon-Instanz von einer selbst gehosteten Minio-Instanz zu Hetzner S3 zu übertragen. Das Vorgehen und meine genutzten Konfigurationen will ich hier erklären.

Weiterlesen

Seit der großen Twitter-Welle, die das Mastodon-Netzwerk bzw. das Fediverse im weiteren Sinne im Herbst und Winter 2022 geflutet hat, spielen internationale User für den metalhead.club eine größere Rolle. Der Service ist vollständig in Deutschland gehostet und das war bis vor kurzem auch noch so. Doch mit der steigenden Zahl von internationalen Mitgliedern kommen auch neue Herausforderungen: Beispielsweise die der zügigen Content-Auslieferung.

Solange sich die Nutzer hauptsächlich in Deutschland und Europa befinden, sind die Latenzzeiten zum “Full Metal Server” in Frankfurt gering. Anders sieht es aber beispielsweise für die Nutzer aus Kanada, aus den USA und aus Australien aus, von denen es eine nicht zu unterschätzende Zahl im metalhead.club gibt. Für diese Nutzer war die Nutzung von metalhead.club manchmal ein kleines Geduldsspiel, denn vor allem Videos und größere Bilder erschienen nur mit einer kleinen Verzögerung auf der Website. Ich kann die Situation nur im Browser simulieren, doch bereits ein Ping von mehr als 200 ms verdirbt einem an so mancher Stelle den Spaß am Durchscrollen der Timeline.

Weiterlesen

Gestern habe ich mir ein kleines Tool geschrieben, das ermittelt, wie die Dateigrößenverteilung in meinem metalhead.club S3 Storage ist.

Wichtig: Das bezieht sich auf den Storage-Layer von meinem Minio-Server - nicht direkt auf die Dateien, wie sie hochgeladen wurden. Minio legt noch Metadateien dazu bzw. integriert kleinere Dateien in eigene Strukturen und legt diese dann im Dateisystem ab. Siehe: Working with Small Objects in AI/ML workloads

Ich wollte trotzdem mal sehen, wie viel Speicher durch Blocksize-Overhead verloren geht.

Weiterlesen