Clusterward
Object Storage

Object Storage mit eigenem Schlüssel pro Anwendung

Clusterward legt Scaleway-Buckets an, prägt pro Anwendung einen eigenen IAM-Schlüssel mit passender Bucket-Policy und kopiert bestehende S3-Buckets hinein. Gelöscht wird nur, was leer ist.

Object Storage im Clusterward-Cockpit
Vereinfachte Ansicht im Clusterward-Cockpit: Object Storage
Illustration: vereinfachte Darstellung. In der Anwendung sehen Sie mehr Details und Optionen.
Kurz erklärt

Was Object Storage in Clusterward ist

Object Storage in Clusterward ist die Verwaltung von Scaleway-S3-Buckets aus dem Cockpit. Ein Provider ist ein Scaleway-Projekt, eingetragen als dessen IAM-Schlüssel; der Schlüssel entscheidet, in welchem Projekt Buckets entstehen. Buckets werden privat oder öffentlich angelegt und erhalten auf Wunsch einen dedizierten IAM-Schlüssel, der aus einer IAM-Anwendung, einer Projekt-Policy und einem API-Schlüssel besteht. Die Bucket-Policy lässt genau diese Anwendung zu und, bei öffentlichen Buckets, anonymes Lesen. Ein Schlüssel kann mehrere Buckets derselben Anwendung bedienen.

Auf einen Blick

Provider
Ein Scaleway-Projekt = ein IAM-Schlüssel, vor dem Speichern geprüft
Buckets
Privat oder öffentlich, Sichtbarkeit bei Erstellung
Schlüssel
Dedizierter IAM-Schlüssel pro Anwendung, lesbar im Cockpit
Policy
Bucket-Policy mit Anwendung, Provider und Konsole
Import
Kopie aus jedem externen S3-Bucket, nie Löschen
Löschen
Nur leere, registrierte Buckets nach Eintippen
So läuft es ab

Vom Projekt zum Bucket

  1. 01

    Provider anlegen

    IAM-Schlüssel des Projekts eintragen; Clusterward prüft ihn mit ListBuckets und erkennt Projekt und Organisation.

  2. 02

    Bucket anlegen

    Name, Region und Sichtbarkeit wählen. Ein bereits existierender Bucket wird nie stillschweigend übernommen.

  3. 03

    Schlüssel prägen

    Neuer dedizierter Schlüssel oder ein bestehender derselben Anwendung.

  4. 04

    Policy schreiben

    Bucket-Policy mit Anwendung, Provider-Principal und optional anonymem Lesen.

  5. 05

    Verbinden

    Access Key, Secret Key, Endpoint und Region im Cockpit kopieren.

Was drin ist

Was Object Storage in Clusterward mitbringt

Die IAM-Details, die bei Scaleway leicht schiefgehen, sind hier einmal richtig gelöst.

Provider mit erkanntem Projekt

Der IAM-Schlüssel wird vor dem Speichern per ListBuckets geprüft, verschlüsselt abgelegt und nie ausgegeben. Projekt, Organisation und Principal erkennt Clusterward über die IAM-API.

Dedizierter Schlüssel pro Anwendung

IAM-Anwendung, Policy und API-Schlüssel entstehen zusammen. Ein Schlüssel bedient den öffentlichen und den privaten Bucket derselben Anwendung.

Bucket-Policy, die funktioniert

Scaleway braucht beide Seiten: IAM-Policy und Bucket-Policy. Die Policy nennt die Anwendung, den Provider und Ihre Konsolen-Nutzer, sonst bleibt der Files-Tab leer.

Öffentlich oder privat

Ein öffentlicher Bucket bekommt die public-read-ACL und anonymes Lesen in der Policy. Die Sichtbarkeit wird bei der Erstellung festgelegt.

Import aus bestehenden Buckets

Objekte aus einem externen S3-Bucket unter einem Präfix in einen eigenen Bucket kopieren, mit Fortschritt und Abbruch. Kopieren und überschreiben, nie löschen.

Archiv vor dem Löschen

Beim Tenant-Offboarding wird ein gefüllter Bucket als ZIP in Ihren Backup-Bucket geladen und erst dann geleert. Ohne bestätigtes Archiv bleibt er stehen.

Standards statt Eigenbau

S3-kompatibel, ohne SDK

  • SigV4

    Signierte Anfragen direkt gegen die Scaleway-Endpunkte, geprüft gegen die AWS-Testvektoren.

  • Scaleway IAM

    Anwendungen, Policies und API-Schlüssel über die IAM-API.

  • Bucket-Policy

    Version 2023-04-17, mit Console-Access-Statement für Ihre Nutzer.

  • Streaming

    Objekte werden gestreamt kopiert, Content-Type inklusive.

Was sich ändert

Buckets mit und ohne Clusterward

Fakten

Grenzen des Imports

Der Import läuft im Clusterward-Dienst, weil Object Storage öffentlich erreichbar ist. Die Grenzen halten ihn kalkulierbar.

GrenzeWertVerhalten
Einzelobjekt2 GiBGrößere Objekte werden übersprungen und gezählt
Gesamtvolumenca. 20 GiB pro LaufDarüber wird der Lauf vor dem Start abgelehnt
Objektzahlca. 50.000 pro LaufDarüber wird der Lauf vor dem Start abgelehnt
Parallel2 Kopien gleichzeitigWeitere warten in der Queue
WiederholungKopieren und überschreibenEin zweiter Lauf ist idempotent
Weiterführend

Object Storage im Zusammenspiel

In einer Pipeline legt der Bucket-Baustein pro Tenant ein Bucket-Paar mit eigenem Schlüssel an und reicht die Zugangsdaten erst zur Laufzeit weiter, beschrieben unter Tenant-Pipelines. Die Zugangsdaten landen in den verschlüsselten Variablen des Deployments.

Datenbank-Dumps und Bucket-Archive aus dem Offboarding liegen im Backup-Bucket Ihres Workspaces, siehe Managed Datenbanken.

Verwandte Funktionen

Was dazu gehört

Tenant-Pipelines

Kunden-Onboarding als Bausteine, in unter einer Minute live.

Zu Tenant-Pipelines
FAQ

Häufige Fragen zu Object Storage

  • Ein Scaleway-Projekt, eingetragen als dessen IAM-Schlüssel. Weil ein IAM-Schlüssel genau einem Object-Storage-Projekt gehört, ist die Registrierung des Schlüssels zugleich die Projektauswahl. Clusterward prüft den Schlüssel per ListBuckets, speichert ihn verschlüsselt und zeigt Projekt und Organisation auf der Karte.

Ihre Frage ist nicht dabei? Schreiben Sie uns, wir antworten in der Regel am selben Werktag.

Frage stellen

Buckets in der Demo anlegen

Wir registrieren Ihr Projekt, legen ein Bucket-Paar mit eigenem Schlüssel an und prüfen die Policy in der Scaleway-Konsole.