Türchen #23: S3 Features

Von Christian Weirich am 23. Dezember 2019

S3 (Amazon Simple Storage Service) von AWS ist schon lange nicht mehr nur Speicherplatz. Einige Kniffe zur Nutzung hatten wir bereits in einem anderen Blogeintrag aufgezeigt. Heute möchten wir auf einige nette Features hinweisen, die vielleicht noch nicht jeder kennt oder genutzt hat. Let’s go!

S3 Replikation

S3 Replikation bedeutet, dass Objekte aus einem Bucket in Region A in einen Bucket in Region B repliziert werden. Diese Funktionalität - zwischen Regionen - besteht schon seit 2015. In diesem Jahr hat sich jedoch einiges geändert:

Es ist nun möglich, Replikationen innerhalb einer Region durchzuführen: Also von einem Bucket in einen anderen innerhalb derselben Region. Von einem Bucket in einen anderen. Gleichwohl ob sich der Bucket in derselben oder einer anderen Region befindet. Darüberhinaus kann die Replikation auf Basis von Prefix oder Tags basieren.

Ein weiteres Highlight - vorgestellt auf der re:Invent 2019 - ist die Replikation mit SLA. Damit garantiert AWS eine Replikation innerhalb von 15 Minuten abzuschliessen. AWS hat dafür einen SLA bereitgestellt und natürlich gibt es Metriken in CloudWatch zur Kontrolle. Sollte also eine Replikation für ein Objekt nicht in 15 Minuten abgeschlossen sein, so kann ein individueller Prozess angestossen werden. Der SLA besagt, dass in 15 Minuten oder weniger, 99,9 % aller Objekte repliziert werden.

S3 Batch Operations

Fast unscheinbar erscheint der Punkt aktuell auf der linken Menüleiste im AWS S3 Service (GUI). S3 Batch Operations erlaubt die Umsetzung von Änderungen über große Mengen an Objekten, die manuell sicherlich wenig Spaß bereiten.

Folgende Möglichkeiten bestehen:

Tags ändern
Zugriffsrechte ändern
Objekte kopieren
Objekte aus Glacier zurücksichern
Lambda Funktionen ausführen

An dieser Stelle wird auch mit dem letzten Punkt klar, wie mächtig diese Funktionalität ist. Die Integration von Lambda macht einiges möglich.

Kostenreduktion mit S3 Intelligent Tiering

Ein ziemlich geniales Feature ist das neu eingeführte S3 Intelligent Tiering von AWS. Was daran so genial ist? Man nnutzt S3 Intelligent Tierung und AWS kümmert sich darum, dass nicht benötigte Objekte nach einiger Zeit ohne Zugriff in einem anderen Tier (Infrequent Access) gespeichert werden. Das senkt die Kosten, aber der Zugriff erfolgt in der gleichen Geschwindigkeit.

Das Kostenmodell von AWS führt beim Intelligent Tiering zusätzlich noch Kosten auf für “Monitoring und Automation”. Wer jedoch große Datenmengen permanent im Zugriff haben möchte - für den Fall der Fälle - der findet mit S3 Intelligent Tiering eine großartige Kosteneinsparmöglichkeit.

Access Analyzer für S3

Einige von Euch warteten sicherlich schon auf ein solches Feature. Nun ist es da. Was kann der Access Analyzer für S3?

Der Access Analyzer überwacht Zugriffsrichtlinien. Er warnt, wenn ein Bucket so konfiguriert ist, dass ein öffentlicher Zugriff erlaubt ist. Der Access Analyzer gibt einen Überblick über Zugriffe und bringt Transparenz. Auch hier lohnt sich ein Blick in die Dokumentation.

Individueller Namespace mit S3 Zugriffspunkten (S3 Access Points)

Und noch eine interessante Idee, für all diejenigen, die genervt sind von weltweit einmaligen Namen in S3. Mit S3 Zugriffspunkten besteht die Möglichkeit einen Namen der Wahl zu verwendenDie ARNs sehen dann wie folgt aus:

arn:aws:s3:region:account-id:accesspoint/access-point-name/object/resource.

Ein Zugriff auf einen Bucket über einen S3 Access Point (virtual-host-style) kann ausschlißelich über HTTPS erfolgen und der Hostname würde dann wie folgt aussehen:

access-point-name.s3-accesspoint.region.amazonaws.com