diff --git a/pages/index.md b/pages/index.md index 5308f897ea5..8fbb36f6685 100644 --- a/pages/index.md +++ b/pages/index.md @@ -715,6 +715,7 @@ + [Object Storage - Shared Responsibility RACI](storage_and_backup/object_storage/s3_object_storage_responsibility_model) + [Object Storage - FAQ](storage_and_backup/object_storage/s3_faq) + [Object Storage - Local Zones specifications](storage_and_backup/object_storage/s3_local_zones_limitations) + + [Object Storage - How to migrate from an S3-compatible object storage provider to OVHcloud Object Storage](storage_and_backup/object_storage/s3_migration) + [General guides to start](public-cloud-storage-object-storage-general-guides-to-start) + [Object Storage - Getting started with Object Storage](storage_and_backup/object_storage/s3_getting_started_with_object_storage) + [Object Storage - Identity and access management](storage_and_backup/object_storage/s3_identity_and_access_management) @@ -1852,6 +1853,7 @@ + [Object Storage - Use Object Storage with Owncloud](storage_and_backup/object_storage/s3_owncloud) + [Object Storage - Use Object Storage with Cohesity NetBackup](storage_and_backup/object_storage/s3_cohesity_netbackup) + [Object Storage - Manage an Object Storage bucket with Terraform](storage_and_backup/object_storage/s3_terraform) + + [Object Storage - How to migrate from an S3-compatible object storage provider to OVHcloud Object Storage](storage_and_backup/object_storage/s3_migration) + [Cold Archive Storage Class Specifics](storage-object-storage-cold-archive-storage-class-specifics) + [Cold Archive - Getting started with Cold Archive](storage_and_backup/object_storage/cold_archive_getting_started) + [Cold Archive - Overview](storage_and_backup/object_storage/cold_archive_overview) diff --git a/pages/storage_and_backup/object_storage/s3_migration/guide.en-gb.md b/pages/storage_and_backup/object_storage/s3_migration/guide.en-gb.md new file mode 100644 index 00000000000..b89c663385b --- /dev/null +++ b/pages/storage_and_backup/object_storage/s3_migration/guide.en-gb.md @@ -0,0 +1,188 @@ +--- +title: Object Storage - How to migrate from an S3-compatible object storage provider to OVHcloud Object Storage +excerpt: This guide provides details on how to migrate from an S3-compatible object storage provider to OVHcloud Object Storage using Rclone +updated: 2025-09-08 +--- + +## Objective + +This guide provides detailed steps to help you migrate from a third-party S3-compatible object storage provider to OVHcloud Object Storage using the popular [Rclone](https://rclone.org/) tool, a command-line tool that can be used to manage cloud storage resources. + +> [!warning] +> +> OVHcloud provides services which you are responsible for with regard to their configuration and management. You are therefore responsible for ensuring they function correctly. +> +> This guide is designed to assist you in common tasks as much as possible. If you encounter any difficulties performing these actions, please contact a [specialist service provider](/links/partner) and/or discuss the issue with our [community of users](/links/community). OVHcloud cannot provide you with technical support in this regard. +> + +## Requirements + +- An **S3-compatible source bucket** in your current object storage with: + - Your bucket name + - Your associated access and secret keys + - The associated region ID +- An **OVHcloud Object Storage destination bucket** with: + - Your bucket name + - Your associated access and secret keys + - The associated region ID +- An **OVHcloud virtual machine** with Rclone installed working as the management workstation in our scenario. To get the best results, within your budget, we suggest at least the following specifications: + - b3-16: 4 v-cores and 16 GB of RAM + - c3-16: 8 v-cores and 16 GB of RAM + +> [!primary] +> +> If this is your first time creating an Object Storage bucket, read our guide [Getting Started with Object Storage](/pages/storage_and_backup/object_storage/s3_getting_started_with_object_storage). +> + +## Migration Process + +![Architecture](images/move-to-cloud-object-storage.png){.thumbnail} + +See the diagram above for an illustration of the architecture. An OVHcloud Public Cloud virtual machine acts as an entry point, on which Rclone (installed with SSH and sudo access enabled) moves data to OVHcloud Object Storage. + +## Considerations + +### Egress + +Egress fees may apply when migrating from your current platform, depending on your provider. The term “egress” describes the volume of data transferred from the provider’s network. **We highly recommend reviewing your current provider’s egress pricing** before starting the migration. + +### Migration speed optimisation + +Keep in mind that several factors could affect how long migration takes. Consider not only the volume of data you plan to migrate but also the quantity and size of individual objects. Infrastructure and network limitations (bandwidth, computing power, network interfaces, etc.) could also affect performance. + +### Data volume + +This guide mainly **focuses on data migration for small to medium volumes (generally under 200 TB)**. For applications needing migration of hundreds or thousands of terabytes, we suggest contacting our [Professional Services](/links/professional-services) team for identifying the best approaches for migrating your data. + +## Instructions + +### Step 1 - Preparing your S3-compatible source bucket + +As explained before you will need your `access key`, `secret key` but also the `region ID` in which your bucket is. Connect to your source bucket provider console to get those details. + +### Step 2 - Preparing your OVHcloud destination bucket + +Similar to your source bucket, you will need your `access key`, `secret key` but also the `region ID` for your destination bucket. Log in to the [OVHcloud Control Panel](/links/manager) and navigate to the `Object Storage`{.action} section to collect those details. + +### Step 3 - Installing, configuring and running Rclone + +#### Step 3.1 - Installing Rclone + +If you haven’t done it already, install **Rclone** by following the instructions from its [documentation](https://rclone.org/install/), based on your OS configuration. + +#### Step 3.2 - Configuring Rclone + +After installing **Rclone** on your virtual machine, configure its connection to both the source and destination buckets. + +```bash +$ rclone config +``` + +This command will open the configuration menu and will guide you step by step with the configuration. The official OVHcloud provider configuration is available and will guide you step by step. Follow the steps available [here](https://rclone.org/s3/#ovhcloud). + +You can also create/modify the configuration file yourself with the following command: + +```bash +$ rclone config file +``` + +If the configuration file doesn’t exist, you’ll be prompted to add the following configuration using your preferred editor. For example, on Linux you can use `nano` : + +```bash +$ nano /home//.config/rclone/rclone.conf +``` + +Then, add your configuration blocks: + +```bash +[] +type = s3 +provider = +env_auth = false +access_key_id = +secret_access_key = +region = + +[ovhcloud] +type = s3 +provider = OVHcloud +env_auth = false +access_key_id = OVH-ACCESS-KEY +secret_access_key = OVH-SECRET-KEY +endpoint = s3..io.cloud.ovh.net +region = +``` + +> [!primary] +> +> To get the list of OVHcloud region endpoints, see [Object Storage - Endpoints and Object Storage geoavailability](/pages/storage_and_backup/object_storage/s3_locations). +> + +You can then test your source provider and your OVHcloud connections using the `rclone config` command by as below: + +```bash +$ rclone config +``` + +#### Step 3.3 - Running Rclone + +Depending on your strategy you can use two different commands to start the migration. Either you use the `rclone sync` command to start the migration of one or all buckets. As detailed in the documentation, the `rclone sync`command will make source and destination identical. Be careful then when using it. + +You can also use the `rclone copy` command that will copy files from your source to your destination. +In both cases, remember to change `source-bucket-name` and `ovh-bucket-name` to your S3-compatible source provider and OVHcloud Object Storage bucket names, respectively: + +```bash +$ rclone sync :source-bucket-name/ ovhcloud:ovh-bucket-name/ --progress +``` + +or: + +```bash +$ rclone copy :source-bucket-name/ ovhcloud:ovh-bucket-name/ --progress +``` + +`--progress` shows progress during transfer. + +In order to leverage the rclone WebUI GUI you can also use the following command: + +```bash +$ rclone copy :source-bucket-name/ ovhcloud:ovh-bucket-name/ --transfers 50 --rc --rc-addr :5572 --rc-web-gui --rc-user USERNAME --rc-pass PASSWORD +``` + +In this command we added specific flags to optimize and monitor the copy: + +- `--transfers` represents the number of file transfers to run in parallel (default 4). Test different value based on your use case and your configuration as high values may increase CPU usage for example. +- `--rc` enables the remote control server +- `--rc-addr :5572` represents the address and the port used to access rclone’s WebUI GUI. Port 5572 is the default port used by Rclone to securely access the WebUI. +- `--rc-web-gui` launches WebGUI on localhost +- `--rc-user USERNAME` `--rc-pass PASSWORD` are your user and password for authentication. Make sure to enter the right credentials. + +> [!primary] +> +> Many other flags are available with rRlone. You can get them on the [Rclone documentation](https://rclone.org/commands/rclone/). +> + +With the copy process set up, you can now begin monitoring the migration process using Rclone’s WebUI GUI. + +In your preferred web browser, use port 5572 to reach your instance’s address: `http://IP-ADDRESS:5572`. + +You’ll need to log in using your rclone credentials: `--rc-user` and `–rc-pass`. + +Once you’re logged in, you can track the `rclone copy` command’s progress: check job status, throughput, bandwidth, object count, and total data volume. From the GUI, you can also manage new remotes and new actions. + +#### Migration status + +We recommend comparing the source and destination buckets after migration. Your source and OVHcloud destination buckets can be compared via command line or their respective control panels. + +You can check the size of both buckets and number of objects using this command line: + +```bash +rclone size :source-bucket-name/ +rclone size ovhcloud:ovh-bucket-name/ +``` + +## Go further + +If you need training or technical assistance to implement our solutions, contact your sales representative or click on [this link](/links/professional-services) to get a quote and ask our Professional Services experts for assisting you on your specific use case of your project. + +Join our [community of users](/links/community). diff --git a/pages/storage_and_backup/object_storage/s3_migration/guide.fr-fr.md b/pages/storage_and_backup/object_storage/s3_migration/guide.fr-fr.md new file mode 100644 index 00000000000..6be4dc73e7b --- /dev/null +++ b/pages/storage_and_backup/object_storage/s3_migration/guide.fr-fr.md @@ -0,0 +1,189 @@ +--- +title: "Object Storage - Comment migrer d'un fournisseur de stockage objet compatible S3 vers OVHcloud Object Storage" +excerpt: "Ce guide fournit des détails sur la façon de migrer d'un fournisseur de stockage objet compatible S3 vers OVHcloud Object Storage en utilisant l'outil Rclone" +updated: 2025-09-08 +--- + +## Objectif + +Ce guide fournit des étapes détaillées pour vous aider à migrer d'un fournisseur de stockage objet tiers compatible S3 vers OVHcloud Object Storage en utilisant [Rclone](https://rclone.org/), un outil en ligne de commande très populaire qui peut être utilisé pour gérer les ressources de stockage cloud. + +> [!warning] +> +> OVHcloud fournit des services dont vous êtes responsable en ce qui concerne leur configuration et leur gestion. Vous êtes donc responsable de vous assurer qu'ils fonctionnent correctement. +> +> Ce guide est conçu pour vous aider dans les tâches courantes autant que possible. Si vous rencontrez des difficultés pour effectuer ces actions, veuillez contacter un [fournisseur de services spécialisés](/links/partner) et/ou discuter du problème avec notre [communauté d'utilisateurs](/links/community). OVHcloud ne peut pas vous fournir de support technique à cet égard. +> + +## Prérequis + +- Un **bucket source compatible S3** dans votre stockage objet actuel avec : + - Le nom de votre bucket + - Les `access key` et `secret key` associées + - L'ID de la région associée +- Un **bucket de destination OVHcloud Object Storage** avec : + - Le nom de votre bucket + - Les `access key` et `secret key` associées + - L'ID de la région associée +- **Une machine virtuelle OVHcloud** avec Rclone installé en tant que station de contrôle dans notre scénario. Pour obtenir les meilleurs résultats, et en prenant en compte votre budget, nous suggérons au moins les spécifications suivantes : + - b3-16 : 4 v-cores et 16 Go de RAM + - c3-16 : 8 v-cores et 16 Go de RAM + + +> [!primary] +> +> Si c'est la première fois que vous créez un bucket Object Storage, consultez notre guide de [premiers pas avec Object Storage](/pages/storage_and_backup/object_storage/s3_getting_started_with_object_storage). +> + +## Processus de migration + +![Architecture](images/move-to-cloud-object-storage.png){.thumbnail} + +Voir le diagramme ci-dessus pour une illustration de l'architecture. Une machine virtuelle OVHcloud agit en tant que point d'entrée, sur laquelle Rclone (installé avec SSH et sudo activé) déplace les données vers OVHcloud Object Storage. + +## Considérations + +### Egress + +Des frais d'*egress* (sortie) peuvent s'appliquer lors de la migration de votre plateforme actuelle, selon votre fournisseur source. Le terme « egress » décrit le volume de données transférées du réseau de ce fournisseur. **Nous vous recommandons vivement de consulter les tarifs d'egress de votre fournisseur actuel** avant de commencer la migration. + +### Optimisation de la vitesse de migration + +Gardez à l'esprit que plusieurs facteurs peuvent impacter la durée de la migration. Considérez non seulement le volume de données que vous prévoyez de migrer, mais également la quantité et la taille des objets individuels. Les limitations d'infrastructure et de réseau (bande passante, puissance de calcul, interfaces réseau, etc.) peuvent également affecter les performances. + +### Volume de données + +Ce guide se concentre principalement sur la **migration de données pour des volumes petits à moyens (généralement inférieurs à 200 To)**. Pour les applications nécessitant la migration de centaines ou de milliers de téraoctets, nous suggérons de contacter notre équipe [Professional Services](/links/professional-services) pour identifier les meilleures approches pour migrer vos données. + +## En pratique + +### Étape 1 - Préparation de votre bucket source S3-compatible + +Comme expliqué précédemment, vous aurez besoin de vos `access key` et `secret key` mais également du `region ID` de la région dans laquelle se trouve votre bucket. Connectez-vous à la console de votre fournisseur de bucket source pour obtenir ces détails. + +### Étape 2 - Préparation de votre bucket de destination OVHcloud + +De même que pour votre bucket source, vous aurez besoin de vos `access key` et `secret key` mais également du `region ID` de la région dans laquelle se trouve votre bucket de destination. Connectez-vous à l'[espace client OVHcloud](/links/manager) et accédez à la section `Object Storage`{.action} pour récupérer ces informations. + +### Étape 3 - Installation, configuration et exécution de Rclone + +#### Étape 3.1 - Installation de Rclone + +Si vous ne l'avez pas déjà fait, installez **Rclone** en suivant les instructions de la [documentation](https://rclone.org/install/), en fonction de votre configuration de système d'exploitation. + +#### Étape 3.2 - Configuration de Rclone + +Après avoir installé **Rclone** sur votre machine virtuelle, configurez sa connexion aux buckets source et de destination. + +```bash +$ rclone config +``` + +Cette commande ouvrira le menu de configuration et vous guidera étape par étape pour la configuration. Le provider officiel OVHcloud est disponible et vous guidera étape par étape. Consultez-le [ici](https://rclone.org/s3/#ovhcloud). + +Vous pouvez également créer/modifier le fichier de configuration vous-même avec la commande suivante : + +```bash +$ rclone config file +``` + +Si le fichier de configuration n'existe pas, vous serez invité à ajouter les blocs de configuration suivants en utilisant votre éditeur préféré. Par exemple, sous Linux, vous pouvez utiliser `nano` : + +```bash +$ nano /home//.config/rclone/rclone.conf +``` + +Ajoutez ensuite vos blocs de configuration : + +```bash +[] +type = s3 +provider = +env_auth = false +access_key_id = +secret_access_key = +region = + +[ovhcloud] +type = s3 +provider = OVHcloud +env_auth = false +access_key_id = OVH-ACCESS-KEY +secret_access_key = OVH-SECRET-KEY +endpoint = s3..io.cloud.ovh.net +region = +``` + +> [!primary] +> +> Pour obtenir la liste des endpoints des régions OVHcloud, consultez [Object Storage - Endpoints and disponibilités géographiques](/pages/storage_and_backup/object_storage/s3_locations). +> + +Vous pouvez ensuite tester vos connexions source et OVHcloud en utilisant la commande `rclone config` comme suit : + +```bash +$ rclone config +``` + +#### Étape 3.3 - Exécution de Rclone + +En fonction de votre stratégie, vous pouvez utiliser deux commandes différentes pour démarrer la migration. Vous pouvez utiliser la commande `rclone sync` pour démarrer la migration d'un ou de plusieurs buckets. Comme expliqué dans la documentation, la commande `rclone sync` rendra les buckets source et de destination identiques. + +Vous pouvez également utiliser la commande `rclone copy` pour copier les fichiers de votre source vers votre destination. +Dans les deux cas, n'oubliez pas de remplacer `source-bucket-name` et `ovh-bucket-name` par les noms de vos buckets source et de destination, respectivement : + +```bash +$ rclone sync :source-bucket-name/ ovhcloud:ovh-bucket-name/ --progress +``` + +ou : + +```bash +$ rclone copy :source-bucket-name/ ovhcloud:ovh-bucket-name/ --progress +``` + +`--progress` affiche la progression pendant le transfert. + +Pour utiliser la WebUI de Rclone, vous pouvez également utiliser la commande suivante : + +```bash +$ rclone copy :source-bucket-name/ ovhcloud:ovh-bucket-name/ --transfers 50 --rc --rc-addr :5572 --rc-web-gui --rc-user USERNAME --rc-pass PASSWORD +``` + +Dans cette commande, nous avons ajouté des options spécifiques pour optimiser et surveiller la copie : + +- `--transfers` représente le nombre de transferts de fichiers à exécuter en parallèle (par défaut 4). Testez différentes valeurs en fonction de votre cas d'utilisation et de votre configuration, car des valeurs élevées peuvent augmenter l'utilisation du processeur, par exemple. +- `--rc` active le serveur de contrôle à distance. +- `--rc-addr :5572` représente l'adresse et le port utilisés pour accéder à l'interface web de Rclone. Le port 5572 est le port par défaut utilisé par Rclone pour accéder de manière sécurisée à l'interface web. +- `--rc-web-gui` lance l'interface web sur localhost. +- `--rc-user USERNAME` `--rc-pass PASSWORD` sont vos identifiants et mot de passe pour l'authentification. Assurez-vous de saisir les informations d'identification correctes. + +> [!primary] +> +> De nombreuses autres options sont disponibles avec Rclone. Vous pouvez les consulter dans la [documentation](https://rclone.org/commands/rclone/). +> + +Avec le processus désormais configuré, vous pouvez maintenant commencer à surveiller le processus de migration en utilisant l'interface web de Rclone. + +Dans votre navigateur web préféré, utilisez le port 5572 pour accéder à l'adresse de votre instance : `http://IP-ADDRESS:5572`. + +Vous devrez vous connecter en utilisant vos identifiants Rclone : `--rc-user` and `–rc-pass`. +Une fois connecté, vous pouvez suivre la progression de la commande `rclone copy` : vérifiez le statut de la tâche, le débit, la bande passante, le nombre d'objets et le volume total de données. À partir de l'interface web, vous pouvez également gérer de nouveaux remotes et de nouvelles actions. + +#### État de la migration + +Nous vous recommandons de comparer les buckets source et de destination après la migration. Vos buckets source et de destination OVHcloud peuvent être comparés via la ligne de commande ou leurs consoles respectives. + +Vous pouvez également vérifier la taille des deux buckets et le nombre d'objets en utilisant cette commande : + +```bash +rclone size :source-bucket-name/ +rclone size ovhcloud:ovh-bucket-name/ +``` + +## Allez plus loin + +Si vous avez besoin d'une formation ou d'une assistance technique pour la mise en oeuvre de nos solutions, contactez votre commercial ou cliquez sur [ce lien](/links/professional-services) pour obtenir un devis et demander une analyse personnalisée de votre projet à nos experts de l’équipe Professional Services. + +Échangez avec notre [communauté d'utilisateurs](/links/community). + diff --git a/pages/storage_and_backup/object_storage/s3_migration/images/move-to-cloud-object-storage.png b/pages/storage_and_backup/object_storage/s3_migration/images/move-to-cloud-object-storage.png new file mode 100644 index 00000000000..993d3e65ecf Binary files /dev/null and b/pages/storage_and_backup/object_storage/s3_migration/images/move-to-cloud-object-storage.png differ diff --git a/pages/storage_and_backup/object_storage/s3_migration/meta.yaml b/pages/storage_and_backup/object_storage/s3_migration/meta.yaml new file mode 100644 index 00000000000..5b6a12bfffc --- /dev/null +++ b/pages/storage_and_backup/object_storage/s3_migration/meta.yaml @@ -0,0 +1,3 @@ +id: 12e429d2-c515-42c8-b160-19484a51d449 +full_slug: public-cloud-storage-object-storage-migrate-from-s3-to-ovhcloud +reference_category: public-cloud-storage-object-storage-general-information \ No newline at end of file