Multimedia de local a S3

Herramientas Social
1

Hola,

Este fin de semana me gustaría pasar el multimedia del espacio local a espacio S3 de Scaleway (dónde ya tenemos contratado el servidor madre2). Esto permitirá migrar el servicio de Mastodon a madre2 (donde no hay suficiente espacio para tenerlo en local.

Es posible que las imágenes remotas anteriores a la migración (es decir las no subidas por anartistas) se pierdan. Si es un problema, decídmelo antes de migrar!

Un saludo!

4 Me gusta
2

Muchas gracias por el aviso maese
Esto significa que si por ejemplo hice un retoot de una publicación de otro servidor con una imagen es probable que se pierda. Peeeero mis imágenes que yo subí en mi cuento se mantendrán ¿correcto?
Un abrazote

3

Hola!

Sí, creo que es eso. Tus imágenes seguro que debería quedarse porque es lo que migraré de un sitio a otro. Lo remoto son bastantes GB y no sé si tiene sentido.

Siempre puedo hacer un media refresh de algunos días anteriores:

2 Me gusta
4

Perfecto!
Muchísimas gracias @marcelcosta <3 <3 <3

2 Me gusta
5

Hola!

Estoy transfiriendo los objetos media del servidor al nuevo bucket de Scaleway. Mientras esté en ello he parado el servicio de Mastodon para evitar inconsistencias.

Saludos y gracias por la paciencia!

1 me gusta
6

Hola!

Ya está hecho el cambio, que documento aquí:

  1. He creado un bucket de Storage S3 en Scaleway (tenemos 3 meses gratis) y lo he configurado tal cómo indican en: Object storage - Mastodon documentation
  2. He parado los servicios de mastodon con sudo systemctl stop mastodon*.
  3. He configurado rclone así:
[scaleway]
type = s3
provider = Scaleway
env_auth = false
access_key_id = XXXXXXXXXXXXXXXXX
secret_access_key = XXXXXXXXXXXXXXXXXXX
region = eu-central-1
endpoint = s3.fr-par.scw.cloud
acl = public-read
storage_class = STANDARD
  1. He copiado los ficheros locales de la carpeta local al S3:
rclone copy --progress --transfers=8 /home/mastodon/live/public/system/accounts/ scaleway:anartist-social/accounts/
rclone copy --progress --transfers=8 /home/mastodon/live/public/system/media_attachments/ scaleway:anartist-social/anartist-social/media_attachments/
rclone copy --progress --transfers=8 /home/mastodon/live/public/system/custom_emojis/ scaleway:anartist-social/anartist-social/custom_emojis/
rclone copy --progress --transfers=8 /home/mastodon/live/public/system/site_uploads/ scaleway:anartist-social/anartist-social/site_uploads/
  1. He cambiado la opción S3_ENABLE en .env.production de false a true y añadido el resto de opciones S3:
S3_ENABLED=true
S3_BUCKET=anartist-social
AWS_ACCESS_KEY_ID=XXXXXXXXXXXXXXX
AWS_SECRET_ACCESS_KEY=XXXXXXXXXXXXXX
S3_REGION=eu-central-1
S3_PROTOCOL=https
S3_HOSTNAME=anartist-social.s3.fr-par.scw.cloud
S3_ENDPOINT=https://anartist-social.s3.fr-par.scw.cloud
S3_PERMISSION=public-read
  1. He reiniciado los servicios de mastodon.
sudo systemctl restart mastodon-web
sudo systemctl restart mastodon-sidekiq
sudo systemctl restart mastodon-streaming
  1. He lanzado el comando para refrescar el contenido remoto en caché:
RAILS_ENV=production ./bin/tootctl accounts refresh --all

Ahora mismo se están recuperando avatares e imágenes remotas del punto 6.

Saludos!

3 Me gusta
7

Gracias por todo el trabajo, espectacular!!
Una pequeña consulta, esto afecta también a Writefreely? No puedo acceder por ahora, me salta un mensaje que dice que “no puede establecer una conexión con el servidor en blog.anartist.org.”

8

Gracias Marcel por todo el trabajo realizado!

1 me gusta
9

De nada!!!

Yo sí puedo acceder al blog… Puedes verlo ahora?

1 me gusta
10

Oh, pues no, no puedo acceder. He probado desde firefox, chrome y nada…

EDITO: He probado con el VPN y carga sin problemas, parece que blog.anartist no carga en Argentina?? rarísimo.