Hugo : Déploiement SFTP

Description

Pour déployer un site fait avec le générateur de site statique Hugo, il existe plusieurs solutions :

• la plus simple est l’usage de l’outil rsync .
• Il existe des “solutions” de déploiement selon le type de services que vous utilisez.
• je vais vous en présenter une troisième solution tenant compte du fait que votre utilisateur SSH soit soumis au chroot SSH.

Dans le contexte de déploiement “simple”, il suffit de créer le script de déploiement nommé deploy à la racine du projet Hugo !

Utilisation

rsync

Déployer un site avec rsync est très simple. rsync est l’outil pour de la synchronisation de données ; il le fait, et il le fait bien.

Après avoir installé l’outil :

• sous Debian/*Buntu : # apt install rsync
• sous OpenBSD : # pkg_add rsync - pour information, depuis OpenBSD v6.5, il existe nativement dans le système de base, l’outil openrsync ; reproduisant le comportement de rsync, il est asujetti au même problème décrit ci-dessous -

En assumant le fait que vous avez une authentification SSH sur le serveur où vous désirez vous synchroniser, et mieux une authentification par clé SSH.

#!/bin/sh

user=userid
host=servername
port=22

dir_dist=/remote_folder/
file_id="$HOME/.ssh/id_ed25519"

hugo && rsync -avz --delete -e "ssh -i ${file_id} -p ${port}" public/ "${user}"@"${host}":"${dir_dist}"

• userid est l’identifiant utilisateur SSH
• servername est le nom FQDN ou l’adresse IP du serveur SSH vers lequel se connecter
• remote_folder est le nom réel du répertoire distant sur lequel se connecter.

Cet exemple montre le déploiement d’un site avec rsync utilisant une connexion SSH.

SshFS

SshFS peut être installé par votre gestionnaire de paquets :

• sous Debian/*Buntu : # apt install sshfs
• sous OpenBSD : # pkg_add sshfs

L’avantage de SshFS est que c’est un outil qui permet de se connecter que votre utilisateur SSH soit soumis ou non à un chroot SSH en montant le répertoire distant dans l’espace utilisateur local. Attention, cela ralentit l’accès réseau, rien de grave, mais à savoir…

Sous OpenBSD, c’est un peu plus délicat ; du fait de fonctionner principalement sur ce SE , j’expliquerais
pour celui-ci. Au cas où, adaptez à votre cas. En effet, sous OpenBSD, il est nécessaire d’avoir des droits administrateur, et il est recommandé d’avoir paramétré doas .

Pour monter localement le système de fichier :
$ doas sshfs -C -p $port -o allow_other -o uid=$(id -u $USER) -o gid=$(id -g $USER) ${id}@${host}:${dir_dist} "${dir_mount}"

Une fois connecté, le répertoire distant est monté localement là où vous le désirez.

C’est le moment d’utiliser rsync mais au lieu de chercher à se connecter - puisque c’est déjà fait -, l’outil va permettre de synchroniser d’un répertoire source local vers le répertoire source distant, monté localement.

rsync s’utilise donc ainsi :
cd "${dir_local}" && rsync -av --delete --human-readable --progress --stats "." "${dir_mount}"

Pour le démonter proprement, ce sera :
$ doas umount "${dir_mount}"

Ceci étant dit, voici à quoi peut ressemble le fichier de déploiement dans ce contexte SshFS + rsync :

#!/bin/sh
#set -x
[ -n "$TERM" ] && clear

ROOT="$(dirname "$(readlink -f -- "$0")")"

id=userid
host=servername
port=22

### the directory where your web site files should go
## dir_dist: relative to chroot SSH
dir_dist="/www/"
dir_local="$ROOT/public/"
dir_mount="$HOME/servers/${id}/"

file_id="$HOME/.ssh/id_ed25519"

rsync_opts="--human-readable --progress --stats "

################################################################################
###
##
#   Fonctions
##
###
################################################################################

_mount() {
    [ ! -d "${dir_mount}" ] && mkdir -p "${dir_mount}"
    # for Debian
    [ -d "${dir_mount}" ] && sshfs -C -p $port -o uid=$(id -u $USER) -o gid=$(id -g $USER) -o IdentityFile="${file_id}" ${id}@${host}:${dir_dist} "${dir_mount}"
    # for OpenBSD
    [ -d "${dir_mount}" ] && doas sshfs -C -p "${port}" -o allow_other -o uid=$(id -u $USER) -o gid=$(id -g $USER) -o IdentityFile="${file_id}" "${id}"@"${host}":"${dir_dist}" "${dir_mount}"
}

_rsync() {

    cd "${dir_local}" || exit
    rsync -av --delete $rsync_opts "." "${dir_mount}"

}

_umount() {
	fusermount -u "${dir_mount}"	# pour Debian
    doas umount "${dir_mount}" # pour OpenBSD   
}

################################################################################
###
##
#   Execution
##
###
################################################################################

hugo
status="$?"

if [ "${status}" -eq 0 ]; then
    if _mount; then
        _rsync
        _umount
    fi
fi

• userid est l’identifiant utilisateur SSH
• servername est le nom FQDN ou l’adresse IP du serveur SSH vers lequel se connecter
• dir_mount est le nom du répertoire local vers lequel le répertoire distant va être monté.

lftp

lftp est un couteau suisse de la connexion réseau. Il fait du FTP, FTPS, de la synchronistation de document, sur IPv4, IPv6, au-travers des protocoles HTTP(S) ; il fait même du trafic bittorent, voire partiellement du WebDAV… et il est capable de se connecter en SFTP !

Voilà le “miracle” : un client réseau sachant faire du mirroring de données en SFTP !!!

Donc, installez avec votre gestionnaire de paquets le binaire :

• sous Debian/*Buntu : # apt install lftp
• sous OpenBSD : # pkg_add lftp

#!/bin/sh
#set -x
[ -n "$TERM" ] && clear

ROOT="$(dirname "$(readlink -f -- "$0")")"

id=userid
host=servername
port=22

### the directory where your web site files should go
## dir_dist: relative to chroot SSH
dir_dist="/www/"
dir_local="$ROOT/public/"

file_id="$HOME/.ssh/id_ed25519"

hugo
lftp -e "set ftp:ssl-allow no; set sftp:connect-program ssh -a -x -i ${file_id}; mirror -e -R ${dir_local} ${dir_dist}; quit;" -p "${port}" sftp://"${id}":"${passwd}"@"${host}"

• userid est l’identifiant utilisateur SSH
• servername est le nom FQDN ou l’adresse IP du serveur SSH vers lequel se connecter

rclone

rclone est un puissant outil en ligne de commande pour gérer le stockage de fichiers à-travers de nombreuses solutions de type nuage informatique, systèmes de fichers divers et variés, mais aussi basiquement par le biais du protocol SFTP.

Installez avec votre gestionnaire de paquets le binaire :

• sous Debian/*Buntu : # apt install rclone
• sous OpenBSD : # pkg_add rclone

La configuration par l’usage de l’option config tel que : $ rclone config

1. Nommez votre accès remote, tel que vous désirez. Ce nom sera à utiliser en tant que nom de connexion.
2. Choisissez absolument la connexion SFTP, en écrivant sftp lorsque l’invite vous pose la question.

L’invite de commande de rclone est en anglais, mais elle est aisée à utiliser. Je vous renvoie à la page de la documentation SFTP, dont la référence est dans la section Documentation ; allez-y absolument faire un tour de lecture !

Le fichier de configuration se trouvera être écrit dans votre répertoire personnel ~/.config/rclone/rclone.conf, par défaut.

Il sera de ce type :

[nom_remote]
type = sftp
host = adresse_ip ou FQDN
user = id_ssh
port = 22
key_file = ~/.ssh/id_ed25519
key_use_agent = true
pubkey_file = ~/.ssh/id_ed25519.pub
use_insecure_cipher = false
md5sum_command = none
sha1sum_command = none

Il ne reste plus qu’à utiliser rclone dans votre script de déploiement d’Hugo :

#!/bin/sh
#set -x
[ -n "$TERM" ] && clear

ROOT="$(dirname "$(readlink -f -- "$0")")"

id=userid
host=servername
port=22

### the directory where your web site files should go
## dir_dist: relative to chroot SSH
dir_dist="/www/"
dir_local="$ROOT/public/"

file_id="$HOME/.ssh/id_ed25519"

rclone_remote="nom_remote"

hugo
rclone sync -i "${dir_local}" "${rclone_remote}":"${dir_dist}"

FIN

Voilà, c’est fini.

Maintenant, vous savez déployer votre site statique Hugo, que avec rsync/ssh, sshfs+rsync, lftp, voire par rclone.

Documentation

La documentation officielle :

• Hugo Documentation : Hosting and deployment > Deployment with rsync
• Le site web de lftp
• La documentation de rclone:sftp