A part ça, je n'ai toujours pas compris quelle était la différnece entre "l'indexation multimedia" (panneau de configuration de DSM) et "indexation des fichiers" (universal search). Je continue de chercher ...



 Contrôler l'indexation multimedia du synology
Après une migration de données, ou des copies en masse de fichiers, il se peut que votre Synology passe des jours / semaines / ... à réanalyser vos données (photo / music / vidéo). On ne sait pas trop ce qu'il fait, la barre de progression semble scotchée, on ne sait pas ce qu'il se passe...

Voilà quelques tips pour savoir où on en est ...
(nécessite un accès SSH sur le Synology)

    Les fichiers d'instruction de l'indexation et de génération des miniatures

Le répertoire /var/spool contient l'état de l'indexation, les listes des actions à réaliser et les répertoires à traiter.

conv_progress_photo & conv_progress_video
informe sur l'état d'avancement des conversions sans donner de détail :

    total=3621
    total_thumb=14484
    completed=3616
    completed_thumb=14464

Ça correspond à ce qui est affiché dans le DSM, en haut à droite, derrière l'icone de progression.
On constate ici que pour chaque image, 4 miniatures (thumbs) sont crées, par exemple pour la photo DSC01340.JPG, le répertoire  @eaDir/DSC01340.JPG contient :

    SYNOPHOTO_THUMB_B.jpg
    SYNOPHOTO_THUMB_M.jpg
    SYNOPHOTO_THUMB_S.jpg
    SYNOPHOTO_THUMB_XL.jpg


syno_indexing_queue & syno_indexing_queue.tmp
Liste les instructions d'indexation dans la pile des actions à venir (R : reindex, A : add, D ; delete, ...), rempli automatiquement lors d'actions sur les fichiers ou via la commande synoindex (cf point associé).

thumb_create.queue & thumb_create.queue.tmp
Liste les dossiers à parcourir pour générer les vignettes.

Si le process d'indexation vous semble vraiment scotché, que le fichier syno_indexing_queue contient beaucoup de lignes et que malgré les reboots ça n'avance pas, il est possible de réinitialiser le tout en supprimant les fichiers syno_indexing_queue* et en relançant le service d'indexation ou en rebootant le NAS (cf synoservice pt suiv).
Au redémarrage, l'icone de progression a du disparètre et il est désormais possible de relancer un scan via le DSM : Panneau de configuration > Services d'indexation > Ré-indexation.
Un fichier syno_indexing_queue.tmp sera à nouveau créé contenant l'unique instruction ReIndex All :

    #offset:128;
    R:all


    Tracker et contrôler le process de génération des miniatures

Pour suivre l'activité du process de génération de miniature, il est possible de voir ce qu'il est en train de traiter. Pour cela il faut récupérer son pid et lister le contenu de /proc/[pid]/fd/

    This is a subdirectory containing one entry for each file which the process has open, named by its file descriptor, and which is a symbolic link to the actual file. Thus, 0 is standard input, 1 standard output, 2 standard error, and so on.

Pour récupérer le pid du process de génération des miniatures :

    # pidof synomkthumbd
    10536

Par exemple, un ls -l /proc/10536/fd  donnera le répertoire actuellement en cours de traitement par le générateur de miniature.

Pour liste et manipuler les services Synology (relancer, stopper, etc...), il faut utiliser la commande synoservice :

    synoservice --list : liste les services disponibles

    synoservice --restart synomkthumbd : relance le service de génération des miniatures.


    Lister les répertoires de photos indexées en base de données


Pour valider les dossiers déjà indexés, il est possible de requêter sur la base de donnée mediaserver du Synology comme expliqué ci dessous.

Accéder à la base de données Postgres du Syno

    psql mediaserver postgres

Exécuter une requête sur la table photo.
Ici les répertoires traités par l'indexation, avec un tips de récupération du path sans le filename en postgres (vu qu'il n'existe pas de last_indexof)

    select distinct left(path, length(path) - length(regexp_replace(path, E'.*/',''))) from photo;


    La commande synoindex

Le process d'indexation suit les instructions présentes dans le fichier syno_indexing_queue qui est complété automatiquement lors d'actions sur le système de fichier (ajout de fichier, suppression, déplacement, etc...).
Il est possible cependant que cela ne soit pas le cas automatiquement via le shell par exemple. Dans ce cas, il est possible de ne pas tout ré-indexer mais de seulement indiquer à l'indexeur que tel fichier/répertoire a été renommé ou a été supprimé, etc...

    synoindex
    Usage:
    synoindex [OPTIONS]
    Index Options:
        -h, --help
            this help text
        -A dirpath
            add a dir
        -a filepath
            add a file
        -D dirpath
            delete a dir
        -d filepath
            delete a file
        -N new_dirpath old_dirpath
            rename a dir
        -n new_filepath old_filepath
            rename a file
        -R [all|media|photo|music|video|thumb|dirpath]
            all:     reindex all dirpath that registered in each package
            media:   reindex dirpath that registered in MediaIndex package
            photo:   reindex photo dirpath
            music:   reindex music dirpath
            video:   reindex video dirpath
            thumb:   check converted video of each video file
            dirpath: reindex this specific dirpath
        -R user:{user_name}
            reindex personal photo dirpath
        -R share:{share_name}
            reindex share dirpath
        -R [type_music|type_video|type_photo]
            reindex dirpath that registered with specific type in MediaIndex
    Package Index Options:
        -P [MediaIndex|{package_name}] {index_option}
            index operation only apply on this package
        -p [MediaIndex|{package_name}] {index_option}
            index operation apply all packages except for this package
    File Index Options:
        -f {index_option}
            index operation apply on file index
        -U photo
            update photo images

Cela permet également de comprendre le contenu des fichiers syno_indexing_queue* car le préfixe des lignes correspond aux options de cette commande.
Exemple de commandes générées suite à l'upload automatique de DS photo (prefixe "a" pour ajout de fichier à la mediatheque) :

# cat /var/spool/syno_indexing_queue

    a:/volume1/photo/Mobile/iPhone SE/IMG_0160.JPG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0161.JPG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0162.JPG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0163.PNG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0164.JPG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0164.MOV
    a:/volume1/photo/Mobile/iPhone SE/IMG_0165.JPG
    a:/volume1/photo/Mobile/iPhone SE/IMG_0165.MOV
    a:/volume1/photo/Mobile/iPhone SE/IMG_0166.JPG

    L'indexation dans PhotoStation

Photostation dispose d'une indexation distinct de l'indexation générale du DSM, elle est stockée dans une autre base de données : photo.

NB : Pour lister toutes les bases de données disponibles, une fois connecté à psql, il faut utiliser la commande \l, \c pour changer de base de données et \dt pour lister les tables d'une DB.

    mediaserver=# \c photo
    You are now connected to database "photo" as user "postgres".

La table qui stocke les photos se nomme photo_image.

Une réindexation dans PhotoStation se traduit dans le fichier syno_indexing_queue par la commande suivante :

# cat /var/spool/syno_indexing_queue.tmp

    #offset:128;
    PhotoStation:1:R:photo



    Migration des vignettes de PhotoStation v5 à v6

Le nom des vignettes à changer entre PhotoStation 5 et 6, pour passer de SYNOPHOTO:THUMB* à SYNOPHOTO_THUMB* ( source ). La commande suivante permet de faire un renommage massif des fichiers :

find ./ -type f -name SYNOPHOTO:THUMB*.jpg -exec bash -c 'mv --verbose "$0" "${0/:/_}"' {} \;

Une très bonne approche pour calculer la consommation en IOPs d'une appli/d'un OS

et ça aussi
mount --bind /volume1 /volume1/share