Sikuli

Ce logiciel permet d’automatiser des actions de clavier ou de souris en fonction de ce qui est affiché à l’écran. C’est idéal pour les actions répétitives, comme "enregistrer", si cela n’a pas été fait, les modifications apportées aux éléments mentionnés dans une liste (fiches de produits, de clients...), en rédigeant un rapport complet, ou encore de programmer !

La très longue documentation, dont la lecture est indispensable, explique : boucles, tests, création d’interface, et surtout, la vue !

Parmi les exemples théoriques cités dans la doc :

En pratique au travail :

On nous envoie une liste de clients, avec une liste d’actions à faire (remboursement, inscription dans l’historique du client, et mail au client). Le logiciel le fait et nous prévient quand c’est fini, par un courriel et un avertissement sonore !
Au travail encore, il gère des problèmes comme "le nom et le code du client ne correspondent pas", ou "le cas est déjà traité".

Un programmeur va pouvoir tester ses applications et leurs différentes versions avec des tests identiques normalisés, de type "on clique partout pour voir si ça plante", avec de nombreux réglages.

Plus généralement, on peut chercher une image (partielle, avec tolérance réglable), attendre un temps ou une image partielle donnée, se placer sur une image (partielle), cliquer (long ou court, gauche, droite, milieu), tourner la molette, déplacer la souris d’un vecteur donné, taper au clavier, glisser-déposer... demander des valeurs, sélectionner du texte, des nombres, faire des choix conditionnels, et donc par scriptage lancer des sons, des vidéos, écrire des mails, rechercher ce qui n’est pas encore affiché, copier-coller, capturer l’écran... L’automatisation peut se faire sur n’importe quel logiciel que votre ordinateur utilise, comme si vous le faisiez-vous-même, sans greffon à programmer et à compiler. Vous pouvez même utiliser plusieurs logiciels dans un seul script, en passant de l’un à l’autre.

Pour effectuer les actions très répétitives, il y avait déjà de nombreux logiciels tels que Xdotool, autoit qui peut aussi faire des interfaces, ou Actionaz, mais Sikuli a deux avantages considérables sur tous ses concurrents : la reconnaissance optique et les conditions !

Il voit où il faut cliquer, où il ne le faut pas, il reconnaît les messages affichés, et il en fait des choix !

À ma connaissance, seul wintask (non libre, payant, seulement sous Windows) et SuperMacro (non libre, gratuit, mais à l’aide francophone bourrée de fautes, seulement sous Windows) sont aussi compétents.

Cela servira surtout les entreprises, qui ont beaucoup d’actions répétitives à faire, pour une longue liste de produits, de clients... Ce n’est d’ailleurs pas un hasard si des entreprises de renom l’utilisent déjà.

Le terme "reconnaître une image" est à prendre au sens brut d’"une grille de pixels identiques" : il ne permet pas de reconnaître un visage sur une photo qu’il n’a jamais vue.

Ce logiciel a été fait par la section interface (http://groups.csail.mit.edu/uid/) du département intelligence artificielle (http://www.csail.mit.edu/) du MIT (http://fr.wikipedia.org/wiki/Massachusetts_Institute_of_Technology).

La doc anglophone, très complète, sera encore améliorée, avec des tutoriels, des vidéos, mais n’est pas traduite.

Il reste à traduire la doc et les exemples dans la langue de Victor Hugo (il n’y a pas de Wiki), mais les possibilités sont énormes.

L’intelligence restituée est ici très impressionnante, mais ne vous y trompez pas : c’est à vous de paramétrer les actions et les tests. Et vous risquez de commettre des erreurs de scripts !

Mon conseil est d’avoir 2 ordinateurs à son travail :

Le premier ordinateur pour les actions complexes, non scriptables et pour rédiger les scripts ;
Le second ordinateur sera pour exécuter les scripts Sikuli.

On peut aussi lancer les scripts en partant (le midi ou le soir) sur son ordinateur, et admirer le résultat à son retour, mais il vaut mieux garder un œil sur l’exécution en cas d’imprévu, ou un bug.

Mes avertissements sont brefs, mais importants :

Lisez la doc et effectuez les tutoriels !
Préparez votre travail en séparant les différentes étapes de type "on fait et on vérifie que c’est fait avant de passer à la suite" ;
Faites des sauvegardes et des essais, car une maladresse comme l’oubli d’un test est très vite arrivée ;
Attention, il est un peu lent (reconnaissance optique, Jython = Java + Python...), mais pas autant qu’un humain sur le long terme ;
Prévoyez la condition "l’ordinateur n’a pas encore réagi" : d’après le site, sur un ordinateur typique, la capture et l’analyse se font à environ 5 images par seconde. . * Attention aussi aux thèmes graphiques qui varient d’un ordinateur à un autre, et qui rendent les scripts difficilement exportables, aux pop-up intempestifs masquant la zone de travail, aux modifieurs de colorimétrie selon l’heure comme F.lux ou Redshift... Prenez vos captures au plus près, évitant les ombres optionnelles des fenêtres.
Scriptez une capture d’écran en cas de blocage sur un cas imprévu, et scriptez-en aussi l’envoi par mail.

En conclusion, il y a deux types d’entreprises : celles qui sont compétitive et font peu de fautes d’inattention, avec Sikuli, et les autres, qui ne pourront jamais suivre. Le travail de bureau étant très répétitif, il n’y a pas à hésiter !

Merci à Redguff pour la première mouture de cette notice.

Tags:
Ajouter des tags (séparés par des virgules ou des espaces) : Attention: tous les caractères spéciaux sont interdits (sauf le .). Les tags n'apparaîtront qu'au prochain rafraichissement du cache (dans plusieurs heures).

<< Mettre à jour >>
:: lien mort :: orthographe :: nouveauté :: mise à jour ::

Vous souhaitez mettre à jour la notice ? La première chose à faire est de déterminer s'il s'agit d'une mise à jour mineure ou d'une mise à jour majeure .

Mineure : un lien mort, des fautes d'orthographe, un lien à ajouter ou encore une petite précision.

Veuillez renseigner les champs ci dessous :

Votre nom ou pseudo

Paragraphe

Type de modification

Les modifications à apporter*
Majeure : une nouvelle version avec des nouveautés, des changements majeurs.

En cochant cette case, vous allez créer une page sur le wiki afin de mettre à jour la notice.

Mettre la notice de Sikuli sur le wiki

<< Poster un message >>
:: question :: précision :: avis :: commentaire :: bug ::

Faire un don ? (défiscalisé)

Aidez-nous à atteindre notre objectif de 1080 donateurs récurrents pour assurer notre pérennité et notre développement !

Je soutiens Framasoft
pour 10€/mois

Autres logiciels

Dégooglisons Internet, l’an 2

Les services en ligne de géants tentaculaires comme Google, Apple, Facebook, Amazon ou Microsoft (GAFAM) mettent en danger nos vies numériques.

Pour cette 2e année, nous continuons le défi de vous proposer une alternative Libre, Éthique, Décentralisée et Solidaire à chacun de ces services.

Découvrez notre campagne
« Dégooglisons Internet »