Re: [NES] En vrac

[Tryphon]

Oui

A priori elle ne connaissait même pas les règles ?

[vincent2105]

Quand on parle d'intelligence artificielle, ça veut dire qu'il faut nécessairement qu'elle apprenne par elle même ? 
Désolé pour le hs.

[upsilandre]

Elle ne connait pas les regles, elle ne sait pas jouer a un jeu vidéo.
Et ce qui tourne ici c'est un simple script Lua dans un émulateur (ici Bizhawk, j'ai deja fais des script dessus) ca montre qu'on peut faire des truc vraiment cool avec les script Lua.

Par contre elle doit avoir (au moins) un objectif qui est de maximiser le "Fitness" qu'on voit en haut de l'ecran et qui doit correspondre au nombre de pixel horizontaux parcouru (depuis que j'ai mis la vidéo elle a pas avancé, elle a pas passer le trou a 1875, ca sera deja un evenement quand elle le passera    ).
En output elle a les bouton du pad (comme nous) et en input de ce que j'ai compris elle a une valeur booléen par pixel de l'ecran qui lui indique si ce pixel est un pixel neutre ou un pixel qui se trouve sur une hitbox (ennemi ou environnement sans distinction a priori) donc en gros elle a des yeux comme input (comme nous aussi) et elle construit de facon aléatoire un reseaux de neurone entre les pixels de l'ecran (juste quelques uns au hasard) et les input du pad puis constate si ca améliore le "fitness". Mais comme c'est du temps réel ca donne peu d'itération par heure donc c'est tres long.

Normalement elle devrait y arriver, elle a deja réussit les 4 levels du monde 1. Et puis c'est aussi une bonne occasion d'ecouter les meilleurs musique NES.

[upsilandre]

J'ai posé la question, ca fait 3 jours qu'elle est bloqué sur ce saut a 1875 avec ce putain de mur, est ce que le level 2.1 sera son max? je ne pense pas, courage

[Stef]

Non ce n'est pas son max assurément, mais peut être qu'elle mettra 2 semaines à le passer si ce n'est plus ^^ l'apprentissage temps réel c'est pas vraiment ce qu'on fait habituellement pour le machine learning ^^

[upsilandre]

Il a toujours pas avancé
https://youtu.be/I6F3rRr8s28

il doit etre a peu pret a 100 000 itérations mais la plupart ont du etre faite au debut car forcement au debut chaque itération prend 1 ou 2 seconde, maintenant c'est 30s par itérations quand il se plante pas.

le 1.1 a été terminé en 95 générations (300 itérations par génération)
le 1.2 en 320 génération
le 1.3 en 305 génération
le 1.4 en 60 génération

la on est deja a 334 génération et 50 générations qu'il bloque au meme endroit. Par contre derrière ce mur y a plus grand chose ensuite pour finir le level... sauf qu'il va devoir utiliser un ressort pour la première fois

[TJMK]

C'est rassurant quelque part, le fait de se dire qu'on n'est pas près de nous remplacer par des intelligences artificielles.

[upsilandre]

J'ai vu Mario franchir la fosse sur la Gen 337 Genome 25 mais pour obtenir un Fitness moins bon (1847)
En fait je viens de voir dans le code que pour conditionner le fitness il utilise une valeur X de Mario a l'adresse $6D de la RAM sauf que cette valeur part en couille quand on tombe dans un trou, elle s'incremente rapidement comme si tu continuais a courir sous le sol, du coup ca fosse le truc puisque pour l'IA tomber dans un trou donne de meilleur score que de le franchir.
Si j'ai le temps demain j'essayerais de corriger le Mario X en ajoutant une condition.

[Stef]

haha, bien vu pour le bug ! Ca va effectivement bien aider l'IA car là elle doit bien galérer à passer les trous (c'est un espèce de minimum local)

[upsilandre]

Le probleme c'est que y a plein de bug dans le script et notamment y a une option pour sauvegarder la session mais ca bug j'arrive pas a l'utiliser du coup tant que j'arrive pas a sauvegarder une session pour pouvoir la reprendre plus tard j'ai pas grand interet a corriger le script (meme si c'est rapide) car ce qui m'amuserait c'est justement de rejouer le level 2.1 voir si ca marche mieux avec ce genre de correction mais vu le nombre d'itération nécessaire faut que je puisse enregistrer les sessions sinon je pourrais pas tester.

[Stef]

Peut être tu peux contacter l'auteur de la page pour qu'il corrige ça au moins :)

[upsilandre]

C'est bon la sauvegarde fonctionne avec une ancienne version de Bizhawk, je vais pouvoir faire le test

[upsilandre]

Ca y est j'ai fait la correction du code (maintenant le fitness s'arrete dès que Mario met un doigt de pied en dehors de la limite inferieur de l'ecran) et j'ai lancé la simulation. On verra ce que ca donne.
J'ai debridé le framerate mais entre l'emulation tres precise de Bizhawk et le script Lua qui est donc un langage interprété tres lent, je gagne pas grand chose, j'atteins a peine 100fps.

[Stef]

haha excellent, je pense que tu l'as bien aidé, il va aller un peu plus vite déjà là

[upsilandre]

au moins au debut ca progress vite c'est plus rigolo  il est deja a 869 de fitness

[upsilandre]

C'est rigolo je fais la course avec l'IA du live . Avec 18 jours de retard (et je peux pas faire tourner la simulation tout le temps) ca va etre compliqué mais sur le live ca n'avance toujours pas depuis 75 génération, j'ai mes chance si ca continu
Pour l'instant j'ai fais 81 génération, ca avance bien, je suis plus tres loin du fameux pit mais la progression va etre de plus en plus lente forcement.

[vincent2105]

Intéressant :) 
Je sais pas si tu as vu, dans les commentaires, il est dit qu'il a passé ledit tuyau et qu'il meurt contre un goomba juste après (il n'atteint pas 1875 de fitness puisqu'il gagne alors moins de points de fitness que lorsqu'il tombe dans le trou juste avant)

[upsilandre]

oui c'est ce que je leur explique depuis quelques jours et ca commence a rentrer. c'est pour ca que j'ai fais la correction que j'ai mis sur leur discord. De temps en temps il passe le pit mais c'est mal recompensé. avec ma correction quand il passera le pit il sera récompensé et donc finira peut etre par comprendre

[vincent2105]

ok :) 
du coup t'es à combien de ton coté ? il a avancé depuis hier ?

[upsilandre]

je suis a 1536, Gen 83

[vincent2105]

T'es à 2 doigts tortues ! Ca va le faire !

[upsilandre]

Ca va etre de plus en plus long, je pense pas que demain il fera mieux que 1536 qui est deja pas mal.

[upsilandre]

Ca y est! Alors que l'IA du live approche la génération 400 et a dépassé les 22 jours, ma version a deja été bien plus loin que le fameux pit puisque Mario a atteint le ressort qui permet de franchir le mur final du level et cela a la génération 148 .
Par contre ca risque d'etre compliqué je pense de franchir ce ressort.

[vincent2105]

Cool ! 
Le fitness ça ne tient pas compte de la hauteur c'est ça ?

[upsilandre]

Le fitness prend en compte la position X de mario dans le level mais aussi la vitesse de deplacement.
Ca va prendre du temps je pense deja pour retouner jusqu'au ressort et ensuite reussir l'epreuve du ressort pour franchir le mur final ca va etre toute une histoire. C'est le premier ressort du jeu, pas sure qu'il puisse le franchir.

Sur les 300 espèces du depart il en reste plus que 5 dont 2 seulement ont atteint le pit (d'autre l'avais atteint mais ont finit par mourir, sélection naturel, dommage y en avait une qui réussissait a faire le trick du wall jump   ) et une seule l'a franchie. J'ai modifié aussi le script pour afficher plus d'infos dans la console et sur l'ecran (notamment sur les espèces, c'est a dire leur fitness max individuel et leur "stale" qui définie si elle vont bientot mourir par manque de progression. C'est rigolo de les suivre individuellement)

[vincent2105]

Ah ok. Remarque si ça prend en compte la vitesse de déplacement, c'est déjà un bon point. (De mémoire, on avait une bonne accélération quand on arrivait a sauter correctement dessus, maintenant c'est qu'un souvenir de gosse)

Sinon, tu perds à cause du timeup du jeu ou bien à cause d'un timer du script ?

[upsilandre]

Si tu bouge plus horizontalement le script reset automatiquement

[upsilandre]

J'ai une nouvelle espece qui a finit par s'éteindre, m'en reste plus que 4 , ca commence a faire peu de variété . Parfois une nouvelle espèce apparait mais j'ai pas compris les critères (probablement le hasard).
Sinon pour les mutations du génome la oui c'est le hasard, les mutations peuvent ajouter des neurones, des connections entre neurones ou modifier le poid d'une connection ou d'un neurone. Et toujours au hasard y a aussi une forme de sexualité qui permet de melanger certain génome d'une génération a l'autre.

[upsilandre]

Z-Section c'est un shmup que j'avais raté et qui pourtant est assez historique puisqu'il fait partie des premiers jeux d'arcade de Capcom (et par le créateur de Kung Fu et de Street Fighter) et va initier un genre de shmup (Hyper Dyne, Forgotten Worlds, Burai Fighter, SCAT) ou le vaisseau est remplacé par un personnage en jetpack (facon Space Harrier qui sort le meme mois) ca c'est pour la forme mais surtout ca s'accompagne de la possibilité en général de pouvoir orienter ses tires d'une facon ou d'une autre et c'est souvent aussi des jeux marqués par une alternance de séquence a scrolling horizontal et vertical

Sur Z-section l'orientation des tires se limite a tirer devant ou derrière et la version NES se permet meme d’améliorer les controles de la version arcade . Au lieu d'avoir un bouton pour tirer et un bouton pour se retourner (arcade) on a un bouton pour tirer a gauche et un bouton pour tirer a droite (Comme dans Side Arms et qu'on retrouvera aussi dans Over Horizon).
Le sprite du joueur est aussi plus jolie artistiquement sur la version NES, plus manga.

Le jeu s’appelle Section Z car on est censé traverser des sections de jeu de A a Z mais cette organisation a disparu dans la version NES ou ici les sections sont numeroté de 1 a 64 (du coup le titre n’a plus de sens   ) mais avec un choix entre 2 itinéraires en fin de section qui peut vous envoyer dans une section superieur ou inferieur et sauter certaine section.
L’autre originalité c’est qu’on est relativement résistant aux bullets, on a une jauge d’energie (contrairement a la version arcade) ce qui est rare dans un shoot par contre on se fait one-shoot au contact des ennemis donc ca demande une double lecture de l'action a l'ecran et qui combiné au controle de la direction des tires pousse a se placer plutot au centre et a etre mobile.
Globalement j'aime bien ce genre de shmup car ca pousse a la mobilité (et a une mobilité en 2D et pas juste en 1D sur une ligne au fond de l'ecran) mais peut etre quand meme moins intéressant que Burai Fighter ou SCAT deja sur NES. Ca reste une mecanique de tire que je trouve agréable a contrôler (dans la ligner de Gunsmoke ou Over Horizon)

Y a un systeme d’armement dont les controles sont un peu particulier (faut utiliser le bouton droit pour changer d'arme et select et appuyer sur les 2 boutons en meme temps pour faire apparaître une option d'arme secondaire au centre de l'ecran). Par contre il n'y a plus par defaut les bombes facon scramble de la version Arcade.

[Invité]

Je l'aime bien celui-là. Par contre, faut s'accrocher pour trouver sa route.

[upsilandre]

ouai c'est un peu la merde