Création d'un service de reco vocale. Question OpenNab

Bonjour,

Je suis en train de finaliser un service web écrit en .NET qui permet de faire ce que fait Nabot mais à la différence près, qu'il sera possible de hoster ce service chez un hébergeur supportant .NET.
Cela permettra de profiter de son propre service de reco vocale, sans avoir son pc d'allumé.

Pour cela, j'utilise sphinx pour la reconnaissance vocale (tout comme Nabot), mais grâce à IKVM (http://www.ikvm.net/), j'ai pu créer une dll.net directement utilisable dans mon service web.

Pour la partie IA, j'utilise l'excellent program# (http://sourceforge.net/projects/aimlbot/). Sachant que ce moteur aiml est extensible, j'ai pu ajouter un tag URL et Javascript.

Pour la partie conversion IMA ADPCM 8.000 kHz; 4 bits; Mono (format d'enregistrement du lapin) vers PCM 8.000 kHz; 16 bits; Mono (format sphinx), j'utilise Alvas.audio (http://www.alvas.net/alvas.audio.aspx) qui propose une dll.net permettant cette conversion.

Tout n'est pas encore parfait, mais tout est presque fonctionnel à ce jour.

Ma question arrive :

Il faut que ce service web, soit appelé depuis un plug in opennab.
Sachant que je ne connais rien à php, j'ai besoin de quelque conseils.
Je vois plusieurs possibilités et j'aimerais connaitre celle qui semble la plus fiable/réalisable.

1: En modifiant le plug in recordaudio afin d'appeler mon service web une fois le fichier wav sauvegardé. La première action dans mon service web serait d'appeler le plugin getaudiorecord afin de récupérer le wav.
Je ne suis pas certain que cette solution soit réalisable car la séquence suivant me semble tordue :

plugin recordaudio --> service web --> plugin getaudiorecord...alors que l'appel recordaudio n'est pas terminé.

2: Même solution que 1, mais en faisant un appel asynchrone de mon service ce qui permettrait que recordaudio se termine avant que mon servi ce web n'appel getaudiorecord. Pas très propre à mon avis. De plus je dois gérer le tts pour faire dire la réponse à mon lapin. Comment faire dans ce cas.

3: Toujours à partir de recordaudio, appeler mon service web mais en fournissant le source du wav en paramètre du service web. Plus propre, mais je ne suis pas certain que ce source qui deviendrait du string, soit reconstructible de mon côté. De plus quid de la longueur maximum d'un paramètre.

4: Utiliser crontab qui appelerait mon service web à interval régulier. Pas très propre encore une fois.

Pourriez vous me dire ce que vous en pensez (si toute fois, vous avez compris mes explications....sorry il est un peu tard).

Comment gérer le tts une fois la réponse obtenue ? (la réponse dépend biensur de la méthode que j'utiliserais pour appeler mon service web).

Dois-je utiliser CURL pour l'appel de mon service web ?

Merci d'avance pour vos conseils et remarques.

Le problème principal c'est qu'il ne faut pas que l'appel http du lapin qui envoie son fichier audio dure une éternité et ça, à part en desynchronisant à un moment ou à un autre, c'est pas vraiment possible...

Faire un plugin qui envoie l'audio reçu par opennab, c'est facile : c'est ce que fait opennab en utilisation normale lorsqu'il envoie l'audio reçu vers le serveur de Violet.

A partir de là, si ton service est capable de fermer la connexion http entrante dès que l'audio est reçu (par http post ou put) et avant de faire les appels getaudiorecord et tts qui suivront (et bien sur toute l'analyse entre les 2), il n'y a plus de problème.

Pour le php, ne te casse pas trop la tête. Si la solution que je décris ici est viable de ton côté, j'écrirai le code du plugin.

Citation :

si ton service est capable de fermer la connexion http entrante dès que l'audio est reçu (par http post ou put)

Merci pour ta réponse. Je vais creuser de ce côté là car c'est exactement ce qu'il me faut.

Je reviendrais probablement ici dans la semaine pour demander des précisions si nécessaire.

jbx028 a écrit:

Merci pour ta réponse. Je vais creuser de ce côté là car c'est exactement ce qu'il me faut.

En me relisant, je constate que l'envoi de l'audio lors de la notification est probablement inutile puisqu'il est récupéré via getaudiorecord ?

Cela limiterait le plugin à rajouter à quelque chose de très simple.
En fait, on pourrait même rajouter cette fonctionnalité au plugin "audiorecordbypass" : lorsque le bypass est actif, toute arrivée d'audio est notifiée par un http get sur une url.

Dans la fonction OnRecord ?

Le tout est alors d'arriver à envoyer le wav en attachement. Je sais que soap supporte l'attachement (http://www.w3.org/TR/soap12-af/) mais il faudrait alors qu'opennab supporte NuSoap ou un équivalent.
Encore une fois, je ne connais pas php. Il existe peut être un autre moyen.

Tu aurais un début de piste à me fournir en ce qui concerne mon pb ovh. Pour rappel, lorsque je suis en mode servermode=classic, plus rien n'arrive de chez violet. Par contre les appels api fonctionnent bien.

@jbx028
Si tes appels API fonctionnent bien c'est normal puisque tu arrive directement avec ton browser sur ton server.

OpenNab ne "supporte" pas 'soap'.. c'est à ton plugin de formater ta requete au format 'soap' pour l'instant.. il y a des api Php pour cela.

t'a fait des Logs sur ton serveur ? avec LogLevel=(2 ou 3 minimum) pour ton problème du mode "classic".
Change le niveau de log... et reboot ton lapin et envoie nous tes logs.
(pense à modifier ton Serial dans tes logs... juste questions de sécurité.. et fait gaffe la requete bc.jsp a un format bizarre de serial avec des ':')

Neff

Citation :

OpenNab ne "supporte" pas 'soap'.. c'est à ton
plugin de formater ta requete au format 'soap' pour l'instant.. il y a
des api Php pour cela.

Si il existe des plug ins pour formater une requete au format soap pourquoi ne pas alors directement utiliser un plug in pur soap comme NuSoap ?

Je vais effectivement changer le niveau de log. Au pire, j'ai un abonnement chez free.

jbx028 a écrit:

Si il existe des plug ins pour formater une requete au format soap pourquoi ne pas alors directement utiliser un plug in pur soap comme NuSoap ?

c'est bien ce que je te dis..
OpenNab n'a rien de spécifique à soap..
Par contre Php support Soap.. via plugins.. à utiliser dans ton plug OpenNab.
Ou alors on fait spécialement une classe de requete soap dans openNab... mais ca n'existe pas à ma connaissance pour l'instant.

Neff

jbx028 a écrit:

Si il existe des plug ins pour formater une requete au format soap pourquoi ne pas alors directement utiliser un plug in pur soap comme NuSoap ?

J'ai du mal à comprendre en quoi soap faciliterait les choses.

Une notification http assez générique me semble largement suffisante. Par générique, j'entends la possibilité de faire aussi bien un GET qu'un POST+XML (ce qui permet de facilement effectuer un appel soap sans paramètre si besoin est pour faciliter l'intégration dans un web service).

Ensuite la récupération des données audio me semble être plus simple avec le http GET sur l'api d'opennab. Ca reste quand même plus standard que n'importe quel attachement dans un appel soap.

Oui mais j'ai peur que la séquence des appels soit complètement tordue.
A partir d'un plug in opennab (recordaudio par exemple) tu vas appeler via http get, mon web service.
Ce web service va appeler GetAudioRecord alors que recordaudio n'est pas terminé. Comment opennab va réagir ? Peut il y avoit un appel entrant alors qu'un appel sortant n'est pas terminé ??

Si cette manip est possible alors c'est surper simple à coder de mon côté.

jbx028 a écrit:

Oui mais j'ai peur que la séquence des appels soit complètement tordue.
A partir d'un plug in opennab (recordaudio par exemple) tu vas appeler via http get, mon web service.
Ce web service va appeler GetAudioRecord alors que recordaudio n'est pas terminé. Comment opennab va réagir ? Peut il y avoit un appel entrant alors qu'un appel sortant n'est pas terminé ??

La réentrance au sens strict ne pose qu'un problème, celui de l'intégrité des données. Ce problème est résolu au niveau d'opennab : les appels extérieurs réalisés par les plugins peuvent être effectués à la fin de la séquence initiée par le lapin (ici un audio record). Ce mécanisme est déjà utilisé par le plugin rfid2http : l'http appelé lors de la détection rfid peut ainsi être un appel à l'api opennab.

L'autre problème, dont j'ai déjà parlé plus haut, c'est la durée de l'appel. Le script opennab n'a pas de raison pour rester actif après sa notification car, entant que client http, il n'a pas de raison d'attendre un retour sur sa notification.
Il y a 2 solutions :
- soit le serveur (.NET web service) ferme immédiatement la connexion du client (opennab) et là il n'y a rien à écrire en plus côté opennab
- soit je ferai en sorte qu'opennab ferme sa connexion immédiatement après l'envoi de la requête http et là ça demande toutefois un peu de code spécifique parce que rien n'est prévu en ce sens pour le moment. C'est alors à ton web service d'être configuré de telle sorte qu'il continue son exécution même si le client s'est déconnecté et ce jusqu'à avoir terminé tout ce qu'il a à faire.

jbx028 a écrit:

Si cette manip est possible alors c'est surper simple à coder de mon côté.

Si tu n'as pas de souci pour conserver ton service actif après la notification d'opennab, il n'y a aucun problème : tu peux faire tous les appels que tu veux à l'api d'opennab que la connexion soit déjà fermée ou pas.

Citation :

soit le serveur (.NET web service) ferme
immédiatement la connexion du client (opennab) et là il n'y a rien à
écrire en plus côté opennab

Je penche pour cette solution mais je ne vois pas bien comment fermer la connexion. Tu parlais d'un appel POST ou PUT. Quel ordre http je dois envoyer ?
J'ai du mal à trouver quelque chose de conséquent sur google avec juste "http" "put" "close connection"..
Est-ce quelque chose à spécifier dans l'entête http ?
Puis je, à ton avis, le faire ou moment ou j'appel GetAudioRecord afin d'éviter des aller-retour inutiles ?

Si vous trouvez le moyen de garder un process qui tourne pour un traitement sur un serveur web mutualisé, tout en coupant la connexion entrante. et sachant que les serveurs web sont designés pour ne pas le permettre et sans vous faire jeter par votre hébergeur... chapeaux
Vous m'interressé...(platoniquement)

Dit comme ça, ça fait peur :-)

De plus ce n'est pas terminé, car je devrais à la finn appeler de nouveau opennab afin d'utiliser la fonction tts...encore des (un ?) aller retour en prévision...

Je pourrais envoyer la réponse aiml à l'api violet, mais ce n'est pas le but de ce service web...et je ne veux pas rendre obligatoire le fait de passer par violet.

Le but c'est de seulement reconnaitre un mot (voir une courte phrase), de passer cela dans de l'aiml puis d'envoyer la réponse à opennab pour utiliser un tts figurant dans opennab.ini.

La phase de reconnaissance et d'aiml sont fonctionnelles à ce jour. Reste la partie récupération du wav, et envoi de la réponse texte pour le tts.

Je ne peux que te souhaiter bonne chance et bon courage

Neffrith a écrit:

Si vous trouvez le moyen de garder un process qui tourne pour un traitement sur un serveur web mutualisé, tout en coupant la connexion entrante. et sachant que les serveurs web sont designés pour ne pas le permettre et sans vous faire jeter par votre hébergeur... chapeaux
Vous m'interressé...(platoniquement)

En php, c'est simple (façon de parler) : il suffit de trouver un hébergeur qui autorise l'utilisation de ignore_user_abort.
Je n'ai jamais essayé et ça ne doit pas courir les rues.

L'équivalent existe probablement pour les web services .NET mais je ne le connais pas.

Mais comme tu dis, le plus compliqué sera de trouver l'hébergeur mutualisé qui le supporte

Je vais dans un premier temps utiliser une méthode tordue mais qui devrait fonctionner.
Opennab va appeler mon service web qui lui même lancera tout le traitement de transformation/reco vocale/aiml dans un second service web appelée de manière asynchrone et donc renvoyer très rapidement le message soap resultant du premier service web à openNab pendant que le "vrai" traitement s'éxecute encore (second service web).

C'est pas beau mais je peu avancer de cette manière. C'est pas une application industrielle non plus, j'ai donc la liberté de monter une usine à gaz si je veux :-)

jbx028 a écrit:

Je vais dans un premier temps utiliser une méthode tordue mais qui devrait fonctionner.
Opennab va appeler mon service web qui lui même lancera tout le traitement de transformation/reco vocale/aiml dans un second service web appelée de manière asynchrone et donc renvoyer très rapidement le message soap resultant du premier service web à openNab pendant que le "vrai" traitement s'éxecute encore (second service web).

C'est pas beau mais je peu avancer de cette manière. C'est pas une application industrielle non plus, j'ai donc la liberté de monter une usine à gaz si je veux :-)

Ce que tu décris suppose que ton 2ème web service continue de tourner pendant que le 1er n'est plus actif, ce qui revient exactement au même problème...
Mais si cette méthode fonctionne, alors il suffit qu'OpenNab appelle directement le web service asynchrone.

Oui exactement sauf que là je "maitrise" ce que je fait.
appeler un web service en php c'est déja compliqué mais alors de manière asynchrone je t'en parle même pas.
Mais je crois avoir lu que tu te proposais de le faire ...

Si je résume :

Opennab une fois le wav enregistré, appel mon service web de manière asynchrone. Ce dernier appel Getrecordaudio afin de récupérer le wav (au passage, le wav est il supprimé à un moment ou a un autre ou est il seulement remplacé lors d'un nlle appel ??). Toujours dans mon service web, la transformation au format audio sphynx se lance, puis la reco vocale, puis la phase aiml pour en déduire une réponse. La dernière étape de mon service web est de rappeler opennab afin de lui fournir le texte pour le tts.

Bon, cette semaine je termine mon service web, et la semaine prochaine, j'essaye de l'héberger le tout à moindre coût.

Dernière remarque : mon service web prendra en paramètre le tts à utiliser en retour afin que l'url de type "http://xxxx/vl/api.php?sn=xxxxx&tts=xxx&speaker=xxx" puisse être lancée dans mon code, juste après la phase de reco/aiml.

euh ... et ta technique elle fait sauté les crêpes pour qu'elles cuisent des deux cotés ?

Il n'y a pas d'asynchrone dans OpenNab.. sauf si tu te synchronise sur des appels du lapin concécutifs.

Mais bon et si tout simplement tu fesai tout en synchrone ?
c'est quoi le timeout sur requette du lapin ?
c'est vraiment long tous tes traitements ?

La phase de transformation audio (IMA ADPCM vers PCM) + reco vocale + pattern matching AIML dure environ 1 minute .
Le pb du synchrone, c'est d'avoir a rappeler opennab (getrecordaudio) dans mon service web alors que lui même est en train d'être appelé par opennab (recordaudio ou autre).
J'ai peur que le lapin digère mal ces carottes avec ce flow là.

Mon web service est presque fonctionnel.
Il me reste 3 problèmes :

1/ La phase de reconnaissance vocale n'est pas optimum. D'après Human Ennemy, c'est du à la librairie que j'utilise pour la transformation audio. Je dois donc chercher autre chose.

2/ il faut que quelqu'un écrive le code php pour appeler l'url de mon service web de manière asynchrone. Il faut tout d'abord que j'héberge ce projet.

3/j'ai toujours ce pb récurent avec ovh. les appels api tts ne fonctionnent pas bien : ni avec le tts violet ni avec les tts tierces qui se trouvent dans opennab.ini. Les messages xml en retour me disent que tout est ok mais mon lapin reste muet.
J'ai passé le niveau de log à 4 et j'obtient cela :

Edit : je viens de retirer la log car il semble que j'ai oublié de masquer des sn et mon adresse ip...merci Neffrith. Je posterais cela de manière plus épuré et détaillé demain.



merci

Là on voit que ton lapin boot .. sans bcp plus de précisions..

Juste une requete P4... manque plus d'infos...

Neff