neonet

Bonjour,
Les téléchargements via proxy des émissions de Arte fonctionne bien. Encore merci pour cette belle avancée !
Il y a juste un détail qui pourrait être amélioré...

Exemple :
Episode to retreive arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4
Searching episode for arte done
Waiting for download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4
Download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4 is starting
Download of arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4 done
Episode is ready arte-Environnement & Sciences-Allemagne : le gaz de schiste contesté Wed Feb 27 07:38:44 BRT 2013-4

Le fichier obtenu a pour nom :
Allemagne___le_gaz_de_schiste_conteste_Wed_Feb_27_07_38_44_BRT_2013.mp4.tmp−−socks
(l'extension ".tmp--socks" n'est pas enlevée au terme du téléchargement).

Ça serait possible d'avoir :
Allemagne___le_gaz_de_schiste_conteste_Wed_Feb_27_07_38_44_BRT_2013.mp4
ou mieux :
Allemagne : le gaz de schiste contesté (27-02-2013).mp4
ou simplement :
Allemagne : le gaz de schiste contesté.mp4
?

(les ":" et autres "?" ne sont pas un problème avec ext4)

Bruno.

Bonjour,

Merci d'avoir signalé le problème sur le proxy, c'est corrigé, tu peux mettre à jour le fichier rtmpdumpdownloader.jar dans le dossier downloader avec http://dabiboo.free.fr/habitv/downloade ... loader.jar.

Pour arte, les titres des émissions ne sont pas toujours unique c'est pour ça que j'y ai ajouté la date de publication (ex Xenius), j'ai changé le formateur de date et j'y ai conditionné au fait que le titre ne soit pas unique. Tu peux mettre à jour arte.jar dans le dossier provider avec http://dabiboo.free.fr/habitv/provider/arte.jar.

Pour les caractères spéciaux, je préfère assurer en n'en gardant aucun, ça peut poser problème sur certains systèmes avec certains outils notamment pour les exports.

Bonjour,

Quelle réactivité !
OK pour les caractères spéciaux, je comprends la préoccupation.
Peut-être pourrais-tu introduire un nouveau filenamePattern qui pourrait être utilisé au risque et péril de l'utilisateur, pour un renommage final (via un Export).
Exemple :
EPISODE_NAME => Quand_j_etais_gothique
EPISODE_NAME_UNTOUCHED => Quand j'étais gothique

Charge à l'utilisateur de faire attention à ce qu'il fait avec.

Coté rtmpDumpDownloader.jar, l’extension .tmp--socks est toujours là .
Exemple :
Avant actualisation rtmpDumpDownloader.jar et arte.jar :
=> Reg_Arts_de_femmes_Sun_Apr_21_08_27_04_BRT_2013.mp4.tmp−−socks
Après actualisation rtmpDumpDownloader.jar et arte.jar :
=> Reg_Arts_de_femmes.mp4.tmp−−socks

Un oubli, peut-être ?

Bruno.

Bonjour ,

@dabiboo : il existe des problèmes dans grabconfig.xml .

Il y a plusieurs <id> pour la même catégorie . Exemple , pour canal + :
-----
<name>LES_GUIGNOLS</name>

<id>850740</id>
<id>852778</id> <= 3 fois
<id>849191</id>
-----

Cordialement .

@BrunoBr, ok pour le pattern je vais en ajouter un nouveau.

pour le problème du .tmp--socks, je vais vérifier le jar déployé qui m'a à l'air bon... tu peux m'envoyer ta configuration (config.xml) ?

@aazerty : les catégories sont générées automatiquement via l'API de canal plus, il y a effectivement plusieurs doublons car des séries sont présentes dans plusieurs catégories, j'ai pas testé mais j'imagine que ça marche peu importe l'id de série utilisée.

@dabiboo
Voici le config.xml

Code: Tout sélectionner

<?xml version="1.0" encoding="UTF-8"?>
<tns:config xmlns:tns="http://www.dabi.com/habitv/config/entities"
   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation="http://www.dabi.com/habitv/config/entities config.xsd ">
   <proxy>
      <protocol>HTTP</protocol>
      <host>127.0.0.1</host>
      <port>8123</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>
   </proxy>
   <proxy>
      <protocol>SOCKS</protocol>
      <host>127.0.0.1</host>
      <port>9050</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>      
   </proxy>
   <maxAttempts>10</maxAttempts>
   <cmdProcessor>/bin/bash -c #CMD#</cmdProcessor>
   <demonTime>1800</demonTime>
   <workingDir>pub</workingDir>
   <indexDir>index</indexDir>
   <providerPluginDir>provider</providerPluginDir>
   <downloaderPluginDir>downloader</downloaderPluginDir>
   <exporterPluginDir>exporter</exporterPluginDir>
   <downloadOuput>/media/2To_1/habitv_downloads/#TVSHOW_NAME#/#EPISODE_NAME#_(#DATE§yyyy-MM-dd_kk:mm#).#EXTENSION#</downloadOuput>
   <downloader>
      <name>http</name>
   </downloader>
   <downloader>
      <name>rtmpdump</name>
      <binPath>rtmpdump</binPath>
   </downloader>
   <downloader>
      <name>aria2</name>
      <binPath>aria2c --max-upload-limit=30K</binPath>
   </downloader>
   <downloader>
      <name>curl</name>
      <binPath>curl</binPath>
   </downloader>
   <downloader>
      <name>ffmpeg</name>
      <binPath>ffmpeg</binPath>
   </downloader>
   <downloader>
      <name>youtube</name>
      <binPath>youtube-dl</binPath>
   </downloader>      
   <taskDefinition>
      <taskName>category</taskName>
      <size>5</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>export</taskName>
      <size>2</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>retreive</taskName>
      <size>50</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>search</taskName>
      <size>5</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>download</taskName>
      <size>2</size>
   </taskDefinition>
   <taskDefinition>
      <taskName>curl</taskName>
      <size>2</size>      
   </taskDefinition>
   <taskDefinition>
      <taskName>ffmpeg</taskName>
      <size>1</size>
   </taskDefinition>   
</tns:config>

Bruno.

As-tu toujours le problème ? Je ne l'ai pas reproduit avec ta configuration et le dernier jar de rtmpDumpDownloader.

Pas de changement. J'ai juste noté que j'ai de plus en plus de vidéos (Arte) qui ne se téléchargent pas (taille = 0).
Même pour celles qui vont à terme, l'extension .tmp−−socks est toujours là.

J'ai noté que les tirets entre le "tmp" et le "socks" ne sont pas des tirets habituels. C'est voulu ? Peut-être est-ce la source du problème ?
Avec des tirets "normaux" (des "moins" en fait), ça devrait donner ça : .tmp--socks.
Je m'en suis rendu compte en essayant un renommage de masse visant à supprimer cette extension superflue par la commande (linux) :
rename s/.mp4.tmp−−socks/.mp4/ *.mp4.tmp−−socks
qui ne voulait pas marcher avec les tirets traditionnels...

Bruno.

J'ai ré-essayé sur linux et je n'ai toujours pas de problème, je te met mon installation complète en PJ.
Il s'agit visiblement d'un problème avec l'option --socks de rtmpdump, il manquait un espace avant cette option d'où ton problème mais je l'ai corrigé dans le jar rtmpdumpdownloader.jar donc je ne comprends pas... de plus cette option ne devrait pas s'activer dans ton cas car tu n'utilises pas de proxy de type socks (juste http).

Si si. J'utilise un proxy socks5.

Code: Tout sélectionner

   <proxy>
      <protocol>SOCKS</protocol>
      <host>127.0.0.1</host>
      <port>9050</port>
      <pluginSupport>
         <plugin>pluzz</plugin>
         <plugin>arte</plugin>
      </pluginSupport>     
   </proxy>

Le problème avec l'extension .tmp--socks a bien été résolu avec le rtmpDumpDownloader.jar récupéré de ton zip. Il devait effectivement manquer un espace.

Mais j'ai noté deux autre soucis dans la ligne de commande rtmpdump utilisée par rtmpDumpDownloader.jar :
1 / Seule l'une des deux options "socks" ou "S" devrait être utilisée (l'une est la version abrégée de l'autre).
2 / Les tirets utilisés pour introduire l'option devrait être des "moins".

Ci-dessous tu verras le résultat des trois commandes :
1 / l'originale récupérée dans le log d'habitv,
2 / celle où je n'ai laissé que "socks" en supprimant "S"
3 / et celle qui marche où j'ai en plus mis les bons "tirets".

Code: Tout sélectionner

media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" −−socks −S 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
ERROR: Closing connection: NetStream.Failed

media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" −−socks 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
ERROR: Closing connection: NetStream.Failed

media@NAS1:~/linux_habiTv$ rtmpdump -r "rtmp://artestras.fcod.llnwd.net/a3903/o35/mp4:geo/videothek/EUR_DE_FR/tvguide/045469-024-A_HQ_2_VOF_00121357_MP4-800_AMM-Tvguide?h=f915b704d2a9f754bbcc4214223ed8a8" -c 1935 -m 10 -w a8db5990d6ac5d4da6a23417206636053a8884a16db3b82e1ab3661a18d627f7 -x 966504 -o "/media/2To_1/habitv_downloads/Les_dernieres_videos_ARTE_+7-Par_avion_20130426.mp4.tmp" --socks 127.0.0.1:9050
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
Starting download at: 0.000 kB
INFO: Metadata:
INFO:   duration              1571.44
INFO:   moovPosition          32.00
INFO:   width                 720.00
INFO:   height                406.00
INFO:   videocodecid          avc1
INFO:   audiocodecid          mp4a
INFO:   avcprofile            77.00
INFO:   avclevel              31.00
INFO:   aacaot                2.00
INFO:   videoframerate        25.00
INFO:   audiosamplerate       48000.00
INFO:   audiochannels         2.00
INFO: trackinfo:
INFO:   length                39286000.00
INFO:   timescale             25000.00
INFO:   language              und
INFO: sampledescription:
INFO:   sampletype            avc1
INFO:   length                75428864.00
INFO:   timescale             48000.00
INFO:   language              und
INFO: sampledescription:
INFO:   sampletype            mp4a
37.801 kB / 0.00 sec (0.0%)


Certaines vidéos sont correctement téléchargées malgré ce soucis. Sans doute celles qui ne sont pas géolocalisée.

Tu peux jeter un œil ?

Bruno.