Guide d'initiation aux French Warez
[Introduction][Groupes][Philosophie][Récupération][Anonymat][Gravure][Divx]
[Poster][Xnews][PGP][Netiquette][Liens][Glossaire][FAQ][Historique]

Récupération

  1. Nature d'un post
  2. Principes de Usenet
  3. Lecteur de news
  4. Serveurs commerciaux
  5. Encodage
  6. Formats de compression
  7. Parité des fichiers
  8. Les opérations subséquentes à la récupération

1) Nature d'un post

Les images de CD, les programmes et les jeux sont postés en petits morceaux compressés. Le récupération d'un post consiste donc à récupérer tous ces morceaux, à les rassembler, les décompresser, et le cas échéant, graver l'image du CD.

Un post idéal de nos jours comprend plusieurs éléments :

La récupération d'un post consistera donc à :

  1. Lire le fichier NFO
  2. Lire le fichier NFO encore une fois :-)
  3. Récupérer les fichiers du post patiemment (sur plusieurs  jours par exemple)
  4. Vérifier l'intégrité de ces fichiers avec SFV de temps en temps
  5. S'il vous manque des fichiers, récupérer le même nombre de fichiers PAR pour recréer ceux qui sont manquants
  6. Une fois que tous les fichiers sont là, les décompresser
  7. S'il s'agit d'une image de CD, vérifier son intégrité et la graver.
  8. Relire le NFO avant d'installer l'application, pour vérifier si un numéro de série ou une procédure de crack doit être appliquée. Parfois, le crack se retrouvera dans un répertoire du CD qui aura été gravé. Soyez attentif à cette possibilité.

Dans un monde idéal, tous les posts devraient être préparés de manière impéccable. Dans le monde réel, il y a parfois du laisser-aller ou des
situations qui empêchent de tout faire au pied de la lettre. Faut faire avec. :-)

2) Principes de Usenet

USENET est un réseau de réseaux qui est une sous-composante distincte de l'Internet (en fait, c'est l'ancêtre d'Internet...). Les échanges électroniques sur Usenet se font en mode texte. Pour échanger du binaire (nos fichiers), les logiciels de news les convertissent en pseudo-texte dans une forme compris par les machines. C'est l'encodage. Les logiciels de news le font automatiquement. À la réception, normalement le décodage se fait automatiquement (il y a des cas d'exception, comme le récent encodage yEnc. Voir plus loin.). Parfois cet encodage ou les exigences du réseau Usenet exige qu'un nombre maximal de lignes soit respecté pour un message pseudo-texte. Par exemple, 3000 lignes. Ce qui arrive alors, c'est qu'un fichier binaire, encodé en pseudo-texte, sera trop gros pour entrer dans un seul message. Les logiciels de news vont alors découper en "petites parties" le fichier (autrement dit, en plusieurs messages). C'est ce que l'on appelle un fichier multiparties.

Ainsi par exemple, si on décide de poster à 3000 lignes, un fichier de 1.44Mo sera découpé et envoyé en fait en 7 parties (messages) différents, chacun de 3000 lignes. Plus le nombre de lignes sera bas et/ou plus le fichier sera gros en taille, plus le nombre de parties sera élevé. Il n'est pas rare de voir ainsi un fichier découpé en 45 ou 89 morceaux (autrement dit, 45 ou 89 messages différents).

On aura alors un message qui dira par exemple

ApplicABC - CD 1/3 - Jour 1/5 - 43/320 - fichier.r43 (3/6)

Autrement dit, l'application ABC comprend 3 CD et il s'agit ici d'un minuscule bout du premier CD ! Ce premier CD sera posté sur 5 jours et nous sommes au premier jour. Chaque CD a été "découpé" en petits fichiers avec un logiciel de compression, et le CD1 est inclus maintenant dans 320 fichiers archive "rar". Nous avons ici le fichier r43. Chaque fichier a été ensuite encodé en pseudo-texte et coupé en plusieurs "messages" par le logiciel de news, et ici il s'agit du 3e message de 6 consituant ce fichier. Ouf! En supposant dans notre exemple que les trois CD soient de taille identiques, il vous faudra 15 jours pour récupérer l'application ABC, et pour ce faire récupérer 5,760 MESSAGES différents! (320 fichiers x 6 messages par fichier x 3 CD).

Le problème est que le chemin sur Usenet n'est jamais le même. Pour équilibrer la charge de transport, le réseau s'auto-organise et chaque partie (message) transite par un chemin différent: Montréal, Paris, New York, bref tous les chemins possibles. Ce cheminement multiple s'appelle la PROPAGATION. Et contrairement à ce que l'on peut croire, elle n'est pas instantanée, mais peut parfois prendre des heures, voire des jours. La raison en est qu'un message peut être mis en attente quelques heures, par exemple, dans la queue de traitement d'un routeur débordé. Alors, faut être patient.

Quand tout marche bien, au bout de quelques heures (24heures maximum), à l'arrivée, le serveur que vous utilisez devrait avoir reçu tous les messages composants chaque fichier en provenance de toutes les parties du monde. Dans le meilleur de cas, il est possible de tout récupérer.

Sauf que...

Sauf que l'architecture de Usenet ne garantie pas que les messages se rendent à destination! Un message peut être bloqué définitivement sur
un routeur à New York, ou perdu par un spooler à Toronto, ou corrompu dans le transport par satellite au-dessus de l'Atlantique, ou être rejeté par un serveur débordé à Montréal, ou encore arriver trop en retard sur votre serveur de Bruxelles pour rejoindre les autres. Il y a donc arfois/souvent des PERTES dans le transport.

Dans notre exemple ci-haut, s'il nous manque ne serait-ce qu'UN SEUL message sur les 1,920 qui contiennent un CD, et bien on ne pourrait pas techniquement décompresser le CD. Plus les pertes sont importantes, plus ce que l'on appelle la COMPLÉTUDE sur un serveur est faible.

Un serveur, c'est un peu comme une baignoire: ca reçoit passivement des posts 24h/24h. Et il y a donc des bons serveurs et des mauvais serveurs, comme il y a des bons et des mauvais contenants pour recevoir de l'eau.

Si j'essaie de faire entrer 10 litres d'eau à la seconde dans un tuyau qui ne peut qu'en contenir 2 litres/seconde, alors, bien sur, ça pisse de tous les bords partout, je suis mouillé de la tête au pied, et je perds de l'eau. De la même façon, quand le flot de messages sur Usenet est plus important pour un serveur que ce qu'il peut en recevoir, il perd des messages. Pour vous donner une idée, le traffic sur Usenet peut atteindre par moment 10 TeraBits/seconde, alors que plusieurs serveurs bas de gamme sont équipés de cables limités à 2 TeraBits/sec. Ces serveurs perdent donc 80% du traffic qui est définitivement perdu ! Les messages qui passent sont le plus souvent identifiés par l'administrateur du serveur comme "plus importants" que les autres, notamment les vrais messages textes (dont le nombre de lignes est faible), les fichiers en provenance des autres serveurs appartenant à l'administrateur, les fichiers dans les groupes les plus populaires, etc. Le reste, tant pis !

Reprenons notre exemple de la baignoire maintenant. Elle contient une quantité déterminée d'eau, disons 500 litres. Quand j'arrive au 501e litre d'eau, et bien ca déborde. A moins que j'ouvre un drain qui évacue l'eau du fond au fur et à mesure pendant que je remplis par le dessus. Ma vieille eau est évacuée et j'en reçois de la nouvelle toutes les minutes. Et bien, un serveur, c'est pareil. Son storage n'est pas infini. Alors quand ca arrive à pleine capacité, et bien on efface les plus messages les plus anciens. Pouf ! fini ! Parti pour toujours. Plus le serveur conservera les messages pendant longtemps, plus ce que l'on appelle la RÉTENTION sera longue. Certains serveurs ne gardent les messages que quelques heures (rétention faible), ce qui nous oblige à récupérer les messages très vite avant qu'ils ne disparaissent. D'autres serveurs, conserve les messages pendant des semaines, ce qui nous permet de partir quelques jours et de revenir chercher les messages en tout quiétude plus tard (rétention longue). Cependant, TOUS LES SERVEURS finissent par éliminer les vieux messages un jour ou l'autre. Il n'y a donc pas d'archives de Usenet à proprement parler (sauf pour les messages textes, sur Google, mais ca c'est un cas spécial). Si un message est "poussé" en dehors du serveur parce qu'il est trop vieux, c'est fini, vous ne pourrez plus le récupérer sur ce serveur.

Heureusement, l'architecture de Usenet vient nous sauver. En effet, quand on lance un message sur le réseau, des milliers de serveurs différents sont à l'écoute et sont en mesure de "l'attraper (ou non) au vol". Chaque serveur attrapera et conserva ce message selon des paramètres différents. Les performances des serveurs varient largement selon plusieurs facteurs, mais surtout sur l'espace et sur la bande passante. Il y a d'autres facteurs qui entrent en jeu (heure du post, newsgroup, nombre de lignes, etc), mais ca pourrait être complexe de tout expliquer ici.

Un bon serveur aura des posts COMPLETS et RETENUS pendant plusieurs jours (semaines); un mauvais serveur aura des posts INCOMPLETS (donc peu utilisables) et RETENUS pendant quelques heures (jours) seulement. On a néanmoins (et théoriquement) une solution de rechange quand la complétude ou la rétention d'un serveur ne nous avantage pas: on peut tout simplement espérer récupérer le message ailleurs, s'il n'est pas trop tard.

De nos jours, les bons serveurs sont essentiellement COMMERCIAUX, donc payants (Giganews, Claranews, Eaysnews, Usenetserver, etc.). Les serveurs de news "gratuits" qui viennent avec votre fournisseur d'accès Internet (FAI), comme Wanadoo, Videotron ou Sympatico, sont habituellement très mauvais. Quant aux autres serveurs "gratuits" accessibles au public, ils sont lents et pas toujours disponibles, tandis que les utiliser trop fréquemment et intensément est considérée comme un abus majeur par la communauté des usagers.

Le truc numéro 1 d'une bonne récupération sur l'ensemble des posts fait sur un groupe binaire est donc d'abord et avant tout d'aller chercher les fichiers sur des BONS serveurs. On ne saurait trop recommander à un nouveau de s'abonner à un serveur commercial, ne serait-ce que pour un mois. A défaut de ce faire, vous aurez fort probablement des fichiers manquants inutiles.

Dans ce cas néanmoins, trois solutions:

  1. Si les fichiers manquants sont peu nombreux, vous pouvez utiliser les fichiers PAR pour reconstituer ce qui vous manque (quels que soient les fichiers manquants). Cette technique est limitée par le nombre de PAR que le posteur a créé. Par exemple, s'il a créé 7 fichiers PAR, vous ne pourrez pas recréer plus de 7 fichiers manquants. Voir la section consacrée à la parité des fichiers.

  2. Si le nombre de fichiers manquants est un peu plus important, vous pourrez toujours demander à quelqu'un de vous faire ce que l'on appelle un FILL, c'est-à-dire de vous renvoyer les fichiers manquants en espérant qu'ils passent cette fois-ci. Il faut faire alors la requête sur le groupe approprié (groupe discussion le cas échéant!) et se croiser les doigts. N'espérez pas qu'on vous reposte 200 megs de fichiers abimés juste pour vous ! (Voir section sur les SERVEURS COMMERCIAUX). Quelques fichiers sont un maximum. S'il y en a trop, ou si vous faites des demandes en masse trop fréquemment, on vous pensera fou/paresseux/radin :-) Vérifiez toujours d'abord si le fichier n'a pas été reposté auparavant pour quelqu'un qui avait le même problème (c'est le même fichier après tout). Attendez aussi toujours la fin du post pour faire une demande. Si on n'honore pas votre demande, il se peut maheureusement que: 1) personne n'ait récupéré et gardé les archives (dommage!), 2) votre demande soit passée inaperçue, 3) vous ayez enfreint une règle non-écrite de la Netiquette ou de la philosophie du groupe, ou 3) les autres usagers commencent à en avoir marre de vos requêtes à répétition !. Ne le prenez pas personnel alors, restez Zen et prenez-vous un serveur commercial pour demeurer aussi autonome que possible.

  3. Si vous avez trop de fichiers manquants, vous pouvez toujours espérer qu'il y aura ce que l'on appelle un REPOST, c'est-à-dire un renvoi de TOUS les fichiers, habituellement une semaine ou deux plus tard. Le repost est prohibé dans certains groupes, mais c'est habituellement au posteur décider.

3) Lecteur de news

L'autre pièce du puzzle de la récupération est le logiciel de news. Celui que la plupart des nouveaux usagers utilisent est Microsoft Outlook Express. Ce lecteur est sans doute bien adapté aux échanges textuels, mais quand il s'agit du binaire multipartie, c'est vraiment loin d'être le meilleur. Vous vous souvenez des fichiers "découpés" en plusieurs messages ? Hé bien, Outlook Express ne reconnait pas automatiquement ces messages comme étant éléments d'un tout. Autrement dit, il ne reconnait pas les fichiers multiparties.

Il vous faut donc un logiciel de news adapté.

Il existe deux catégories principales de logiciels de news, les lecteurs et les ramasseurs:

i) Les lecteurs

Là, il y a du choix, plus d'une vingtaine de logiciels qui s'affrontent. C'est d'abord une question de goût pour le choix d'un logiciel de news. Les deux plus populaires sont Agent (http://www.forteinc.com) et Xnews (http://xnews.newsguy.com/). Le premier est le grand-papa des lecteurs de news et est partagiciel, et le second est le jeune prodige et est gratuit.

Chacun a ses forces et ses faiblesses. Pour quelqu'un qui n'est pas un habitué des news, Xnews est probablement un bon choix, en plus d'être gratuit et bien documenté (y compris en francais, voir les liens vers les nombreux tutorials sur le site du programme).

Fouillez aussi sur Google, il existe des tas de sites qui expliquent le fonctionnement de ces logiciels.

Que ce soit l'un ou l'autre, une fois installé, il faut entrer l'adresse de son ou de ses serveurs de news, s'abonner aux groupes warez (liste en début de texte) et monitorer quotidiennemen "ce qui y passe". (Là encore, les nombreux tutorials, souvent illustrés par de nombreuses images d'écran, vous indiqueront la démarche à suivre pour configurer et utiliser ces logiciels).

Les deux lecteurs de news, Agent et Xnews, reconnaissent les fichiers multiparties et les affichent comme s'il s'agissait d'un seul message. Si toutes les parties (messages) du fichier sont arrivées au serveur, les logiciels l'affichent "complet" et il est récupérable. On peut donc le sélectionner et le décoder/sauvegarder. Autrement il signale qu'il manque une ou des parties, et là on ne peut le récupérer aussi facilement. :-(

Que faire quand il nous manque un bout de fichier, et que l'on ne peut utiliser l'une des trois méthodes énumérées ci-haut (i.e.: utiliser les PAR, espérer un fill, espérer un repost) ? Et bien, il faut aller voir sur d'autres serveurs s'il est complet ! Quels serveurs ? Il existe quelques serveurs publics et gratuits (consulter http://www.newzbot.com/) et on peut toujours essayer là en premier. Mais franchement, l'effort n'en vaut pas la chandelle parfois. Autrement, c'est un serveur payant (voir plus loin). Il faudra donc configurer votre lecteur de news pour ajouter des serveurs supplémentaires. Avec Xnews, c'est facile, car c'est dans les Options. Avec Agent, il vous faudra créer une repertoire vide, y copier le fichier AGENT.INI du repertoire actuel, puis créer un raccourci de Agent dans Windows en indiquant le chemin du nouveau répertoire comme chemin de travail, afin de pouvoir partir une deuxième occurence d'Agent et modifier les paramètres du serveur. Répeter l'opération pour chaque serveur. Ouf.

Note: Nous avons une préférence marquée pour Xnews. Nous avons d'ailleurs écrit une section de ce guide sur ce logiciel.

ii) Les "Ramasseurs" (grabbers)

Chercher dans plusieurs les serveurs publics avec Agent ou Xnews n'est pas une solution très pratique et efficace de nos jours. Certains considèrent cette opération longue et fastidieuse sur le plan manuel. C'est pourquoi il existe des logiciels dont la fonction n'est QUE de ramasser les fichiers sur plusieurs serveurs (et pas de poster du texte ou des fichiers). Là encore, plusieurs choix. Le principe général est habituellement le même: installer le logiciel, indiquer tous les serveurs auxquels on a accès, puis lancer la récupération d'un post donné. Le logiciel ira voir sur tous les serveurs qui ont des fichiers complets. Avec de la chance, on récupère tous les fichiers complets sur plusieurs serveurs. Ces logiciels ont aussi l'avantage de pouvoir récupérer SIMULTANÉMENT plusieurs messages d'un même serveur ou de plusieurs serveurs différents. On dira qu'ils sont MULTI-THREADS. L'avantage en est surtout un de temps de download (plus vite)

Quelques logiciels ramasseurs:

(Note technique: il faut mentionner que dans la catégorie des lecteurs de news, Xnews peut récupérer non seulement des fichiers complets simultanément sur plusieurs serveurs (il est donc MULTI-SERVEURS, MULTI-THREADS), mais aussi des *parties/messages* d'un même fichier, mais qui sont sur des serveurs différents. Très intéressant. C'est une opération manuelle avancée toutefois, mais elle est pratique lorsque l'on veut, par exemple, tirer le maximum d'un serveur  "gratuit" et complèter avec le strict mimum à partir d'un serveur payant. Pour en savoir plus, voir la section du guide consacrée à Xnews.

4) Serveurs commerciaux... pour se simplifier la vie !

Il n'en reste pas moins que le meilleur moyen de ne pas se casser la tête à ramasser des fichiers sur plusieurs serveurs, comme ne pas être toujours comme des sangsues auprès des posteurs et des autres usagers à demander des fills, des fills et encore des fills, c'est encore d'avoir un serveur commercial. Cela signifie simplement qu'une compagnie s'est dotée de méga-ordinateurs dédiés et de plusieurs connections à très haut débit pour ramasser avec COMPLÉTUDE tout ce qui se poste sur Usenet. Cette compagnie ne fait que ça et offre l'accès à son serveur à ceux qui paient. Par ailleurs la capacité de storage de ces ordinateurs est gigantesque et ces serveurs ont donc une RÉTENTION de plusieurs jours, voire semaines, ce qui vous évite d'étre collé sur votre ordinateur à tous les jours. Autrement dit, on a tout complet et longtemps.

En aucune façon les serveurs de news des fournisseurs de service Interne (FAI) ne peuvent compétitionner avec les serveurs commerciaux . Bien sûr, le serveur de votre FAI est gratuit, mais votre fournisseur ne s'est pas engagé à ce qu'il soit bon ni complet... Le problème vient de l'augmentation croissante du volume sur Usenet qui rend un investissment de plusieurs millions de dollars en équipement désuets en quelques mois. Comme le serveur de news d'un FAI ne rapporte pas d'argent (seul le coût de la connection le fait), la mode est au délaissement de la qualité un peu partout (Sympatico, Vidéotron, etc.).

Certains nouveaux s'étonnent quand même de voir le serveur "gratuit" de leur FAI comporter plusieurs posts parfaits et d'autres posts totalement pourris. Ils ont tendance à blâmer le posteur alors qu'en fait, s'ils pouvaient constater d'où viennent les posts, ils verraient probablement que les posts complets viennent de leur propre serveur, et que les posts incomplets viennent d'ailleurs. Bien oui, il est normal qu'un post fait à partir d'un serveur donné, Sympatico par exemple, passe très bien sur lui-même ! (distance de propagation zéro). Ainsi, la variance dans la complétude des posts s'explique non pas par les posteurs, mais par le fait que le serveur de FAI est pas bon en général, sauf pour lui-même !

Cette situation particulière amène quand même plusieurs usagers à se confiner à leur serveur "gratuit" de FAI pour s'abreuver aux posts qui y sont parfois complets, et à entretenir malheureusement l'idée qu'un abonnenement à un serveur payant est inutile. Cette attitude ne règle pas le problème cependant.

Premièrement, parce que cela supposerait que tous les posteurs doivent obligatoirement poster depuis le serveur du FAI en question pour avoir une bonne complétude, ce qui n'est pas possible (les accès Internet sont différents pour chacun). Aussi, poster d'un serveur de FAI a de plus en plus ses inconvénients du point de vue de l'anonymat des posteurs, et de plus en plus, les posteurs préfèrent passer par des serveurs commerciaux anonymes pour assurer un minimum de sécurité.

Deuxièmement, cela ne règle pas la propagation vers les autres serveurs de FAI. Si un posteur post de Sympatico à Sympatico aux bénéfices des usagers de Sympatico qui ne veulent pas s'abonner à un bon serveur de news, par exemple, et bien ca n'aide nullement les usagers de Wanadoo ou Videotron qui pourraient voir ce post incomplet chez eux et qui ne pourront jamais avoir accès au serveur Sympatico ! Ne serait-il pas plus simple que tout le monde utilise le même serveur ? Bien sûr ! Mais ce n'est tout simplement pas réaliste sur le plan technique. L'autre solution qui voudrait que le même logiciel soit postée à plusieurs reprises et de plusieurs endroits différents (le post ABC posté de Sympatico au profit des usagers de Sympatico, posté également de Wanadoo au profit des usagers de Wanadoo, etc.) résulte invariablement en un gaspillage de bande incroyable ! (C'est malheureusement le cas: il n'y a qu'à regarder plusieurs groupes à tout moment pour constater que plusieurs applications sont postées simultanément mais par des posteurs différents et sur des groupes différents, résultant de fait dans un gaspillage de bande éhonté et qui affecte directement la complétude de tous les autres posts sur le réseau. À proscrire donc totalement).

Troisièmement, parfois même la propagation d'un serveur de FAI à lui-même est pourrie !

Comme on a rien sans rien, il faut donc payer les serveurs payants. Le coût moyen est d'environ une quinzaine de dollars ou une dizaine d'euros par mois pour 6 Giga de transfert. C'est raisonnable si l'on calcule ce que l'on économise ailleurs.

Les serveurs les plus populaires sont toujours:

Il y en a plusieurs autres. Chacun a ses forces et ses faiblesses. Voici quelques exemples:

- Giganews est la cadillac des serveurs de news. C'est le meilleur côté complétude et propagation, et il est très rapide. Il est cependant assez cher et les administrateurs sont très chatouilleux côté légal lorsqu'on se met à poster... et que l'on se fait dénoncer.

- Easynews a l'avantage d'avoir plusieurs serveurs spécialisés et des rétentions époustouflantes sur certains d'entre eux (se compte en mois parfois!), mais au prix de la lenteur, et d'une configuration plus difficile (plusieurs serveurs à prendre en compte). Easynews a aussi le défaut de ne pas être le plus performant lorsqu'on se met à poster. Par contre, Easynews permet aussi de downloader à partir d'un site Web plutôt que d'une adresse Usenet, ce qui permet d'utiliser un utilitaire comme Download Accelerator (http://www.speedbit.com) par exemple pour accélérer significativement les downloads. Il faut savoir enfin que Easynews sous-contracte auprès de plusieurs compagnies de news dans l'industrie et qui auront donc, sans étonnement, des offres extrêmement similaires.

- UsenetServer est assez bon sur plusieurs points (rétention, vitesse, complétude), mais plus ou moins fiable dans le temps (les arrêts de service étaient fréquents à une époque).

- Claranews constitue l'offre la plus économique: il est un des moins chers de l'industrie. Il est totalement illimité en download dans certains packages, et sa complétude est très bonne. Par contre la vitesse de télédéchargement n'est pas des plus rapides, la rétention n'est que de quelques jours et le nombre de thread est limité à trois. C'est par contre un excellent choix pour ceux qui ne sont pas pressés et qui monitorent les news régulièrement.

Bref, c'est la variété. Le choix d'un serveur  commercial se fait ultimement sur la base de ses besoins et de son budget. Il faut MAGASINER.

Il est de plus TOUJOURS préférable de prendre au début des abonnements au mois, quitte à annuler l'abonnement après un mois. Ca permet de tester sans trop s'engager. Comme la performance de chaque compagnie varient selon les moments, ont fini toujours par avoir fait le tour après quelques mois.

A noter que les arguments de tous les nouveaux comme quoi "j'ai pas d'argent" ou "je paie déjà pour un accès Internet, je vais quand même pas payer en plus pour avoir un serveur de news!" sont rejetés du revers de la main par tous les habitués des news. On pourrait développer largement, mais disons simplement que 15$/mois pour 6Giga, c'est trois fois rien par rapport à ce qui est économisé en cinéma, CD compact, jeux et applications, sans compter qu'on peut partager les coûts à plusieurs. Sans compter aussi, que plusieurs posteurs ont eux, fait l'effort financier de s'abonner à un bon serveur, et ceci afin de vous envoyer un post. A vous de voir si vous voulez avoir la vie dure ou non.

5) Encodage yEnc

Juste un mot sur le sujet. Depuis quelques temps, un nouveau format d'encodage pseudo-texte des fichiers binaires est devenu très populaire. Il s'agit de l'encodage yEnc. Il est plus performant, donc plus compact, que son prédecesseur. Les fichiers postés avec yEnc sont identifiés comme tel, en ayant ce nom dans le titre.

Le problème est qu'il est récent et que plusieurs outils et lecteurs de news ne le supportent pas encore. Il faut donc être patient et se doter des bons outils. À défaut d'avoir les bons outils, vous aurez plus de manipulation à faire.

Comme c'est un point d'évolution rapide de Usenet, il est préférable d'aller s'informer directement à la source et de lire les pages http://www.yenc.org et http://www.geocities.com/zenwebpage/yEncFAQ.htm.

Pour récupérer des fichiers postés avec yEnc de manière transparente, il vous faut la dernière version de Xnews ou la dernière version de Agent (1.9). Notez bien qu'avec ces outils, le fait que le fichier soit encodé ou non yEnc ne change rien aux procédures de récupération: tout est transparent !

6) Sur les formats de compression

On l'a dit, les fichiers d'un post sont habituellement compressés. Vous connaissez probablement le format ZIP. Il est pratique et souvent utilisé pour les fichiers de petite taille, mais dès que vous avez une application de quelques megs (et pire, une image d'un CD de 750 megs!), le fichier ZIP devient une véritable catastrophe ! On se souviendra qu'un fichier envoyé sur Usenet est découpé en partie/message: or, plus le fichier est grand, plus le nombre de messages nécessaires sera grand, et plus les chances de pertes seront grandes. Ainsi, un gros fichier zip de 100 Meg est presque assuré de ne pas se propager correctement sur plusieurs serveurs.

Les groupes warez utilisent donc des formats de compression plus versatiles et qui permettent de découper un gros fichier en plusieurs "morceaux", ce qui facilite la transmission sans trop de pertes et surtout autorise la reconstitution du gros fichier à l'arrivée.

Le format le plus répandu est WinRAR (http://www.rarsoft.com), version 3.0 récemment mise en circulation. C'est un partagiciel qui a aussi l'avantage de compresser et décompresser du ZIP.

Un ensemble de fichiers RAR auront des tous des extensions rar, mais avec des sous-extensions différentes, soit:

Quand vous voyez ce type de nom, vous savez que c'est une archive WinRAR 3.x.

La version 2.0 de WinRAR demeure cependant encore populaire. La méthode de compression est différente et un brin moins efficace que la version 3.0, mais on la retrouve encore souvent. Compressé avec WinRAR 2.x, un ensemble de fichiers RAR aura normalement des extension numérotées rar, r00, r01,..., r99, s00, s01,..., s99, t00, et le fichier "maitre initial" est celui qui comportera l'extension Rar.

Comme rien n'est facile avec le warez, certaines versions de Rar par exemple font des archives numérotées différement, plutôt du genre 001, 002, 003, etc. Le fichier "maitre initial" est ici celui qui a le numéro 001. Mais là encore, ATTENTION, rien n'est simple et il se peut aussi que cette numérotation n'ait rien à faire avec WinRAR. Ca peut être aussi un ensemble de fichier à reconstituer avec HJSplit (voir plus bas).

Pour compliquer encore plus les choses, certains utilisent les anciens schèmes d'extension de l'ancienne version 2.0 en utilisant la nouvelle compression 3.0! Dans ces cas, l'archive ne peut être ouverte avec WinRAR 2.x même si elle en a les apparences !!!

Heureusement, puisque la version 3.0 est compatible avec les versions antérieures, il est recommandé de n'installer que cette version. Vous ne devriez pas avoir de problème de cette façon.

Une fois que tous les fichiers d'un post sont récupérés (et vérifiés par QuickSfv) il vous faudra ouvrir l'application WinRar, surligner le fichier "maitre initial" (celui avec l'extension *.rar ou part1.rar ou .001 selon le schème utilisé) et extraire la totalité vers un répertoire de votre choix. Le ou les fichiers contenus dans l'archive se reconstitueront (une image de CD par exemple).

Note complémentaire sur WinRAR: Comme WinRAR est partagiciel, la plupart des gens trouvent une copie piratée ou crackée. :-) Quelques posteurs, de bonne foi ou distraits, vont parfois compresser avec une option d'authentification qui n'est pourtant réservée qu'aux usagers enregistrés. L'archive compressée avec cette option à partir d'une version de WinRAR crackée générera un message d'erreur lorsque décompressée et qui est un classique sur les groupes warez: "Invalid or broken authencity". Ne vous inquiétez pas, ce n'est pas un fichier corrompu! Ca veut juste dire que WinRAR ne peut pas valider l'identité du créateur de l'archive (ce qui est normal, puisqu'il a une version piratée). Ignorez cette erreur en toute circonstances (mais pas les autres erreurs! :-) )

Il y a un autre compresseur assez populaire sur certains groupe, en l'occurence WinAce (http://www.winace.com). Son intérêt est une plus grande performance avec les fichiers multimédias, mais il est moins utilisé et favorisé sur les groupes français. Son extension est c00, c01... Son principe de fonctionnement est identique à WinRAR. Il fait partie des outils incontournables. A noter que WinRAR est capable de décompresser certaines archives ACE, mais seulement pour des fichiers compressés avec l'ancien schème 1.x, et inversement WinACE est capable de décompresser certaines archives RAR, mais seulement pour des fichiers compressés avec l'ancien schème 2.x.

Certains utilisent occasionnellement le format ZIP multispan, un ZIP qui autorise d'être divisé en plusieurs morceaux. PowerArchiver (www.powerarchiver.com) supporte ce ZIP spécial. Là, encore, le principe est identique à WinRAR, mais c'est un format qui est fortement réprouvé sur les groupes warez. car il comporte plusieurs désavantage. Il est identiqué ici pour référence seulement, mais il est véritablement à éviter.

Enfin, un mot sur HJSplit. Certains posteurs préfèrent pour des raisons qui leurs sont propres, décident de ne pas compresser les fichiers postés, mais simplement de les couper en morceaux avec l'utilitaire HJSplit (http://www.freebyte.com/hjsplit/), souvent parce que le fichier ne gagnerait pas à être compressé. On retrouvera alors le fichier découpé en morceau avec les extensions *.001, *.002, *.003, etc. L'utilitaire gratuit HJSplit permet simplement de "recoller" ces morceaux bout-à-bout et de reconstituer le fichier complet. Cette forme de post est utilisée surtout dans les groupes multimédia (films) car un morceau de post demeure utilisable même sans les autres (on peut regarder ainsi un bout de film sans avoir les autres morceaux), mais certains l'utilisent aussi par habitude pour des posts de programmes, même si cette façon de faire complique parfois la vie des nouveaux et n'apporte aucun avantage.

En résumé :

Types de fichiers Logiciel
part1.rar, part2.rar, etc. WinRAR 3.0
rar, r01, r02, etc. WinRAR 2.0 ou 3.0
c01, c02, c03, etc. WinACE 2.x
001,002,003, etc. WinRAR 2.0, ou 3.0 ou HJSPlit

7) Parité des fichiers

Nous avons déjà dit que le réseau USenet ne garantissait pas l'intégrité du transport. Il se peut donc que dans le transport, les fichiers se soient abîmés ou perdus. C'est un problème majeur lorsqu'il s'agit de récupérer une application, car l'on sait qu'un seul octet de différence peut faire crasher un programme.

Heureusement, il existe plusieurs moyens de s'assurer qu'un fichier est arrivé en bon état, et éventuellement le reconstituer. Nous distinguons trois niveaux de parité.

a) le fichier SFV est une simple vérification de redondance cyclique d'un fichier. Autrement dit, de savoir si le fichier est corrompu ou non. Avec le logiciel approprié (nous recommandons QuickSFV, www.geocities.com/SiliconValley/Mouse/4668/), il suffit d'un clic de souris sur le fichier SFV (quand il est fourni) pour savoir si les fichiers récupérés sont intacts, et s'il nous en manque. C'est l'opération élémentaire DE BASE. Par contre, le fichier SFV ne fait que signaler l'erreur, mais ne la corrige pas.

b) Récemment, un nouvel outil a révolutionné les news. Il s'agit de la méthode des PAR. Un ensemble de fichier PAR(ité) permet de vérifer mais aussi de reconstituer n'importe quel fichier manquant ou abimé d'une série de fichiers postés. S'en est presque magique ! Ils ne sont pas essentiels si vous avez tous les fichiers du post, mais deviennent indispensables s'il vous manque un morceau.

L'explication mathématique des fichiers PAR dépasse ce guide, mais disons qu'ils sont la somme paritaire de sections de fichiers constituant une série. Par exemple, supposons une série de chiffres aléatoires 1+4+5+6+4=20. Si je masque un chiffre de la série, n'importe lequel, il m'est toujours possible de retrouver ce chiffre en ayant la somme de la série. Ainsi 1+4+ x+6+4=20, où x=5, ou 1+4+5+x+4=20, où x=6. C'est un peu plus compliqué avec deux inconnus ou plus, mais c'est mathématiquement possible si on a deux "sommes" ou plus qui permettent de reconstituer la série.

Les PAR fonctionnent de la même manière. Ainsi si on a un post avec 30 fichiers compressés WinRAR, et que le posteur a pris soin de créer 5 fichiers de parité PAR (P01, P02, P03, P04, P05 + un fichier PAR qui est très petit: dans la pratique toutefois , le nombre de PAR est décidé par le posteur), on peut "reconstituer" n'importe quel fichier manquant ou abimé de la série de 30 fichiers, jusqu'à concurrence de 5 fichiers. N'importe lesquels ! C'est très pratique quand on a un serveur de news qui n'est pas bon et ca évite aussi au posteur de faire des fills inutilement. Ainsi, si sur les trente fichiers, il manque par exemple r05, r07, r12, r23, et r29, il n'y a qu'à double cliquer sur le fichier PAR (une fois l'utilitaire SmartPar ou FSRaid installé) pour reconstituer tous les fichiers manquants! Le miracle est qu'il peut manquer cinq autres fichiers complètement différents à un autre usager, et avec les mêmes PAR, pouvoir reconstituer les autres fichiers manquants. Alleluia! S'il manque plus de cinq fichiers (dans notre exemple), les fichiers PAR ne peuvent rien faire alors, mais le nombre de fill à demander est moindre alors (s'il en manque sept, alors deux fills seront nécessaires seulement puisque les cinq autres fichiers PAR se chargeront de reconstituer les autres). Avant donc de demander des fills, TOUJOURS TOUJOURS reconstituer ce que vous pouvez avec des fichiers PAR s'il y en a.

c) Le troisième niveau de Parité est intégré à même les fichiers compressés. C'est le cas du format WinRAR, qui offre en option la possibilité d'ajouter une mesure de redondance à même l'archive au moment de la compression. WinRAR permet théoriquement de réparer une archive abîmée (item Réparer dans le menu Commandes de WinRar) lorsque les conditions sont optimales et que le posteur a compressé l'archive avec l'option de restauration. Dans la pratique, c'est une technique qui ne marche pas tout le temps. Elle fonctionne bien lorsque l'archive contient plusieurs fichiers de petites tailles, elle est tolérable lorsque l'archive contient un film ou une chanson qui peut s'accomoder sans impact notable d'une perte de quelques centaines de bytes, mais rarement utile lorsque l'archive est un programme ou une image de CD. C'est la restauration de la dernière chance.

Les opérations subséquentes à la récupération

Et voilà! Si tous va bien, vous avez pu récupérer entièrement les archives de votre application/jeux/image de CD/films/chansons, et vous les avez décompressés. Et maintenant, quoi ?

Musique Si vous avez downloadé de la musique, vous avez des MP3 et savez comment les faire jouer (il faut espérer, en tout cas!).
Vidéos Voir section à ce sujet
Applications et jeux à graver Voir section à ce sujet

Guide d'initiation aux French warez, version 2.0 (2002/11/04)