UTF et ANSI

<< Click to Display Table of Contents >>

Navigation:  »No topics above this level«

UTF et ANSI

A partir de la version 10, vpxPrint accepte les fichiers ANSI et UTF.

 

Les fichiers ANSI ne permettent pas d'imprimer des caractères complexes comme ceux des jeux de caractères asiatiques. Dans ce cas, il faut utiliser les fichiers au format UTF.

Ci-dessous une petite discussion sur les formats de fichiers UTF, une description plus complète peut être trouvée sur le site http://unicode.org.

 

Du point de vue de vpxPrint :

vpxPrint est entièrement compatible avec les formats de fichiers ANSI et supporte les encodages UTF-8 et UTF-16.

Comme vpxPrint supporte à la fois les formats de fichiers ANSI et UTF, il doit connaître le format exact du flux avant de le traiter

Si le flux contient un BOM (voir ci-dessous), il n'y a aucun doute, le fichier est encodé en UTF. Mais les fichiers UTF-8 peuvent avoir une BOM ou pas.

Comment détecter si le flux est ANSI ou UTF-8 sans BOM ?

Une façon de procéder est de supposer que le fichier est UTF8, et de le décoder comme tel, puis lorsqu'une erreur est rencontrée lors du décodage d'un caractère, il ne s'agit probablement *pas* d'UTF8.

Mais cette méthode n'est pas sûre à 100 %.

Un autre problème est qu'il faut examiner le contenu complet du fichier avant de le traiter, ce qui génère un traitement supplémentaire inutile.

 

Si le fichier est encodé en UTF et ne contient pas de BOM :

about_24_h Il faut insérer une  balise <utf-8> au début du fichier, sinon le fichier est traité comme un fichier ANSI.

 


 

Unicode

 

 

Un "format de transformation Unicode" (UTF) est un mappage algorithmique de chaque point de code Unicode (à l'exception des points de code de substitution) en une séquence d'octets unique. La norme ISO/IEC 10646 utilise le terme "format de transformation UCS" pour UTF ; les deux termes sont simplement des synonymes du même concept.

 

Chaque UTF est réversible, c'est-à-dire que chaque UTF prend en charge l'aller-retour sans perte : le mappage de n'importe quelle séquence de caractères codés Unicode S vers une séquence d'octets et inversement produira à nouveau S. Pour garantir l'aller-retour, un mappage UTF doit mapper tous les points de code (à l'exception des points de code de substitution) vers des séquences d'octets uniques, y compris les points de code réservés (non attribués) et les non-caractères (y compris U+FFFE et U+FFFF).

 

La première version d'Unicode était un encodage 16 bits, mais depuis Unicode 2.0 (juillet 1996), ce n'est plus un encodage 16 bits. La norme Unicode encode les caractères dans la plage U+0000..U+10FFFF, ce qui équivaut à un espace de code de 21 bits. Selon la forme d'encodage choisie (UTF-8, UTF-16 ou UTF-32), chaque caractère est représenté sous la forme d'une séquence d'un à quatre octets de 8 bits, d'une ou deux unités de code de 16 bits ou d'une seule unité de code de 32 bits.

 

UTF-8 est le plus courant sur le web. UTF-16 est utilisé par Java et Windows. UTF-8 et UTF-32 sont utilisés par Linux et divers systèmes Unix.

 

UTF-8 est la forme de codage orientée octet d'Unicode.

L'UTF-16 utilise une seule unité de code de 16 bits pour coder les 63 000 caractères les plus courants, et une paire d'unités de code de 16 bits, appelées substituts, pour coder le million de caractères moins courants de l'Unicode.

FAQ sur la marque d'ordre d'octet (BOM)

Qu'est-ce qu'une BOM ?

Une marque d'ordre d'octet (BOM) consiste en un code de caractère U+FEFF au début d'un flux de données, où il peut être utilisé comme une signature définissant l'ordre d'octet et la forme de codage, principalement pour les fichiers en clair non marqués. Dans certains protocoles de niveau supérieur, l'utilisation d'une BOM peut être obligatoire (ou interdite) dans le flux de données Unicode défini dans ce protocole.

Quelle est l'utilité d'une BOM ?

Une BOM est utile au début des fichiers qui sont tapés comme du texte, mais dont on ne sait pas s'ils sont au format big ou little endian - elle peut également servir d'indice indiquant que le fichier est en Unicode, par opposition à un encodage hérité et, en outre, elle agit comme une signature pour la forme d'encodage spécifique utilisée.

Que signifie "endian" ?

R : Les types de données plus longs qu'un octet peuvent être stockés dans la mémoire de l'ordinateur avec l'octet le plus significatif (MSB) en premier ou en dernier. Le premier est appelé big-endian, le second little-endian. Lorsque des données sont échangées, les octets qui apparaissent dans l'ordre "correct" sur le système d'envoi peuvent apparaître dans le désordre sur le système de réception. Dans ce cas, une BOM ressemblerait à 0xFFFE, qui est un non-caractère, permettant au système récepteur d'appliquer l'inversion d'octet avant de traiter les données. L'UTF-8 est orienté vers l'octet et n'a donc pas ce problème. Néanmoins, une BOM initiale peut être utile pour identifier le flux de données comme étant de l'UTF-8.

Une BOM peut être utilisée comme signature quelle que soit la façon dont le texte Unicode est transformé : UTF-16, UTF-8 ou UTF-32. Les octets exacts composant la BOM seront ceux en lesquels le caractère Unicode U+FEFF est converti par ce format de transformation. Sous cette forme, la BOM sert à indiquer qu'il s'agit d'un fichier Unicode et dans quel format il se trouve. Exemples :

Octets

Forme d'encodage

00 00 FE FF

UTF-32, big-endian

FF FE 00 00

UTF-32, petit-endian

FE FF

UTF-16, big-endian

FF FE

UTF-16, petit-endian

EF BB BF

UTF-8