Ignore:
Timestamp:
05/30/06 13:49:18 (8 years ago)
Author:
xi
Message:

Complete UTF-8 and UTF-16 decoders.

Reader is mostly done (though untested).

File:
1 copied

Legend:

Unmodified
Added
Removed
  • libyaml/trunk/tests/test-reader.c

    r172 r181  
    55#include <assert.h> 
    66 
     7/* 
     8 * Test cases are stolen from 
     9 * http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt 
     10 */ 
     11 
     12typedef struct { 
     13    char *title; 
     14    char *test; 
     15    int result; 
     16} test_case; 
     17 
     18test_case utf8_sequences[] = { 
     19        /* {"title", "test 1|test 2|...|test N!", (0 or 1)}, */ 
     20 
     21        {"a simple test", "'test' is '\xd0\xbf\xd1\x80\xd0\xbe\xd0\xb2\xd0\xb5\xd1\x80\xd0\xba\xd0\xb0' in Russian!", 1}, 
     22        {"an empty line", "!", 1}, 
     23 
     24        {"u-0 is a control character", "\x00!", 0}, 
     25        {"u-80 is a control character", "\xc2\x80!", 0}, 
     26        {"u-800 is valid", "\xe0\xa0\x80!", 1}, 
     27        {"u-10000 is valid", "\xf0\x90\x80\x80!", 1}, 
     28        {"5 bytes sequences are not allowed", "\xf8\x88\x80\x80\x80!", 0}, 
     29        {"6 bytes sequences are not allowed", "\xfc\x84\x80\x80\x80\x80!", 0}, 
     30 
     31        {"u-7f is a control character", "\x7f!", 0}, 
     32        {"u-7FF is valid", "\xdf\xbf!", 1}, 
     33        {"u-FFFF is a control character", "\xef\xbf\xbf!", 0}, 
     34        {"u-1FFFFF is too large", "\xf7\xbf\xbf\xbf!", 0}, 
     35        {"u-3FFFFFF is 5 bytes", "\xfb\xbf\xbf\xbf\xbf!", 0}, 
     36        {"u-7FFFFFFF is 6 bytes", "\xfd\xbf\xbf\xbf\xbf\xbf!", 0}, 
     37 
     38        {"u-D7FF", "\xed\x9f\xbf!", 1}, 
     39        {"u-E000", "\xee\x80\x80!", 1}, 
     40        {"u-FFFD", "\xef\xbf\xbd!", 1}, 
     41        {"u-10FFFF", "\xf4\x8f\xbf\xbf!", 1}, 
     42        {"u-110000", "\xf4\x90\x80\x80!", 0}, 
     43 
     44        {"first continuation byte", "\x80!", 0}, 
     45        {"last continuation byte", "\xbf!", 0}, 
     46 
     47        {"2 continuation bytes", "\x80\xbf!", 0}, 
     48        {"3 continuation bytes", "\x80\xbf\x80!", 0}, 
     49        {"4 continuation bytes", "\x80\xbf\x80\xbf!", 0}, 
     50        {"5 continuation bytes", "\x80\xbf\x80\xbf\x80!", 0}, 
     51        {"6 continuation bytes", "\x80\xbf\x80\xbf\x80\xbf!", 0}, 
     52        {"7 continuation bytes", "\x80\xbf\x80\xbf\x80\xbf\x80!", 0}, 
     53 
     54        {"sequence of all 64 possible continuation bytes", 
     55         "\x80|\x81|\x82|\x83|\x84|\x85|\x86|\x87|\x88|\x89|\x8a|\x8b|\x8c|\x8d|\x8e|\x8f|" 
     56         "\x90|\x91|\x92|\x93|\x94|\x95|\x96|\x97|\x98|\x99|\x9a|\x9b|\x9c|\x9d|\x9e|\x9f|" 
     57         "\xa0|\xa1|\xa2|\xa3|\xa4|\xa5|\xa6|\xa7|\xa8|\xa9|\xaa|\xab|\xac|\xad|\xae|\xaf|" 
     58         "\xb0|\xb1|\xb2|\xb3|\xb4|\xb5|\xb6|\xb7|\xb8|\xb9|\xba|\xbb|\xbc|\xbd|\xbe|\xbf!", 0}, 
     59        {"32 first bytes of 2-byte sequences {0xc0-0xdf}", 
     60         "\xc0 |\xc1 |\xc2 |\xc3 |\xc4 |\xc5 |\xc6 |\xc7 |\xc8 |\xc9 |\xca |\xcb |\xcc |\xcd |\xce |\xcf |" 
     61         "\xd0 |\xd1 |\xd2 |\xd3 |\xd4 |\xd5 |\xd6 |\xd7 |\xd8 |\xd9 |\xda |\xdb |\xdc |\xdd |\xde |\xdf !", 0}, 
     62        {"16 first bytes of 3-byte sequences {0xe0-0xef}", 
     63         "\xe0 |\xe1 |\xe2 |\xe3 |\xe4 |\xe5 |\xe6 |\xe7 |\xe8 |\xe9 |\xea |\xeb |\xec |\xed |\xee |\xef !", 0}, 
     64        {"8 first bytes of 4-byte sequences {0xf0-0xf7}", "\xf0 |\xf1 |\xf2 |\xf3 |\xf4 |\xf5 |\xf6 |\xf7 !", 0}, 
     65        {"4 first bytes of 5-byte sequences {0xf8-0xfb}", "\xf8 |\xf9 |\xfa |\xfb !", 0}, 
     66        {"2 first bytes of 6-byte sequences {0xfc-0xfd}", "\xfc |\xfd !", 0}, 
     67 
     68        {"sequences with last byte missing {u-0}", 
     69         "\xc0|\xe0\x80|\xf0\x80\x80|\xf8\x80\x80\x80|\xfc\x80\x80\x80\x80!", 0}, 
     70        {"sequences with last byte missing {u-...FF}", 
     71         "\xdf|\xef\xbf|\xf7\xbf\xbf|\xfb\xbf\xbf\xbf|\xfd\xbf\xbf\xbf\xbf!", 0}, 
     72 
     73        {"impossible bytes", "\xfe|\xff|\xfe\xfe\xff\xff!", 0}, 
     74 
     75        {"overlong sequences {u-2f}", 
     76         "\xc0\xaf|\xe0\x80\xaf|\xf0\x80\x80\xaf|\xf8\x80\x80\x80\xaf|\xfc\x80\x80\x80\x80\xaf!", 0}, 
     77 
     78        {"maximum overlong sequences", 
     79         "\xc1\xbf|\xe0\x9f\xbf|\xf0\x8f\xbf\xbf|\xf8\x87\xbf\xbf\xbf|\xfc\x83\xbf\xbf\xbf\xbf!", 0}, 
     80 
     81        {"overlong representation of the NUL character", 
     82         "\xc0\x80|\xe0\x80\x80|\xf0\x80\x80\x80|\xf8\x80\x80\x80\x80|\xfc\x80\x80\x80\x80\x80!", 0}, 
     83 
     84        {"single UTF-16 surrogates", 
     85         "\xed\xa0\x80|\xed\xad\xbf|\xed\xae\x80|\xed\xaf\xbf|\xed\xb0\x80|\xed\xbe\x80|\xed\xbf\xbf!", 0}, 
     86 
     87        {"paired UTF-16 surrogates", 
     88         "\xed\xa0\x80\xed\xb0\x80|\xed\xa0\x80\xed\xbf\xbf|\xed\xad\xbf\xed\xb0\x80|" 
     89         "\xed\xad\xbf\xed\xbf\xbf|\xed\xae\x80\xed\xb0\x80|\xed\xae\x80\xed\xbf\xbf|" 
     90         "\xed\xaf\xbf\xed\xb0\x80|\xed\xaf\xbf\xed\xbf\xbf!", 0}, 
     91 
     92        {"other illegal code positions", "\xef\xbf\xbe|\xef\xbf\xbf!", 0}, 
     93 
     94        {NULL, NULL, 0} 
     95}; 
     96 
     97int check_utf8_sequences(void) 
     98{ 
     99    yaml_parser_t *parser; 
     100    int failed = 0; 
     101    int k; 
     102    printf("checking utf-8 sequences...\n"); 
     103    for (k = 0; utf8_sequences[k].test; k++) { 
     104        char *title = utf8_sequences[k].title; 
     105        int check = utf8_sequences[k].result; 
     106        int result; 
     107        char *start = utf8_sequences[k].test; 
     108        char *end = start; 
     109        printf("\t%s:\n", title); 
     110        while(1) { 
     111            while (*end != '|' && *end != '!') end++; 
     112            parser = yaml_parser_new(); 
     113            assert(parser); 
     114            yaml_parser_set_input_string(parser, (unsigned char *)start, end-start); 
     115            result = yaml_parser_update_buffer(parser, end-start); 
     116            if (result != check) { 
     117                printf("\t\t- "); 
     118                failed ++; 
     119            } 
     120            else { 
     121                printf("\t\t+ "); 
     122            } 
     123            if (!parser->error) { 
     124                printf("(no error)\n"); 
     125            } 
     126            else if (parser->error == YAML_READER_ERROR) { 
     127                printf("(reader error: %s at %d)\n", parser->problem, parser->problem_offset); 
     128            } 
     129            if (*end == '!') break; 
     130            start = ++end; 
     131            yaml_parser_delete(parser); 
     132        }; 
     133        printf("\n"); 
     134    } 
     135    printf("checking utf-8 sequences: %d fail(s)\n", failed); 
     136    return failed; 
     137} 
     138 
     139 
    7140int 
    8141main(void) 
    9142{ 
    10     int major = -1; 
    11     int minor = -1; 
    12     int patch = -1; 
    13     char buf[64]; 
    14  
    15     yaml_get_version(&major, &minor, &patch); 
    16     sprintf(buf, "%d.%d.%d", major, minor, patch); 
    17     assert(strcmp(buf, yaml_get_version_string()) == 0); 
    18  
    19     return 0; 
     143    return check_utf8_sequences(); 
    20144} 
Note: See TracChangeset for help on using the changeset viewer.