Ignore:
Timestamp:
06/01/06 16:19:43 (7 years ago)
Author:
xi
Message:

Complete buffering and encoding code.

File:
1 edited

Legend:

Unmodified
Added
Removed

  • libyaml/trunk/src/reader.c

    r181 r182  
    1313 
    1414int 
    15 yaml_parser_set_reader_error(yaml_parser_t *parser, const char *problem) 
     15yaml_parser_set_reader_error(yaml_parser_t *parser, const char *problem, 
     16        size_t offset, int value) 
    1617{ 
    1718    parser->error = YAML_READER_ERROR; 
    1819    parser->problem = problem; 
    19     parser->problem_offset = parser->offset; 
     20    parser->problem_offset = offset; 
     21    parser->problem_value = value; 
    2022 
    2123    return 0; 
    … …  
    3335yaml_parser_update_buffer(yaml_parser_t *parser, size_t length) 
    3436{ 
    35     /* If the EOF flag is set, do nothing. */ 
    36  
    37     if (parser->eof) 
     37    /* If the EOF flag is set and the raw buffer is empty, do nothing. */ 
     38 
     39    if (parser->eof && !parser->raw_unread) 
    3840        return 1; 
    3941 
    … …  
    7274        if (!yaml_parser_update_raw_buffer(parser)) return 0; 
    7375 
    74         /* If the raw buffer is empty, it is EOF. */ 
    75  
    76         if (!parser->raw_unread) return 1; 
    77  
    7876        /* Decode the raw buffer. */ 
    7977 
    … …  
    8280            unsigned int value, value2; 
    8381            int incomplete = 0; 
    84             unsigned char utf8_octet; 
    85             unsigned int utf8_length; 
     82            unsigned char octet; 
     83            unsigned int width; 
    8684            int k, low, high; 
    8785 
    … …  
    114112                    /* Determine the length of the UTF-8 sequence. */ 
    115113 
    116                     utf8_octet = parser->raw_pointer[0]; 
    117                     utf8_length = ( 
    118                             (utf8_octet & 0x80) == 0x00 ? 1 : 
    119                             (utf8_octet & 0xE0) == 0xC0 ? 2 : 
    120                             (utf8_octet & 0xF0) == 0xE0 ? 3 : 
    121                             (utf8_octet & 0xF8) == 0xF0 ? 4 : 0); 
     114                    octet = parser->raw_pointer[0]; 
     115                    width = (octet & 0x80) == 0x00 ? 1 : 
     116                            (octet & 0xE0) == 0xC0 ? 2 : 
     117                            (octet & 0xF0) == 0xE0 ? 3 : 
     118                            (octet & 0xF8) == 0xF0 ? 4 : 0; 
    122119 
    123120                    /* Check if the leading octet is valid. */ 
    124121 
    125                     if (!utf8_length) 
     122                    if (!width) 
    126123                        return yaml_parser_set_reader_error(parser, 
    127                                 "Invalid leading UTF-8 octet"); 
     124                                "Invalid leading UTF-8 octet", 
     125                                parser->offset, octet); 
    128126 
    129127                    /* Check if the raw buffer contains an incomplete character. */ 
    130128 
    131                     if (utf8_length > parser->raw_unread) { 
     129                    if (width > parser->raw_unread) { 
    132130                        if (parser->eof) { 
    133131                            return yaml_parser_set_reader_error(parser, 
    134                                     "Incomplete UTF-8 octet sequence"); 
     132                                    "Incomplete UTF-8 octet sequence", 
     133                                    parser->offset, -1); 
    135134                        } 
    136135                        incomplete = 1; 
    … …  
    140139                    /* Decode the leading octet. */ 
    141140 
    142                     value = ( 
    143                         (utf8_octet & 0x80) == 0x00 ? utf8_octet & 0x7F : 
    144                         (utf8_octet & 0xE0) == 0xC0 ? utf8_octet & 0x1F : 
    145                         (utf8_octet & 0xF0) == 0xE0 ? utf8_octet & 0x0F : 
    146                         (utf8_octet & 0xF8) == 0xF0 ? utf8_octet & 0x07 : 0); 
     141                    value = (octet & 0x80) == 0x00 ? octet & 0x7F : 
     142                            (octet & 0xE0) == 0xC0 ? octet & 0x1F : 
     143                            (octet & 0xF0) == 0xE0 ? octet & 0x0F : 
     144                            (octet & 0xF8) == 0xF0 ? octet & 0x07 : 0; 
    147145 
    148146                    /* Check and decode the trailing octets. */ 
    149147 
    150                     for (k = 1; k < utf8_length; k ++) 
     148                    for (k = 1; k < width; k ++) 
    151149                    { 
    152                         utf8_octet = parser->raw_pointer[k]; 
     150                        octet = parser->raw_pointer[k]; 
    153151 
    154152                        /* Check if the octet is valid. */ 
    155153 
    156                         if ((utf8_octet & 0xC0) != 0x80) 
     154                        if ((octet & 0xC0) != 0x80) 
    157155                            return yaml_parser_set_reader_error(parser, 
    158                                     "Invalid trailing UTF-8 octet"); 
     156                                    "Invalid trailing UTF-8 octet", 
     157                                    parser->offset+k, octet); 
    159158 
    160159                        /* Decode the octet. */ 
    161160 
    162                         value = (value << 6) + (utf8_octet & 0x3F); 
     161                        value = (value << 6) + (octet & 0x3F); 
    163162                    } 
    164163 
    165164                    /* Check the length of the sequence against the value. */ 
    166165 
    167                     if (!((utf8_length == 1) || 
    168                             (utf8_length == 2 && value >= 0x80) || 
    169                             (utf8_length == 3 && value >= 0x800) || 
    170                             (utf8_length == 4 && value >= 0x10000))) 
     166                    if (!((width == 1) || 
     167                            (width == 2 && value >= 0x80) || 
     168                            (width == 3 && value >= 0x800) || 
     169                            (width == 4 && value >= 0x10000))) 
    171170                        return yaml_parser_set_reader_error(parser, 
    172                                 "Invalid length of a UTF-8 sequence"); 
     171                                "Invalid length of a UTF-8 sequence", 
     172                                parser->offset, -1); 
    173173 
    174174                    /* Check the range of the value. */ 
    … …  
    176176                    if ((value >= 0xD800 && value <= 0xDFFF) || value > 0x10FFFF) 
    177177                        return yaml_parser_set_reader_error(parser, 
    178                                 "Invalid Unicode character"); 
    179  
    180                     parser->raw_pointer += utf8_length; 
    181                     parser->raw_unread -= utf8_length; 
    182                     parser->offset += utf8_length; 
     178                                "Invalid Unicode character", 
     179                                parser->offset, value); 
    183180 
    184181                    break; 
    … …  
    221218                        if (parser->eof) { 
    222219                            return yaml_parser_set_reader_error(parser, 
    223                                     "Incomplete UTF-16 character"); 
     220                                    "Incomplete UTF-16 character", 
     221                                    parser->offset, -1); 
    224222                        } 
    225223                        incomplete = 1; 
    … …  
    236234                    if ((value & 0xFC00) == 0xDC00) 
    237235                        return yaml_parser_set_reader_error(parser, 
    238                                 "Unexpected low surrogate area"); 
     236                                "Unexpected low surrogate area", 
     237                                parser->offset, value); 
    239238 
    240239                    /* Check for a high surrogate area. */ 
    241240 
    242241                    if ((value & 0xFC00) == 0xD800) { 
     242 
     243                        width = 4; 
    243244 
    244245                        /* Check for incomplete surrogate pair. */ 
    … …  
    247248                            if (parser->eof) { 
    248249                                return yaml_parser_set_reader_error(parser, 
    249                                         "Incomplete UTF-16 surrogate pair"); 
     250                                        "Incomplete UTF-16 surrogate pair", 
     251                                        parser->offset, -1); 
    250252                            } 
    251253                            incomplete = 1; 
    … …  
    262264                        if ((value2 & 0xFC00) != 0xDC00) 
    263265                            return yaml_parser_set_reader_error(parser, 
    264                                     "Expected low surrogate area"); 
     266                                    "Expected low surrogate area", 
     267                                    parser->offset+2, value2); 
    265268 
    266269                        /* Generate the value of the surrogate pair. */ 
    267270 
    268271                        value = 0x10000 + ((value & 0x3FF) << 10) + (value2 & 0x3FF); 
    269  
    270                         parser->raw_pointer += 4; 
    271                         parser->raw_unread -= 4; 
    272                         parser->offset += 4; 
    273272                    } 
    274273 
    275274                    else { 
    276                         parser->raw_pointer += 2; 
    277                         parser->raw_unread -= 2; 
    278                         parser->offset += 4; 
     275                        width = 2; 
    279276                    } 
    280277 
    … …  
    299296                        || (value >= 0x10000 && value <= 0x10FFFF))) 
    300297                return yaml_parser_set_reader_error(parser, 
    301                         "Control characters are not allowed"); 
     298                        "Control characters are not allowed", 
     299                        parser->offset, value); 
     300 
     301            /* Move the raw pointers. */ 
     302 
     303            parser->raw_pointer += width; 
     304            parser->raw_unread -= width; 
     305            parser->offset += width; 
    302306 
    303307            /* Finally put the character into the buffer. */ 
    … …  
    310314            else if (value <= 0x7FF) { 
    311315                *(parser->buffer_end++) = 0xC0 + (value >> 6); 
    312                 *(parser->buffer_end++) = 0x80 + value & 0x3F; 
     316                *(parser->buffer_end++) = 0x80 + (value & 0x3F); 
    313317            } 
    314318            /* 0000 0800-0000 FFFF -> 1110xxxx 10xxxxxx 10xxxxxx */ 
    315319            else if (value <= 0xFFFF) { 
    316320                *(parser->buffer_end++) = 0xE0 + (value >> 12); 
    317                 *(parser->buffer_end++) = 0x80 + (value >> 6) & 0x3F; 
    318                 *(parser->buffer_end++) = 0x80 + value & 0x3F; 
     321                *(parser->buffer_end++) = 0x80 + ((value >> 6) & 0x3F); 
     322                *(parser->buffer_end++) = 0x80 + (value & 0x3F); 
    319323            } 
    320324            /* 0001 0000-0010 FFFF -> 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx */ 
    321325            else { 
    322326                *(parser->buffer_end++) = 0xF0 + (value >> 18); 
    323                 *(parser->buffer_end++) = 0x80 + (value >> 12) & 0x3F; 
    324                 *(parser->buffer_end++) = 0x80 + (value >> 6) & 0x3F; 
    325                 *(parser->buffer_end++) = 0x80 + value & 0x3F; 
     327                *(parser->buffer_end++) = 0x80 + ((value >> 12) & 0x3F); 
     328                *(parser->buffer_end++) = 0x80 + ((value >> 6) & 0x3F); 
     329                *(parser->buffer_end++) = 0x80 + (value & 0x3F); 
    326330            } 
     331 
     332            parser->unread ++; 
    327333        } 
     334 
     335        /* On EOF, put NUL into the buffer and return. */ 
     336 
     337        if (parser->eof) { 
     338            *(parser->buffer_end++) = '\0'; 
     339            parser->unread ++; 
     340            return 1; 
     341        } 
     342 
    328343    } 
    329344 
    … …  
    358373        parser->raw_pointer += 2; 
    359374        parser->raw_unread -= 2; 
     375        parser->offset += 2; 
    360376    } 
    361377    else if (parser->raw_unread >= 2 
    … …  
    364380        parser->raw_pointer += 2; 
    365381        parser->raw_unread -= 2; 
     382        parser->offset += 2; 
    366383    } 
    367384    else if (parser->raw_unread >= 3 
    … …  
    370387        parser->raw_pointer += 3; 
    371388        parser->raw_unread -= 3; 
     389        parser->offset += 3; 
    372390    } 
    373391    else { 
    … …  
    408426                YAML_RAW_BUFFER_SIZE - parser->raw_unread, 
    409427                &size_read)) { 
    410         return yaml_parser_set_reader_error(parser, "Input error"); 
     428        return yaml_parser_set_reader_error(parser, "Input error", 
     429                parser->offset, -1); 
    411430    } 
    412431    parser->raw_unread += size_read; 
Note: See TracChangeset for help on using the changeset viewer.