Annotation of parser3/src/main/untaint.C, revision 1.89

1.7       paf         1: /** @file
1.8       paf         2:        Parser: String class part: untaint mechanizm.
                      3: 
1.88      paf         4:        Copyright(c) 2001, 2002 ArtLebedev Group(http://www.artlebedev.com)
1.89    ! paf         5:        Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
1.8       paf         6: 
1.89    ! paf         7:        $Id: untaint.C,v 1.88 2002/02/08 07:27:49 paf Exp $
1.1       paf         8: */
                      9: 
                     10: #include "pa_pool.h"
                     11: #include "pa_string.h"
                     12: #include "pa_hash.h"
                     13: #include "pa_exception.h"
1.13      paf        14: #include "pa_table.h"
1.32      paf        15: #include "pa_globals.h"
1.34      paf        16: #include "pa_sql_connection.h"
1.58      parser     17: #include "pa_dictionary.h"
1.66      parser     18: #include "pa_common.h"
1.85      paf        19: #include "pa_charset.h"
1.1       paf        20: 
1.18      paf        21: #define escape(action) \
1.1       paf        22:        { \
1.13      paf        23:                const char *src=row->item.ptr; \
                     24:                for(int size=row->item.size; size--; src++) \
1.18      paf        25:                        action \
1.1       paf        26:        }
1.13      paf        27: #define _default  default: *dest++=*src; break
                     28: #define encode(need_encode_func, prefix)  \
                     29:                        if(need_encode_func(*src)) { \
1.5       paf        30:                                static const char *hex="0123456789ABCDEF"; \
1.9       paf        31:                                char chunk[3]={prefix}; \
1.13      paf        32:                                chunk[1]=hex[((unsigned char)*src)/0x10]; \
                     33:                                chunk[2]=hex[((unsigned char)*src)%0x10]; \
1.60      parser     34:                                memcpy(dest, chunk, 3);  dest+=3; \
1.5       paf        35:                        } else \
1.13      paf        36:                                *dest++=*src; \
1.5       paf        37:                        break
1.18      paf        38: #define to_char(c)  *dest++=c
                     39: #define to_string(b, bsize)  \
1.60      parser     40:                memcpy(dest, b, bsize); \
1.18      paf        41:                dest+=bsize; \
1.4       paf        42: 
1.9       paf        43: inline bool need_file_encode(unsigned char c){
1.83      paf        44:        // theoretical problem with, for instance, "_2B" and "." fragments, 
                     45:        // they would yield the same 
                     46:        // because need_file_encode('_')=false
                     47:        // but we need to delete such files somehow, getting names from ^index
                     48: 
1.13      paf        49:     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
1.9       paf        50:                return false;
                     51: 
1.31      paf        52:     return !strchr(
1.86      paf        53:                " _./()-"
1.31      paf        54: #ifdef WIN32
1.37      paf        55:                ":\\~"
1.31      paf        56: #endif
1.83      paf        57:                , c);
1.9       paf        58: }
1.5       paf        59: inline bool need_uri_encode(unsigned char c){
1.13      paf        60:     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
1.4       paf        61:                return false;
                     62: 
1.5       paf        63:     return !strchr("_-./", c);
                     64: }
1.36      paf        65: inline bool need_http_header_encode(unsigned char c){
1.18      paf        66:     if(strchr(" , :", c))
1.5       paf        67:                return false;
                     68: 
                     69:        return need_uri_encode(c);
1.4       paf        70: }
1.1       paf        71: 
1.56      parser     72: //
                     73: 
                     74: static const char * String_Untaint_lang_name[]={
                     75:        "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
                     76:        "C", ///< clean
                     77:        "T",  ///< tainted, untaint language as assigned later 
                     78:        // untaint languages. assigned by ^untaint[lang]{...}
                     79:        "P",
                     80:                /**<
                     81:                        leave language built into string being appended.
                     82:                        just a flag, that value not stored
                     83:                */
                     84:        "A",     ///< leave all characters intact
1.68      parser     85:        "F", ///< file specification
                     86:        "H",    ///< ext in HTTP response header
1.56      parser     87:        "M",    ///< text in mail header
                     88:        "URI",       ///< text in uri
                     89:        "T",     ///< ^table:set body
                     90:        "SQL",       ///< ^table:sql body
                     91:        "JS",        ///< JavaScript code
1.68      parser     92:        "XML",          ///< ^dom:set xml
1.82      paf        93:        "HTML"      ///< HTML code (for editing)
1.56      parser     94: };
                     95: 
                     96: 
1.1       paf        97: // String
                     98: 
1.41      paf        99: /*
                    100: 
                    101: HTTP-header    = field-name ":" [ field-value ] CRLF
                    102: 
                    103:        field-name     = token
                    104:        field-value    = *( field-content | LWS )
                    105: 
                    106:        field-content  = <the OCTETs making up the field-value
                    107:                         and consisting of either *TEXT or combinations
                    108:                         of token, tspecials, and quoted-string>
                    109: 
                    110: 
                    111: 
                    112: word           = token | quoted-string
                    113: 
                    114: token          = 1*<any CHAR except CTLs or tspecials>
                    115: 
                    116: 
                    117: 
                    118: tspecials      = "(" | ")" | "<" | ">" | "@"
                    119:                       | "," | ";" | ":" | "\" | <">
                    120:                       | "/" | "[" | "]" | "?" | "="
                    121:                       | "{" | "}" | SP | HT
                    122: 
                    123: SP             = <US-ASCII SP, space (32)>
                    124: HT             = <US-ASCII HT, horizontal-tab (9)>
                    125: 
                    126: LWS            = [CRLF] 1*( SP | HT )
                    127: TEXT           = <any OCTET except CTLs,
                    128:                         but including LWS>
                    129: 
                    130: quoted-pair    = "\" CHAR
                    131: 
                    132:   if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                    133: */
                    134: inline bool need_quote_http_header(const char *ptr, size_t size) {
                    135:        for(; size--; ptr++)
1.42      paf       136:                if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
1.41      paf       137:                        return true;
                    138:        return false;
                    139: }
                    140: 
1.77      paf       141: String& String::append(const String& src, uchar lang, bool forced) {
                    142:        // manually unrolled code to avoid do{if(const)} constructs
                    143:        if(forced) 
                    144:                STRING_SRC_FOREACH_ROW(
                    145:                        APPEND(row->item.ptr, row->item.size, 
                    146:                                lang, //forcing passed lang
                    147:                                row->item.origin.file, row->item.origin.line);
                    148:                )
                    149:        else if(lang==UL_PASS_APPENDED) 
                    150:                STRING_SRC_FOREACH_ROW(
                    151:                        APPEND(row->item.ptr, row->item.size, 
                    152:                                row->item.lang, // passing item's lang
                    153:                                row->item.origin.file, row->item.origin.line);
                    154:                )
                    155:        else if(lang&UL_OPTIMIZE_BIT) // main idea here
                    156:                // tainted piece would get OPTIMIZED bit from 'lang'
                    157:                // clean piece would be marked OPTIMIZED manually
                    158:                // pieces with determined languages [not tainted|clean] would retain theirs langs
                    159:                STRING_SRC_FOREACH_ROW(
                    160:                        APPEND(row->item.ptr, row->item.size, 
                    161:                                row->item.lang==UL_TAINTED?lang:(
                    162:                                        row->item.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                    163:                                                row->item.lang
                    164:                                ), 
                    165:                                row->item.origin.file, row->item.origin.line);
                    166:                )
                    167:        else
                    168:                STRING_SRC_FOREACH_ROW(
                    169:                        APPEND(row->item.ptr, row->item.size, 
                    170:                                row->item.lang==UL_TAINTED?lang:row->item.lang,
                    171:                                row->item.origin.file, row->item.origin.line);
                    172:                );
                    173: break2:
                    174:        return *this;
                    175: }
                    176: 
1.75      paf       177: size_t String::cstr_bufsize(Untaint_lang lang,
                    178:                                                        SQL_Connection *connection,
1.87      paf       179:                                                        Charset *buf_charset) const {
1.77      paf       180:        size_t dest=1; // for terminating 0
                    181:        STRING_FOREACH_ROW(
                    182:                uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
                    183: 
                    184:                switch(to_lang & ~UL_OPTIMIZE_BIT) {
                    185:                case UL_CLEAN:
                    186:                case UL_TAINTED:
                    187:                case UL_AS_IS:
                    188:                        // clean piece
                    189: 
                    190:                        // tainted piece, but undefined untaint language
                    191:                        // for VString.as_double of tainted values
                    192:                        // for ^process{body} evaluation
                    193: 
                    194:                        // tainted, untaint language: as-is
                    195:                        dest+=row->item.size;
                    196:                        break;
                    197:                case UL_FILE_SPEC:
                    198:                        // tainted, untaint language: file [name]
                    199:                        dest+=row->item.size*3/* worst: Z->%XX */;
                    200:                        break;
                    201:                case UL_URI:
                    202:                        // tainted, untaint language: uri
1.84      paf       203:                        dest+=row->item.size*6*3/* worst utf8 x worst Z->%XX */;
1.77      paf       204:                        break;
                    205:                case UL_HTTP_HEADER:
                    206:                        // tainted, untaint language: http-field-content-text
                    207:                        dest+=row->item.size*3/* worst: Z->%XX */;
                    208:                        break;
                    209:                case UL_MAIL_HEADER:
                    210:                        // tainted, untaint language: mail-header
1.87      paf       211:                        if(buf_charset) {
1.77      paf       212:                                // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
1.87      paf       213:                                dest+=
                    214:                                        row->item.size*3+
                    215:                                        buf_charset->name().size()+MAX_STRING/* worst: =?charset?Q?=%XX?= */;
                    216:                        } else
1.75      paf       217:                                dest+=row->item.size;
1.77      paf       218:                        break;
                    219:                case UL_TABLE: 
                    220:                        // tainted, untaint language: table
                    221:                        dest+=row->item.size;
                    222:                        break;
                    223:                case UL_SQL:
                    224:                        // tainted, untaint language: sql
                    225:                        if(connection)
                    226:                                dest+=connection->quote(0, row->item.ptr, row->item.size);
                    227:                        break;
                    228:                case UL_JS:
                    229:                        escape(switch(*src) {
                    230:                                case '"': case '\'': case '\n': case '\\': case '\xFF':
                    231:                                        dest+=2;  break;
                    232:                                default: 
                    233:                                        dest++;  break;
                    234:                        });
                    235:                        break;
                    236:                case UL_XML:
                    237:                        escape(switch(*src) {
                    238:                                case '&': case '>': case '<': case '"': case '\'': 
                    239:                                        dest+= 6;  break;
                    240:                                default: 
                    241:                                        dest++;  break;
                    242:                        });
                    243:                        break;
                    244:                case UL_HTML:
                    245:                        escape(switch(*src) {
                    246:                                case '&': 
                    247:                                case '>': 
                    248:                                case '<': 
                    249:                                case '"': 
                    250:                                        dest+=6;  break;
                    251:                                default: 
                    252:                                        dest++;  break;
                    253:                        });
                    254:                        break;
1.75      paf       255:                }
1.77      paf       256:        );
1.75      paf       257: break2:
                    258:        return dest;
1.51      parser    259: }
                    260: 
1.43      paf       261: char *String::store_to(char *dest, Untaint_lang lang, 
                    262:                                           SQL_Connection *connection,
1.87      paf       263:                                           Charset *store_to_charset) const {
1.75      paf       264:        // WARNING:
                    265:        //       before any changes check cstr_bufsize first!!!
1.44      paf       266:        bool whitespace=true;
1.79      paf       267:        // expanded STRING_FOREACH_ROW here for debugging purposes
1.78      paf       268:        const Chunk *chunk=&head;  \
                    269:        do { \
                    270:                const Chunk::Row *row=chunk->rows; \
                    271:                for(uint i=0; i<chunk->count; i++, row++) { \
                    272:                        if(row==append_here) \
                    273:                                goto break2; \
                    274:                        \
1.77      paf       275:                uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
                    276: 
                    277:                char *start=dest;
                    278: 
                    279:                switch(to_lang & ~UL_OPTIMIZE_BIT) {
                    280:                case UL_CLEAN:
                    281:                case UL_TAINTED:
                    282:                case UL_AS_IS:
                    283:                        // clean piece
                    284: 
                    285:                        // tainted piece, but undefined untaint language
                    286:                        // for VString.as_double of tainted values
                    287:                        // for ^process{body} evaluation
                    288: 
                    289:                        // tainted, untaint language: as-is
                    290:                        memcpy(dest, row->item.ptr, row->item.size); 
                    291:                        dest+=row->item.size;
                    292:                        break;
                    293:                case UL_FILE_SPEC:
                    294:                        // tainted, untaint language: file [name]
1.83      paf       295:                        escape(
                    296:                                encode(need_file_encode, '_');
                    297:                        );
1.77      paf       298:                        break;
                    299:                case UL_URI:
                    300:                        // tainted, untaint language: uri
1.85      paf       301:                        const void *client_ptr;
                    302:                        size_t client_size;
                    303:                        Charset::transcode(pool(), 
                    304:                                pool().get_source_charset(), row->item.ptr, row->item.size,
                    305:                                pool().get_client_charset(), client_ptr, client_size);
                    306:                        {
                    307:                                const char *src=(const char *)client_ptr;
                    308:                                for(int size=client_size; size--; src++) 
                    309:                                        switch(*src) {
                    310:                                                case ' ': to_char('+');  break;
                    311:                                                default: encode(need_uri_encode, '%');
                    312:                                        };
                    313:                        }
1.77      paf       314:                        break;
                    315:                case UL_HTTP_HEADER:
                    316:                        // tainted, untaint language: http-field-content-text
                    317:                        escape(switch(*src) {
                    318:                                case ' ': to_char('+');  break;
1.83      paf       319:                                default: encode(need_uri_encode, '%');
1.77      paf       320:                        });
                    321:                        break;
                    322:                case UL_MAIL_HEADER:
                    323:                        // tainted, untaint language: mail-header
1.87      paf       324:                        if(store_to_charset) {
                    325:                                const void *mail_ptr;
                    326:                                size_t mail_size;
                    327:                                Charset::transcode(pool(), 
                    328:                                        pool().get_source_charset(), row->item.ptr, row->item.size,
                    329:                                        *store_to_charset, mail_ptr, mail_size);
                    330: 
1.77      paf       331:                                // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
1.87      paf       332:                                const char *src=(const char *)mail_ptr;
1.77      paf       333:                                bool to_quoted_printable=false;
1.87      paf       334:                                for(int size=mail_size; size--; src++) {
1.77      paf       335:                                        if(*src & 0x80) {
                    336:                                                if(!to_quoted_printable) {
1.87      paf       337:                                                        dest+=sprintf(dest, "=?%s?Q?", store_to_charset->name().cstr());
1.77      paf       338:                                                        to_quoted_printable=true;
                    339:                                                }
                    340:                                                dest+=sprintf(dest, "=%02X", *src & 0xFF);
                    341:                                        } else {
                    342:                                                *dest++=*src;                                           
                    343:                                        }
1.44      paf       344:                                }
1.77      paf       345:                                if(to_quoted_printable) // close
                    346:                                        dest+=sprintf(dest, "?=");
1.87      paf       347:                        
1.77      paf       348:                        } else {
1.13      paf       349:                                memcpy(dest, row->item.ptr, row->item.size); 
                    350:                                dest+=row->item.size;
1.1       paf       351:                        }
1.77      paf       352:                        break;
                    353:                case UL_TABLE: 
                    354:                        // tainted, untaint language: table
                    355:                        escape(switch(*src) {
                    356:                                case '\t': to_char(' ');  break;
                    357:                                case '\n': to_char(' ');  break;
                    358:                                _default;
                    359:                        });
                    360:                        break;
                    361:                case UL_SQL:
                    362:                        // tainted, untaint language: sql
                    363:                        if(connection)
                    364:                                dest+=connection->quote(dest, row->item.ptr, row->item.size);
                    365:                        else
                    366:                                throw Exception(0, 0,
                    367:                                        this,
                    368:                                        "untaint in SQL language failed - no connection specified");
                    369:                        break;
                    370:                case UL_JS:
                    371:                        escape(switch(*src) {
                    372:                                case '"': to_string("\\\"", 2);  break;
                    373:                                case '\'': to_string("\\'", 2);  break;
                    374:                                case '\n': to_string("\\n", 2);  break;
                    375:                                case '\\': to_string("\\\\", 2);  break;
                    376:                                case '\xFF': to_string("\\\xFF", 2);  break;
                    377:                                _default;
                    378:                        });
                    379:                        break;
                    380:                case UL_XML:
                    381:                        escape(switch(*src) {
                    382:                                case '&': to_string("&amp;", 5);  break;
                    383:                                case '>': to_string("&gt;", 4);  break;
                    384:                                case '<': to_string("&lt;", 4);  break;
                    385:                                case '"': to_string("&quot;", 6);  break;
                    386:                                case '\'': to_string("&apos;", 6);  break;
                    387:                                _default;
                    388:                        });
                    389:                        break;
                    390:                case UL_HTML:
                    391:                        escape(switch(*src) {
                    392:                                case '&': to_string("&amp;", 5);  break;
                    393:                                case '>': to_string("&gt;", 4);  break;
                    394:                                case '<': to_string("&lt;", 4);  break;
                    395:                                case '"': to_string("&quot;", 6);  break;
                    396:                                _default;
                    397:                        });
                    398:                        break;
                    399:                default:
                    400:                        throw Exception(0, 0, 
                    401:                                this, 
1.81      paf       402:                                "unknown untaint language #%d", 
                    403:                                        static_cast<int>(row->item.lang)); // sould never
1.77      paf       404:                        break; // never
1.76      paf       405:                }
1.55      parser    406: 
1.77      paf       407:                if(to_lang & UL_OPTIMIZE_BIT) { 
                    408:                        // optimizing whitespace
                    409:                        char *stop=dest;  dest=start;
                    410:                        for(char *src=start; src<stop; src++)
                    411:                                switch(*src) {
                    412:                                // of all consequent white space chars leaving only first one
1.80      paf       413:                                case ' ': case '\r': case '\n': case '\t':
1.77      paf       414:                                        if(!whitespace) {
                    415:                                                *dest++=*src;
                    416:                                                whitespace=true;
                    417:                                        }
                    418:                                        break;
                    419:                                default:
                    420:                                        whitespace=false;
                    421:                                        *dest++=*src;
                    422:                                        break;
                    423:                                };
                    424:                } else // piece without optimization
                    425:                        whitespace=false;
1.78      paf       426: 
                    427:                } \
                    428:                chunk=row->link; \
                    429:        } while(chunk); \
                    430: 
1.76      paf       431: break2:
                    432:        return dest;
                    433: }
                    434: 
                    435: char *String::cstr_debug_origins() const {
1.81      paf       436:        //_asm int 3;
1.76      paf       437:        char *result=(char *)malloc(size()+used_rows()*MAX_STRING*2);
                    438:        char *dest=result;
                    439:        
                    440:        const Chunk *chunk=&head; 
                    441:        do {
                    442:                const Chunk::Row *row=chunk->rows;
                    443:                for(uint i=0; i<chunk->count; i++, row++) {
                    444:                        if(row==append_here)
                    445:                                goto break2;
1.55      parser    446: 
1.76      paf       447: #ifndef NO_STRING_ORIGIN
                    448:                        if(row->item.origin.file)
                    449:                                dest+=sprintf(dest, ORIGIN_FILE_LINE_FORMAT,
                    450:                                        row->item.origin.file,
                    451:                                        1+row->item.origin.line);
                    452:                        else
                    453:                                dest+=sprintf(dest, "<unknown>");
                    454: #endif
1.81      paf       455:                        uchar show_lang=row->item.lang & ~UL_OPTIMIZE_BIT;
                    456:                        if(show_lang>=sizeof(String_Untaint_lang_name)/sizeof(String_Untaint_lang_name[0]))
                    457:                                throw Exception(0, 0, 
                    458:                                        this, 
                    459:                                        "unknown untaint language #%d", 
                    460:                                                static_cast<int>(show_lang)); // sould never
                    461: 
                    462:                        dest+=sprintf(dest, "#%s%s: ",
                    463:                                String_Untaint_lang_name[show_lang],
                    464:                                row->item.lang & UL_OPTIMIZE_BIT?".O":"");
1.76      paf       465:                        char *dest_after_origins=dest;
                    466: 
                    467:                        memcpy(dest, row->item.ptr, row->item.size); 
                    468:                        dest+=row->item.size;
                    469: 
                    470:                        remove_crlf(dest_after_origins, dest);
                    471:                        to_char('\n');
1.1       paf       472:                }
                    473:                chunk=row->link;
                    474:        } while(chunk);
1.64      parser    475: 
1.1       paf       476: break2:
1.76      paf       477:        *dest=0;
                    478:        return result;
1.1       paf       479: }

E-mail: