Annotation of parser3/src/main/untaint.C, revision 1.67

1.7       paf         1: /** @file
1.8       paf         2:        Parser: String class part: untaint mechanizm.
                      3: 
1.13      paf         4:        Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)
1.63      parser      5:        Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)
1.8       paf         6: 
1.67    ! parser      7:        $Id: untaint.C,v 1.66 2001/10/08 09:04:08 parser Exp $
1.1       paf         8: */
                      9: 
                     10: #include "pa_pool.h"
                     11: #include "pa_string.h"
                     12: #include "pa_hash.h"
                     13: #include "pa_exception.h"
1.13      paf        14: #include "pa_table.h"
1.32      paf        15: #include "pa_globals.h"
1.34      paf        16: #include "pa_sql_connection.h"
1.58      parser     17: #include "pa_dictionary.h"
1.66      parser     18: #include "pa_common.h"
1.1       paf        19: 
1.18      paf        20: #define escape(action) \
1.1       paf        21:        { \
1.13      paf        22:                const char *src=row->item.ptr; \
                     23:                for(int size=row->item.size; size--; src++) \
1.18      paf        24:                        action \
1.1       paf        25:        }
1.13      paf        26: #define _default  default: *dest++=*src; break
                     27: #define encode(need_encode_func, prefix)  \
1.5       paf        28:                default: \
1.13      paf        29:                        if(need_encode_func(*src)) { \
1.5       paf        30:                                static const char *hex="0123456789ABCDEF"; \
1.9       paf        31:                                char chunk[3]={prefix}; \
1.13      paf        32:                                chunk[1]=hex[((unsigned char)*src)/0x10]; \
                     33:                                chunk[2]=hex[((unsigned char)*src)%0x10]; \
1.60      parser     34:                                memcpy(dest, chunk, 3);  dest+=3; \
1.5       paf        35:                        } else \
1.13      paf        36:                                *dest++=*src; \
1.5       paf        37:                        break
1.18      paf        38: #define to_char(c)  *dest++=c
                     39: #define to_string(b, bsize)  \
1.60      parser     40:                memcpy(dest, b, bsize); \
1.18      paf        41:                dest+=bsize; \
1.4       paf        42: 
1.9       paf        43: inline bool need_file_encode(unsigned char c){
1.13      paf        44:     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
1.9       paf        45:                return false;
                     46: 
1.31      paf        47:     return !strchr(
                     48: #ifdef WIN32
1.37      paf        49:                ":\\~"
1.31      paf        50: #endif
1.39      paf        51:                "./()_-", c);
1.9       paf        52: }
1.5       paf        53: inline bool need_uri_encode(unsigned char c){
1.13      paf        54:     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
1.4       paf        55:                return false;
                     56: 
1.5       paf        57:     return !strchr("_-./", c);
                     58: }
1.36      paf        59: inline bool need_http_header_encode(unsigned char c){
1.18      paf        60:     if(strchr(" , :", c))
1.5       paf        61:                return false;
                     62: 
                     63:        return need_uri_encode(c);
1.4       paf        64: }
1.1       paf        65: 
1.56      parser     66: //
                     67: 
                     68: static const char * String_Untaint_lang_name[]={
                     69:        "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
                     70:        "C", ///< clean
                     71:        "T",  ///< tainted, untaint language as assigned later 
                     72:        // untaint languages. assigned by ^untaint[lang]{...}
                     73:        "P",
                     74:                /**<
                     75:                        leave language built into string being appended.
                     76:                        just a flag, that value not stored
                     77:                */
                     78:        "A",     ///< leave all characters intact
                     79:        "F", ///< filename
                     80:        "H",    ///< text in HTTP response header
                     81:        "M",    ///< text in mail header
                     82:        "URI",       ///< text in uri
                     83:        "T",     ///< ^table:set body
                     84:        "SQL",       ///< ^table:sql body
                     85:        "JS",        ///< JavaScript code
                     86:        "HTML",      ///< HTML code (for editing)
                     87:        "UHTML", ///< HTML code with USER chars
                     88: };
                     89: 
                     90: 
1.1       paf        91: // String
                     92: 
1.13      paf        93: static bool typo_present(Array::Item *value, const void *info) {
                     94:        Array *row=static_cast<Array *>(value);
                     95:        const char *src=static_cast<const char *>(info);
                     96: 
                     97:        int partial;
1.28      paf        98:        row->get_string(0)->cmp(partial, src);
1.14      paf        99:        return 
                    100:                partial==0 || // full match
                    101:                partial==1; // typo left column starts 'src'
1.13      paf       102: }
                    103: 
1.41      paf       104: /*
                    105: 
                    106: HTTP-header    = field-name ":" [ field-value ] CRLF
                    107: 
                    108:        field-name     = token
                    109:        field-value    = *( field-content | LWS )
                    110: 
                    111:        field-content  = <the OCTETs making up the field-value
                    112:                         and consisting of either *TEXT or combinations
                    113:                         of token, tspecials, and quoted-string>
                    114: 
                    115: 
                    116: 
                    117: word           = token | quoted-string
                    118: 
                    119: token          = 1*<any CHAR except CTLs or tspecials>
                    120: 
                    121: 
                    122: 
                    123: tspecials      = "(" | ")" | "<" | ">" | "@"
                    124:                       | "," | ";" | ":" | "\" | <">
                    125:                       | "/" | "[" | "]" | "?" | "="
                    126:                       | "{" | "}" | SP | HT
                    127: 
                    128: SP             = <US-ASCII SP, space (32)>
                    129: HT             = <US-ASCII HT, horizontal-tab (9)>
                    130: 
                    131: LWS            = [CRLF] 1*( SP | HT )
                    132: TEXT           = <any OCTET except CTLs,
                    133:                         but including LWS>
                    134: 
                    135: quoted-pair    = "\" CHAR
                    136: 
                    137:   if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                    138: */
                    139: inline bool need_quote_http_header(const char *ptr, size_t size) {
                    140:        for(; size--; ptr++)
1.42      paf       141:                if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
1.41      paf       142:                        return true;
                    143:        return false;
                    144: }
                    145: 
1.55      parser    146: /** @todo maybe additional check "are all pieces are clean?" would be profitable?
                    147:        @todo fix potential forigins_mode buf overrun
                    148: */
1.51      parser    149: size_t String::cstr_bufsize(Untaint_lang lang) const {
1.55      parser    150:        return (lang==UL_AS_IS?size():size()*UNTAINT_TIMES_BIGGER*(forigins_mode?10:1)) +1;
1.51      parser    151: }
                    152: 
1.54      parser    153: /** @todo fix theoretical \n mem overrun in TYPO replacements
                    154: */
1.43      paf       155: char *String::store_to(char *dest, Untaint_lang lang, 
                    156:                                           SQL_Connection *connection,
                    157:                                           const char *charset) const {
1.13      paf       158:        // $MAIN:html-typo table
1.58      parser    159:        Dictionary *user_typo_dict=static_cast<Dictionary *>(pool().tag());
                    160:        Dictionary *typo_dict=user_typo_dict?user_typo_dict:default_typo_dict;
1.1       paf       161: 
1.44      paf       162:        bool whitespace=true;
1.1       paf       163:        const Chunk *chunk=&head; 
                    164:        do {
                    165:                const Chunk::Row *row=chunk->rows;
1.28      paf       166:                for(size_t i=0; i<chunk->count; i++, row++) {
1.1       paf       167:                        if(row==append_here)
                    168:                                goto break2;
                    169: 
1.55      parser    170:                        Untaint_lang to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
                    171: 
                    172:                        char *dest_before_origins=dest;
                    173: 
                    174:                        if(forigins_mode) {
                    175: #ifndef NO_STRING_ORIGIN
                    176:                                if(row->item.origin.file)
                    177:                                        dest+=sprintf(dest, "%s(%d)",
                    178:                                                row->item.origin.file,
                    179:                                                1+row->item.origin.line);
                    180:                                else
                    181:                                        dest+=sprintf(dest, "unknown");
                    182: #endif
1.56      parser    183:                                dest+=sprintf(dest, "#%s: ",
                    184:                                        String_Untaint_lang_name[to_lang]);
1.55      parser    185:                        }
                    186:                        char *dest_after_origins=dest;
                    187: 
1.1       paf       188:                        // WARNING:
                    189:                        //      string can grow only UNTAINT_TIMES_BIGGER
1.55      parser    190:                        switch(to_lang) {
1.29      paf       191:                        case UL_CLEAN:
1.1       paf       192:                                // clean piece
1.44      paf       193:                                { // optimizing whitespace
                    194:                                        const char *src=row->item.ptr; 
                    195:                                        for(int size=row->item.size; size--; src++)
                    196:                                                switch(*src) {
1.67    ! parser    197:                                                case ' ': case '\n': case '\t':
1.44      paf       198:                                                        if(!whitespace) {
                    199:                                                                *dest++=*src;
                    200:                                                                whitespace=true;
                    201:                                                        }
                    202:                                                        break;
                    203:                                                default:
                    204:                                                        whitespace=false;
                    205:                                                        *dest++=*src;
                    206:                                                        break;
                    207:                                                }
                    208:                                }
                    209:                                break;
1.29      paf       210:                        case UL_TAINTED:
1.1       paf       211:                                // tainted piece, but undefined untaint language
1.23      paf       212:                                // for VString.as_double of tainted values
1.1       paf       213:                                // for ^process{body} evaluation
1.11      paf       214:                        case UL_AS_IS:
1.1       paf       215:                                // tainted, untaint language: as-is
1.13      paf       216:                                memcpy(dest, row->item.ptr, row->item.size); 
                    217:                                dest+=row->item.size;
1.1       paf       218:                                break;
1.62      parser    219:                        case UL_FILE_SPEC:
1.9       paf       220:                                // tainted, untaint language: file [name]
1.18      paf       221:                                escape(switch(*src) {
                    222:                                        case ' ': to_char('_');  break;
1.39      paf       223:                                        encode(need_file_encode, '+');
1.18      paf       224:                                });
1.9       paf       225:                                break;
1.11      paf       226:                        case UL_URI:
1.4       paf       227:                                // tainted, untaint language: uri
1.18      paf       228:                                escape(switch(*src) {
                    229:                                        case ' ': to_char('+');  break;
1.13      paf       230:                                        encode(need_uri_encode, '%');
1.18      paf       231:                                });
1.5       paf       232:                                break;
1.36      paf       233:                        case UL_HTTP_HEADER:
1.67    ! parser    234:                                // tainted, untaint language: http-field-content-text
        !           235:                                escape(switch(*src) {
        !           236:                                        case ' ': to_char('+');  break;
        !           237:                                        encode(need_uri_encode, '%');
        !           238:                                });
1.36      paf       239:                                break;
                    240:                        case UL_MAIL_HEADER:
                    241:                                // tainted, untaint language: mail-header
1.46      paf       242:                                if(charset) {
1.43      paf       243:                                        // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                    244:                                        const char *src=row->item.ptr; 
1.59      parser    245:                                        bool to_quoted_printable=false;
1.43      paf       246:                                        for(int size=row->item.size; size--; src++) {
                    247:                                                if(*src & 0x80) {
1.59      parser    248:                                                        if(!to_quoted_printable) {
1.43      paf       249:                                                                dest+=sprintf(dest, "=?%.15s?Q?", charset);
1.59      parser    250:                                                                to_quoted_printable=true;
1.43      paf       251:                                                        }
1.45      paf       252:                                                        dest+=sprintf(dest, "=%02X", *src & 0xFF);
1.43      paf       253:                                                } else {
                    254:                                                        *dest++=*src;                                           
                    255:                                                }
                    256:                                        }
1.59      parser    257:                                        if(to_quoted_printable) // close
1.43      paf       258:                                                dest+=sprintf(dest, "?=");
1.46      paf       259:                                } else {
                    260:                                        memcpy(dest, row->item.ptr, row->item.size); 
                    261:                                        dest+=row->item.size;
1.43      paf       262:                                }
1.4       paf       263:                                break;
1.11      paf       264:                        case UL_TABLE: 
1.15      paf       265:                                // tainted, untaint language: table
1.18      paf       266:                                escape(switch(*src) {
                    267:                                        case '\t': to_char(' ');  break;
                    268:                                        case '\n': to_char(' ');  break;
1.13      paf       269:                                        _default;
1.18      paf       270:                                });
1.1       paf       271:                                break;
1.11      paf       272:                        case UL_SQL:
1.1       paf       273:                                // tainted, untaint language: sql
1.34      paf       274:                                if(connection)
                    275:                                        dest+=connection->quote(dest, row->item.ptr, row->item.size);
                    276:                                else
                    277:                                        THROW(0, 0,
                    278:                                                this,
                    279:                                                "untaint in SQL language failed - no connection specified");
1.1       paf       280:                                break;
1.11      paf       281:                        case UL_JS:
1.18      paf       282:                                escape(switch(*src) {
                    283:                                        case '"': to_string("\\\"", 2);  break;
                    284:                                        case '\'': to_string("\\'", 2);  break;
                    285:                                        case '\n': to_string("\\n", 2);  break;
                    286:                                        case '\\': to_string("\\\\", 2);  break;
                    287:                                        case '\xFF': to_string("\\\xFF", 2);  break;
1.13      paf       288:                                        _default;
1.18      paf       289:                                });
1.1       paf       290:                                break;
1.61      parser    291:                        case UL_XML:
                    292:                                escape(switch(*src) {
                    293:                                        case '&': to_string("&amp;", 5);  break;
                    294:                                        case '>': to_string("&gt;", 4);  break;
                    295:                                        case '<': to_string("&lt;", 4);  break;
                    296:                                        case '"': to_string("&quot;", 6);  break;
                    297:                                        case '\'': to_string("&apos;", 6);  break;
                    298:                                        _default;
                    299:                                });
                    300:                                break;
1.11      paf       301:                        case UL_HTML:
1.18      paf       302:                                escape(switch(*src) {
                    303:                                        case '&': to_string("&amp;", 5);  break;
                    304:                                        case '>': to_string("&gt;", 4);  break;
                    305:                                        case '<': to_string("&lt;", 4);  break;
                    306:                                        case '"': to_string("&quot;", 6);  break;
1.13      paf       307:                                        _default;
1.18      paf       308:                                });
1.1       paf       309:                                break;
1.47      paf       310:                        case UL_USER_HTML: {
1.1       paf       311:                                // tainted, untaint language: html-typo
1.58      parser    312:                                if(!typo_dict) // never, always has default
1.57      parser    313:                                        THROW(0, 0,
                    314:                                                this,
                    315:                                                "untaint to user-html lang failed, no typo table");
                    316: 
1.50      parser    317:                                char *html_for_typo=
                    318:                                        (char *)malloc(row->item.size*2/* '\n' -> '\' 'n' */+1);
1.19      paf       319:                                // note:
                    320:                                //   there still is a possibility that user 
                    321:                                //   would not replace \n as she supposed to
                    322:                                //   and rather replace \ and n into huge strings
                    323:                                //   thus causing memory overrun
                    324:                                //   this can be dealed by allocating *2 memory, but that's too expensive
1.18      paf       325:                                size_t html_for_typo_size;
1.13      paf       326:                                { // local dest
1.18      paf       327:                                        char *dest=html_for_typo;
                    328:                                        escape(switch(*src) {
1.16      paf       329:                                                // convinient name for typo match "\n"
1.18      paf       330:                                                case '\n': 
1.57      parser    331:                                                        to_string("\\n", 2);
1.16      paf       332:                                                        break;
1.13      paf       333:                                                _default;
1.18      paf       334:                                        });
1.13      paf       335:                                        *dest=0;
1.18      paf       336:                                        html_for_typo_size=dest-html_for_typo;
1.13      paf       337:                                }
                    338:                                // typo table replacements
1.21      paf       339:                                const char *src=html_for_typo;
                    340:                                do {
                    341:                                        // there is a row where first column starts 'src'
1.58      parser    342:                                        if(Table::Item *item=typo_dict->first_that_starts(src)) {
1.21      paf       343:                                                // get a=>b values
                    344:                                                const String& a=*static_cast<Array *>(item)->get_string(0);
                    345:                                                const String& b=*static_cast<Array *>(item)->get_string(1);
                    346:                                                // overflow check:
                    347:                                                //   b allowed to be max UNTAINT_TIMES_BIGGER then a
                    348:                                                if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {
1.58      parser    349:                                                        pool().set_tag(0); // avoid recursion
1.21      paf       350:                                                        THROW(0, 0, 
                    351:                                                                &b, 
                    352:                                                                "is %g times longer then '%s', "
                    353:                                                                "while maximum, handled by Parser, is %d", 
1.50      parser    354:                                                                        ((double)b.size())/a.size(), 
                    355:                                                                        a.cstr(), 
                    356:                                                                        UNTAINT_TIMES_BIGGER);
1.21      paf       357:                                                }
                    358:                                                
                    359:                                                // skip 'a' in 'src'
                    360:                                                src+=a.size();
                    361:                                                // write 'b' to 'dest'
                    362:                                                b.store_to(dest);
1.59      parser    363:                                                // skip 'b' in 'dest'
1.21      paf       364:                                                dest+=b.size();
                    365:                                        } else
                    366:                                                *dest++=*src++;
                    367:                                } while(*src);
1.1       paf       368:                                break;
1.13      paf       369:                                }
1.1       paf       370:                        default:
1.18      paf       371:                                THROW(0, 0, 
                    372:                                        this, 
1.1       paf       373:                                        "unknown untaint language #%d of %d piece", 
1.18      paf       374:                                                static_cast<int>(row->item.lang), 
1.38      paf       375:                                                i); // never
1.48      parser    376:                                break; // never
1.1       paf       377:                        }
1.44      paf       378: 
                    379:                        if((lang==UL_UNSPECIFIED?row->item.lang:lang)!=UL_CLEAN)
                    380:                                whitespace=false;
1.55      parser    381: 
                    382:                        if(forigins_mode)
                    383:                                if(dest==dest_after_origins) // never moved==optimized space
                    384:                                        dest=dest_before_origins;
                    385:                                else {
1.66      parser    386:                                        remove_crlf(dest_after_origins, dest);
1.55      parser    387: 
                    388:                                        to_char('\n');
                    389:                                }
1.1       paf       390:                }
                    391:                chunk=row->link;
                    392:        } while(chunk);
1.64      parser    393: 
1.1       paf       394: break2:
1.13      paf       395:        return dest;
1.1       paf       396: }

E-mail: