Annotation of parser3/src/main/untaint.C, revision 1.115.2.12.2.8

1.7       paf         1: /** @file
1.8       paf         2:        Parser: String class part: untaint mechanizm.
                      3: 
1.115.2.6  paf         4:        Copyright(c) 2001-2003 ArtLebedev Group (http://www.artlebedev.com)
1.89      paf         5:        Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
1.103     paf         6: */
1.8       paf         7: 
1.115.2.12.2.  (paf        8:): static const char* IDENT_UNTAINT_C="$Date: 2003/03/20 15:05:59 $";
                      9:): 
1.1       paf        10: 
                     11: #include "pa_string.h"
                     12: #include "pa_hash.h"
                     13: #include "pa_exception.h"
1.13      paf        14: #include "pa_table.h"
1.32      paf        15: #include "pa_globals.h"
1.58      parser     16: #include "pa_dictionary.h"
1.66      parser     17: #include "pa_common.h"
1.85      paf        18: #include "pa_charset.h"
1.115.2.4  paf        19: #include "pa_request_charsets.h"
1.1       paf        20: 
1.115.2.12.2.  (paf       21:): extern "C" { // author forgot to do that
                     22:): #include "ec.h"
                     23:): }
                     24:): 
                     25:): //#define PA_SQL
                     26:): 
                     27:): #ifdef PA_SQL
                     28:): #include "pa_sql_connection.h"
                     29:): #endif
                     30:): 
1.18      paf        31: #define escape(action) \
1.115.2.12.2.  (paf       32:):      for(; fragment_length--; CORD_next(pos)) { \
                     33:):              char c=CORD_pos_fetch(pos); \
                     34:):              action \
1.1       paf        35:        }
1.115.2.12.2.  (paf       36:): #define _default  default: CORD_ec_append(result, c); break
1.13      paf        37: #define encode(need_encode_func, prefix)  \
1.115.2.12.2.  (paf       38:):      if(need_encode_func(c)) { \
                     39:):              static const char* hex="0123456789ABCDEF"; \
                     40:):              CORD_ec_append(result, prefix); \
                     41:):              CORD_ec_append(result, hex[((unsigned char)c)/0x10]); \
                     42:):              CORD_ec_append(result, hex[((unsigned char)c)%0x10]); \
                     43:):      } else \
                     44:):              CORD_ec_append(result, c);
                     45:): #define to_char(c)  CORD_ec_append(result, c)
                     46:): #define to_string(s)  CORD_ec_append_cord(result, s)
1.4       paf        47: 
1.9       paf        48: inline bool need_file_encode(unsigned char c){
1.108     paf        49:        // russian letters and space ENABLED
                     50:        // encoding only these...
                     51:        return strchr(
                     52:                          "*?'\"<>|"
                     53: #ifndef WIN32
                     54:                          ":\\~"
1.31      paf        55: #endif
1.108     paf        56:                          , c)!=0;
1.9       paf        57: }
1.5       paf        58: inline bool need_uri_encode(unsigned char c){
1.13      paf        59:     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
1.4       paf        60:                return false;
                     61: 
1.5       paf        62:     return !strchr("_-./", c);
                     63: }
1.36      paf        64: inline bool need_http_header_encode(unsigned char c){
1.18      paf        65:     if(strchr(" , :", c))
1.5       paf        66:                return false;
                     67: 
                     68:        return need_uri_encode(c);
1.4       paf        69: }
1.1       paf        70: 
1.56      parser     71: //
                     72: 
1.115.2.6  paf        73: static const char*  String_Untaint_lang_name[]={
1.56      parser     74:        "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
                     75:        "C", ///< clean
                     76:        "T",  ///< tainted, untaint language as assigned later 
                     77:        // untaint languages. assigned by ^untaint[lang]{...}
                     78:        "P",
                     79:                /**<
                     80:                        leave language built into string being appended.
                     81:                        just a flag, that value not stored
                     82:                */
                     83:        "A",     ///< leave all characters intact
1.68      parser     84:        "F", ///< file specification
                     85:        "H",    ///< ext in HTTP response header
1.56      parser     86:        "M",    ///< text in mail header
                     87:        "URI",       ///< text in uri
                     88:        "T",     ///< ^table:set body
                     89:        "SQL",       ///< ^table:sql body
                     90:        "JS",        ///< JavaScript code
1.68      parser     91:        "XML",          ///< ^dom:set xml
1.82      paf        92:        "HTML"      ///< HTML code (for editing)
1.56      parser     93: };
                     94: 
                     95: 
1.1       paf        96: // String
                     97: 
1.41      paf        98: /*
                     99: 
                    100: HTTP-header    = field-name ":" [ field-value ] CRLF
                    101: 
                    102:        field-name     = token
                    103:        field-value    = *( field-content | LWS )
                    104: 
                    105:        field-content  = <the OCTETs making up the field-value
                    106:                         and consisting of either *TEXT or combinations
                    107:                         of token, tspecials, and quoted-string>
                    108: 
                    109: 
                    110: 
                    111: word           = token | quoted-string
                    112: 
                    113: token          = 1*<any CHAR except CTLs or tspecials>
                    114: 
                    115: 
                    116: 
                    117: tspecials      = "(" | ")" | "<" | ">" | "@"
                    118:                       | "," | ";" | ":" | "\" | <">
                    119:                       | "/" | "[" | "]" | "?" | "="
                    120:                       | "{" | "}" | SP | HT
                    121: 
                    122: SP             = <US-ASCII SP, space (32)>
                    123: HT             = <US-ASCII HT, horizontal-tab (9)>
                    124: 
                    125: LWS            = [CRLF] 1*( SP | HT )
                    126: TEXT           = <any OCTET except CTLs,
                    127:                         but including LWS>
                    128: 
                    129: quoted-pair    = "\" CHAR
                    130: 
                    131:   if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                    132: */
1.115.2.6  paf       133: inline bool need_quote_http_header(const char* ptr, size_t size) {
1.41      paf       134:        for(; size--; ptr++)
1.42      paf       135:                if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
1.41      paf       136:                        return true;
                    137:        return false;
                    138: }
                    139: 
1.115.2.12.2.  (paf      140:): 
1.91      paf       141: /** 
1.115.2.1  paf       142:        appends to other String,
1.91      paf       143:        marking all tainted pieces of it with @a lang.
1.92      paf       144:        or marking ALL pieces of it with a @a lang when @a forced to,
                    145:        and propagating OPTIMIZE language bit.
1.91      paf       146: */
1.115.2.12.2.  (paf      147:): String& String::append_to(String& dest, Untaint_lang lang, bool forced) const {
                    148:):      if(!*this)
1.115.2.1  paf       149:                return dest;
                    150: 
1.115.2.12.2.  (paf      151:):      // first: letters
                    152:):      dest.body=CORD_cat(dest.body, body);
1.91      paf       153: 
1.115.2.12.2.  (paf      154:):      // next: fragment infos
                    155:):      
                    156:):      if(lang==UL_PASS_APPENDED) // without language-chage string?
                    157:):              dest.fragments.append(fragments);
                    158:):      else if(forced) //forcing passed lang?
                    159:):              dest.fragments+=Fragment(lang, length());
                    160:):      else if(lang&UL_OPTIMIZE_BIT) {
                    161:):              Array_iterator<ArrayFragment::element_type> i(fragments);
                    162:):              while(i.has_next()) {
                    163:):                      const Fragment& fragment=i.next();
                    164:):                      // main idea here:
                    165:):                      // tainted piece would get OPTIMIZED bit from 'lang'
                    166:):                      // clean piece would be marked OPTIMIZED manually
                    167:):                      // pieces with determined languages [not tainted|clean] would retain theirs langs
                    168:):                      dest.fragments+=Fragment(static_cast<Untaint_lang>(
                    169:):                              fragment.lang==UL_TAINTED?lang:(
                    170:):                                      fragment.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                    171:):                                              fragment.lang)),
                    172:):                              fragment.length);
                    173:):              }
                    174:):      } else { // The core idea: tainted pieces got marked with context's lang
                    175:):              Array_iterator<ArrayFragment::element_type> i(fragments);
                    176:):              while(i.has_next()) {
                    177:):                      const Fragment& fragment=i.next();
                    178:):                      dest.fragments+=Fragment(
                    179:):                              fragment.lang==UL_TAINTED?lang:fragment.lang,
                    180:):                              fragment.length);
                    181:):              }
                    182:):      }
1.115.2.1  paf       183: 
                    184:        return dest;
1.77      paf       185: }
                    186: 
1.109     paf       187: /** http://www.ietf.org/rfc/rfc2047.txt
                    188: RFC
                    189: (3) As a replacement for a 'word' entity within a 'phrase', for example,
                    190:     one that precedes an address in a From, To, or Cc header.  The ABNF
                    191:     definition for 'phrase' from RFC 822 thus becomes:
                    192: 
                    193:     phrase = 1*( encoded-word / word )
                    194: 
                    195:     In this case the set of characters that may be used in a "Q"-encoded
                    196:     'encoded-word' is restricted to: <upper and lower case ASCII
                    197:     letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
                    198:     (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
                    199:     'phrase' MUST be separated from any adjacent 'word', 'text' or
                    200:     'special' by 'linear-white-space'.
                    201: ...
                    202:    (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
                    203:        represented as "_" (underscore, ASCII 95.).  (This character may
                    204:        not pass through some internetwork mail gateways, but its use
                    205:        will greatly enhance readability of "Q" encoded data with mail
                    206:        readers that do not support this encoding.)  Note that the "_"
                    207:        always represents hexadecimal 20, even if the SPACE character
                    208:        occupies a different code position in the character set in use.
                    209: 
                    210:        paf: obviously, 
                    211:                without "=", or one could not differ "=E0" and "russian letter a"
                    212:                and without "_", or in would mean 0x20
                    213: */
1.115.2.12.2.  (paf      214:): inline bool mail_header_char_valid_within_Qencoded(char c) {
1.109     paf       215:        return c>='A' && c<='Z'
                    216:                || c>='a' && c<='Z'
                    217:                || c>='0' && c<='9'
                    218:                || strchr("!*+-/", c);
                    219: }
1.115.2.12.2.  (paf      220:): inline void ec_append(CORD_ec result, CORD_pos& pos, size_t size) {
                    221:):      while(size--) {
                    222:):              CORD_ec_append(result, CORD_pos_fetch(pos));
                    223:):              CORD_next(pos);
                    224:):      }
                    225:): }
                    226:): CORD String::cstr_to_cord(Untaint_lang lang, 
                    227:):                SQL_Connection *connection,
                    228:):                const Request_charsets *charsets) const {
                    229:):      CORD_ec result; CORD_ec_init(result);
                    230:):      CORD_pos pos; CORD_set_pos(pos, body, 0);
                    231:): 
1.44      paf       232:        bool whitespace=true;
1.111     paf       233: 
1.115.2.12.2.  (paf      234:):      size_t fragment_begin=0;
                    235:):      size_t fragment_end;
                    236:):      for(Array_iterator<Fragment> i(fragments); i.has_next(); fragment_begin=fragment_end) {
                    237:):              const Fragment& fragment=i.next();
                    238:):              size_t fragment_length=fragment.length;
                    239:):              fragment_end=fragment_begin+fragment_length;
1.77      paf       240: 
1.115.2.12.2.  (paf      241:):              Untaint_lang to_lang=lang==UL_UNSPECIFIED?fragment.lang:lang;
1.77      paf       242: 
                    243:                switch(to_lang & ~UL_OPTIMIZE_BIT) {
                    244:                case UL_CLEAN:
                    245:                case UL_TAINTED:
                    246:                case UL_AS_IS:
                    247:                        // clean piece
                    248: 
                    249:                        // tainted piece, but undefined untaint language
                    250:                        // for VString.as_double of tainted values
                    251:                        // for ^process{body} evaluation
                    252: 
                    253:                        // tainted, untaint language: as-is
1.115.2.12.2.  (paf      254:):                      ec_append(result, pos, fragment_length);
1.77      paf       255:                        break;
                    256:                case UL_FILE_SPEC:
                    257:                        // tainted, untaint language: file [name]
1.83      paf       258:                        escape(
1.113     paf       259:                                // Macintosh has problems with small Russian letter 'r'
1.115.2.12.2.  (paf      260:):                              if( c=='\xF0' && charsets && charsets->source().name()=="windows-1251" ) {
1.113     paf       261:                                        // fixing that letter for most common charset
1.115.2.2  paf       262:                                        to_char('p');
1.114     paf       263:                                } else // fallback to default
                    264:                                        encode(need_file_encode, '_'); 
1.83      paf       265:                        );
1.77      paf       266:                        break;
1.115.2.12.2.  (paf      267:): #ifdef LATER
1.77      paf       268:                case UL_URI:
                    269:                        // tainted, untaint language: uri
1.85      paf       270:                        {
1.115.2.12.2.  (paf      271:):                              const char *substr=
                    272:):                                      CORD_to_const_char_star(
                    273:):                                              CORD_substr(body, fragment_begin, fragment_length));
                    274:):                              const void *client_ptr;
                    275:):                              size_t client_size;
                    276:):                              if(charsets) 
                    277:):                                      Charset::transcode(
                    278:):                                              charsets->source(), substr, fragment_length,
                    279:):                                              charsets->client(), client_ptr, client_size);
                    280:):                              else {
                    281:):                                      client_ptr=substr; 
                    282:):                                      client_size=fragment_length;
                    283:):                              }
                    284:): 
                    285:):                              char c;
                    286:):                              for(const char* src=(const char* )client_ptr; c=*src++; ) 
1.108     paf       287:                                        encode(need_uri_encode, '%');
1.85      paf       288:                        }
1.77      paf       289:                        break;
1.115.2.12.2.  (paf      290:): #endif
1.77      paf       291:                case UL_HTTP_HEADER:
                    292:                        // tainted, untaint language: http-field-content-text
1.108     paf       293:                        escape(
                    294:                                encode(need_uri_encode, '%');
                    295:                        );
1.77      paf       296:                        break;
1.115.2.12.2.  (paf      297:): #ifdef LATER
1.77      paf       298:                case UL_MAIL_HEADER:
                    299:                        // tainted, untaint language: mail-header
1.105     paf       300:                        // http://www.ietf.org/rfc/rfc2047.txt
1.115.2.4  paf       301:                        if(charsets) {
1.115.2.12.2.  (paf      302:):                              const void *mail_ptr=fragment.ptr;
                    303:):                              size_t mail_size=fragment_length;
                    304:):                              const char* charset_name=charsets->mail().name()->cstr();
1.87      paf       305: 
1.77      paf       306:                                // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
1.115.2.6  paf       307:                                const char* src=(const char* )mail_ptr;
1.77      paf       308:                                bool to_quoted_printable=false;
1.105     paf       309: 
1.111     paf       310:                                bool email=false;
1.115.2.6  paf       311:                                for(const char* end=src+mail_size; src<end; src++) {
1.111     paf       312:                                        //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
1.115.2.12.2.  (paf      313:):                                      if(to_quoted_printable && (c==',' || c=='<')) {
                    314:):                                              email=c=='<';
1.105     paf       315:                                                dest+=sprintf(dest, "?=");
1.107     paf       316:                                                to_quoted_printable=false;
1.105     paf       317:                                        }
1.111     paf       318:                                        if(!email && (
1.115.2.12.2.  (paf      319:):                                              !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                    320:):                                              || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
1.105     paf       321:                                                )) {
1.77      paf       322:                                                if(!to_quoted_printable) {
1.115.2.7  paf       323:                                                        dest+=sprintf(dest, "=?%s?Q?", charset_name.get());
1.77      paf       324:                                                        to_quoted_printable=true;
                    325:                                                }
1.105     paf       326:                                                //RFC Upper case should be used for hexadecimal digits "A" through "F"
1.115.2.12.2.  (paf      327:):                                              if(c == 0x20) // RFC The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
1.109     paf       328:                                                        *dest++='_'; // RFC may be represented as "_" 
                    329:                                                else
1.115.2.12.2.  (paf      330:):                                                      dest+=sprintf(dest, "=%02X", c & 0xFF);
1.105     paf       331:                                        } else
1.115.2.12.2.  (paf      332:):                                              *dest++=c;
                    333:):                                      if(c=='>')
1.111     paf       334:                                                email=false;
1.44      paf       335:                                }
1.112     paf       336:                                if(to_quoted_printable) // close
1.77      paf       337:                                        dest+=sprintf(dest, "?=");
1.87      paf       338:                        
1.77      paf       339:                        } else {
1.115.2.12.2.  (paf      340:):                              memcpy(dest, fragment.ptr, fragment_length); 
                    341:):                              dest+=fragment_length;
1.1       paf       342:                        }
1.77      paf       343:                        break;
1.115.2.12.2.  (paf      344:): #endif
1.77      paf       345:                case UL_TABLE: 
                    346:                        // tainted, untaint language: table
1.115.2.12.2.  (paf      347:):                      escape(switch(c) {
1.77      paf       348:                                case '\t': to_char(' ');  break;
                    349:                                case '\n': to_char(' ');  break;
                    350:                                _default;
                    351:                        });
                    352:                        break;
1.115.2.12.2.  (paf      353:): #ifdef PA_SQL
1.77      paf       354:                case UL_SQL:
                    355:                        // tainted, untaint language: sql
1.115.2.12.2.  (paf      356:):                      if(connection) {
                    357:):                              dest+=connection->quote(0, 
                    358:):                                      CORD_substr(body, fragment_begin, fragment_length), 
                    359:):                                      fragment_length);
                    360:): ...^^^
                    361:): 
                    362:):                              dest+=connection->quote(dest, fragment.ptr, fragment_length);
1.77      paf       363:                        else
1.115.2.12.2.  (paf      364:):                              throw Exception(0,
                    365:):                                      0,
1.77      paf       366:                                        "untaint in SQL language failed - no connection specified");
                    367:                        break;
1.115.2.12.2.  (paf      368:): #endif
1.77      paf       369:                case UL_JS:
1.115.2.12.2.  (paf      370:):                      escape(switch(c) {
                    371:):                              case '"': to_string("\\\"");  break;
                    372:):                              case '\'': to_string("\\'");  break;
                    373:):                              case '\n': to_string("\\n");  break;
                    374:):                              case '\\': to_string("\\\\");  break;
                    375:):                              case '\xFF': to_string("\\\xFF");  break;
1.77      paf       376:                                _default;
                    377:                        });
                    378:                        break;
                    379:                case UL_XML:
1.115.2.12.2.  (paf      380:):                      escape(switch(c) {
                    381:):                              case '&': to_string("&amp;");  break;
                    382:):                              case '>': to_string("&gt;");  break;
                    383:):                              case '<': to_string("&lt;");  break;
                    384:):                              case '"': to_string("&quot;");  break;
                    385:):                              case '\'': to_string("&apos;");  break;
1.77      paf       386:                                _default;
                    387:                        });
                    388:                        break;
                    389:                case UL_HTML:
1.115.2.12.2.  (paf      390:):                      escape(switch(c) {
                    391:):                              case '&': to_string("&amp;");  break;
                    392:):                              case '>': to_string("&gt;");  break;
                    393:):                              case '<': to_string("&lt;");  break;
                    394:):                              case '"': to_string("&quot;");  break;
1.77      paf       395:                                _default;
                    396:                        });
                    397:                        break;
                    398:                default:
1.115.2.12.2.  (paf      399:):                      throw Exception(0, 
                    400:):                              0, 
1.81      paf       401:                                "unknown untaint language #%d", 
1.110     paf       402:                                        static_cast<int>(to_lang)); // should never
1.77      paf       403:                        break; // never
1.76      paf       404:                }
1.115.2.12.2.  (paf      405:): #ifdef LATER
1.77      paf       406:                if(to_lang & UL_OPTIMIZE_BIT) { 
                    407:                        // optimizing whitespace
                    408:                        char *stop=dest;  dest=start;
1.115.2.12.2.  (paf      409:):                      for(char c=start; src<stop; src++)
                    410:):                              switch(c) {
1.77      paf       411:                                // of all consequent white space chars leaving only first one
1.80      paf       412:                                case ' ': case '\r': case '\n': case '\t':
1.77      paf       413:                                        if(!whitespace) {
1.115.2.12.2.  (paf      414:):                                              *dest++=c;
1.77      paf       415:                                                whitespace=true;
                    416:                                        }
                    417:                                        break;
                    418:                                default:
                    419:                                        whitespace=false;
1.115.2.12.2.  (paf      420:):                                      *dest++=c;
1.77      paf       421:                                        break;
                    422:                                };
                    423:                } else // piece without optimization
                    424:                        whitespace=false;
1.115.2.12.2.  (paf      425:): #endif
1.115.2.1  paf       426:        }
                    427: 
1.115.2.12.2.  (paf      428:):      return CORD_ec_to_cord(result);
1.1       paf       429: }

E-mail: