[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.94 and 1.173

version 1.94, 2002/02/20 12:35:29 version 1.173, 2017/05/29 11:00:22
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)          Copyright (c) 2001-2017 Art. Lebedev Studio (http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
   
         $Id$  
 */  */
   
 #include "pa_pool.h"  volatile const char * IDENT_UNTAINT_C="$Id$";
   
   
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
 #include "pa_table.h"  #include "pa_table.h"
 #include "pa_globals.h"  #include "pa_globals.h"
 #include "pa_sql_connection.h"  
 #include "pa_dictionary.h"  #include "pa_dictionary.h"
 #include "pa_common.h"  #include "pa_common.h"
 #include "pa_charset.h"  #include "pa_charset.h"
   #include "pa_request_charsets.h"
   #include "pa_sapi.h"
   
 #define DEBUG_STRING_APPENDS_VS_EXPANDS  extern "C" { // author forgot to do that
   #include "ec.h"
   }
   
 #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS  #include "pa_sql_connection.h"
 ulong string_string_shortcut_economy=0;  
 #endif  
   
   // defines
   
 #define escape(action) \  #undef CORD_ec_append
   // redefining to intercept flushes and implement whitespace optimization
   // of all consequent white space chars leaving only first one
   #define CORD_ec_append(x, c) \
       {  \
           bool skip=false; \
           if(optimize) switch(c) { \
           case ' ': case '\n': case '\t': \
                   if(whitespace) \
                           skip=true; /*skipping subsequent*/ \
                   else \
                           whitespace=true; \
                   break; \
           default: \
                   whitespace=false; \
                   break; \
           } \
           if(!skip) { \
                   if ((x)[0].ec_bufptr == (x)[0].ec_buf + CORD_BUFSZ) { \
                           CORD_ec_flush_buf(x); \
                   } \
                   *((x)[0].ec_bufptr)++ = (c); \
           } \
       }
   
   #define escape_fragment(action) \
           for(; fragment_length--; CORD_next(info->pos)) { \
                   char c=CORD_pos_fetch(info->pos); \
                   action \
           }
   
   #define encode(need_encode_func, prefix, otherwise)  \
           if(need_encode_func(c)) { \
                   CORD_ec_append(info->result, prefix); \
                   to_hex(c); \
           } else \
                   CORD_ec_append(info->result, otherwise);
   
   #define to_hex(c) \
         { \          { \
                 const char *src=row->item.ptr; \                  CORD_ec_append(info->result, hex_digits[((unsigned char)c) >> 4]); \
                 for(int size=row->item.size; size--; src++) \                  CORD_ec_append(info->result, hex_digits[((unsigned char)c) & 0x0F]); \
                         action \  
         }          }
 #define _default  default: *dest++=*src; break  
 #define encode(need_encode_func, prefix)  \  #define to_char(c)  { CORD_ec_append(info->result, c); whitespace=false; }
                         if(need_encode_func(*src)) { \  #define to_string(s)  { CORD_ec_append_cord(info->result, (CORD)(s)); whitespace=false; }
                                 static const char *hex="0123456789ABCDEF"; \  #define _default CORD_ec_append(info->result, c)
                                 char chunk[3]={prefix}; \  
                                 chunk[1]=hex[((unsigned char)*src)/0x10]; \  
                                 chunk[2]=hex[((unsigned char)*src)%0x10]; \  
                                 memcpy(dest, chunk, 3);  dest+=3; \  
                         } else \  
                                 *dest++=*src; \  
                         break  
 #define to_char(c)  *dest++=c  
 #define to_string(b, bsize)  \  
                 memcpy(dest, b, bsize); \  
                 dest+=bsize; \  
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
         // theoretical problem with, for instance, "_2B" and "." fragments,           // russian letters and space ENABLED
         // they would yield the same           // encoding only these...
         // because need_file_encode('_')=false          return strchr(
         // but we need to delete such files somehow, getting names from ^index                          "*?\"<>|"
   #ifndef WIN32
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))                           ":\\"
                 return false;  
   
     return !strchr(  
                 " _./()-"  
 #ifdef WIN32  
                 ":\\~"  
 #endif  #endif
                 , c);                          , c)!=0;
 }  }
   
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))           return !(pa_isalnum(c) || strchr("_-./*", c));
                 return false;  }
   
     return !strchr("_-./", c);  inline bool need_regex_escape(unsigned char c){
           return strchr("\\^$.[]|()?*+{}-", c)!=0;
 }  }
 inline bool need_http_header_encode(unsigned char c){  
     if(strchr(" , :", c))  
                 return false;  
   
         return need_uri_encode(c);  
 }  
   
 //  
   
 static const char * String_Untaint_lang_name[]={  
         "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum  
         "C", ///< clean  
         "T",  ///< tainted, untaint language as assigned later   
         // untaint languages. assigned by ^untaint[lang]{...}  
         "P",  
                 /**<  
                         leave language built into string being appended.  
                         just a flag, that value not stored  
                 */  
         "A",     ///< leave all characters intact  
         "F", ///< file specification  
         "H",    ///< ext in HTTP response header  
         "M",    ///< text in mail header  
         "URI",       ///< text in uri  
         "T",     ///< ^table:set body  
         "SQL",       ///< ^table:sql body  
         "JS",        ///< JavaScript code  
         "XML",          ///< ^dom:set xml  
         "HTML"      ///< HTML code (for editing)  
 };  
   
   inline bool need_parser_code_escape(unsigned char c){
           return strchr("^$;@()[]{}:#\"", c)!=0;
   }
   
 // String  // String
   
 /*  /*
   
 HTTP-header    = field-name ":" [ field-value ] CRLF  HTTP-header    = field-name ":" [ field-value ] CRLF
   
        field-name     = token  field-name     = token
        field-value    = *( field-content | LWS )  field-value    = *( field-content | LWS )
   
        field-content  = <the OCTETs making up the field-value  field-content  = <the OCTETs making up the field-value
                         and consisting of either *TEXT or combinations                          and consisting of either *TEXT or combinations
                         of token, tspecials, and quoted-string>                          of token, tspecials, and quoted-string>
   
   
   
 word           = token | quoted-string  
   
 token          = 1*<any CHAR except CTLs or tspecials>  token          = 1*<any CHAR except CTLs or tspecials>
   word           = token | quoted-string
   quoted-string  = ( <"> *(qdtext | quoted-pair ) <"> )
   qdtext         = <any TEXT except <">>
   quoted-pair    = "\" CHAR
   
   OCTET          = <any 8-bit sequence of data>
   CHAR           = <any US-ASCII character (octets 0 - 127)>
   
 tspecials      = "(" | ")" | "<" | ">" | "@"  tspecials      = "(" | ")" | "<" | ">" | "@"
                       | "," | ";" | ":" | "\" | <">                 | "," | ";" | ":" | "\" | <">
                       | "/" | "[" | "]" | "?" | "="                 | "/" | "[" | "]" | "?" | "="
                       | "{" | "}" | SP | HT                 | "{" | "}" | SP | HT
   
 SP             = <US-ASCII SP, space (32)>  SP             = <US-ASCII SP, space (32)>
 HT             = <US-ASCII HT, horizontal-tab (9)>  HT             = <US-ASCII HT, horizontal-tab (9)>
   
 LWS            = [CRLF] 1*( SP | HT )  LWS            = [CRLF] 1*( SP | HT )
 TEXT           = <any OCTET except CTLs,  TEXT           = <any OCTET except CTLs, but including LWS>
                         but including LWS>  CTL            = <any US-ASCII control character (octets 0 - 31) and DEL (127)>
   
 quoted-pair    = "\" CHAR  
   
   if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))    if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
 */  */
 inline bool need_quote_http_header(const char *ptr, size_t size) {  inline bool need_quote_http_header(const char* ptr, size_t size) {
         for(; size--; ptr++)          for(; size--; ptr++)
                 if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))                  if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                         return true;                          return true;
         return false;          return false;
 }  }
   
 //#include "pa_sapi.h"  #ifndef DOXYGEN
   struct Append_fragment_info {
           String::Language lang;
           String::Languages* dest_languages;
           size_t dest_body_plan_length;
   };
   #endif
   int append_fragment_optimizing(char alang, size_t asize, Append_fragment_info* info) {
           const String::Language lang=(String::Language)(unsigned char)alang;
           // main idea here:
           // tainted piece would get OPTIMIZED bit from 'lang'
           // clean piece would be marked OPTIMIZED manually
           // pieces with determined languages [not tainted|clean] would retain theirs langs
           info->dest_languages->append(info->dest_body_plan_length, 
                   lang==String::L_TAINTED?
                           info->lang
                           :lang==String::L_CLEAN?
                                   (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT) // ORing with OPTIMIZED flag
                                   :lang,
                   asize);
           info->dest_body_plan_length+=asize;
   
           return 0; // 0=continue
   }
   int append_fragment_nonoptimizing(char alang, size_t asize, Append_fragment_info* info) {
           const String::Language lang=(String::Language)(unsigned char)alang;
           // The core idea: tainted pieces got marked with context's lang
           info->dest_languages->append(info->dest_body_plan_length, 
                   lang==String::L_TAINTED?
                           info->lang
                           :lang,
                   asize);
           info->dest_body_plan_length+=asize;
   
           return 0; // 0=continue
   }
   
   
   /** 
           appends to other String without language change
   */
   
   String& String::append_to(String& dest) const {
           if(is_empty())
                   return dest;
   
           // first: fragment infos
           dest.langs.appendHelper(dest.body, langs, body);
   
           // next: letters
           dest.body<<body;
   
           ASSERT_STRING_INVARIANT(dest);
           return dest;
   }
   
 /**   /** 
         appends other String,          appends to other String,
         marking all tainted pieces of it with @a lang.          marking all tainted pieces of it with @a lang.
         or marking ALL pieces of it with a @a lang when @a forced to,          or marking ALL pieces of it with a @a lang when @a forced to,
         and propagating OPTIMIZE language bit.          and propagating OPTIMIZE language bit.
   
     using architecture advantage: after string-to-string-append string never modified.  
         algorithm:  
         if no language-change specified and src not yet appended to some other string[last_chunk!=0]  
                 shrinking dest last_chunk[preparing it for linking],  
                 ///shrinking src last_chunk[preparing it to be linked, consequent dest.appends would go there],  
                 linking[dest.last_chunk = src.head]  
         if some language-change specified or src already appended to some other string[last_chunk==0]  
                 cloning pieces.  
 */  */
 String& String::append(const String& src, uchar lang, bool forced) {  String& String::append_to(String& dest, Language ilang, bool forced) const {
         if(!last_chunk) // growth stopped [we're appended as string to somebody]          if(is_empty())
                 throw Exception(0, 0,                  return dest;
                         this,  
                         "string growth stopped (append string)");  
   
         if(src.is_empty())  
                 return *this;  
   
         // without language-chage, not-appended-before, big[not fitting our tail] string?  
         if(lang==UL_PASS_APPENDED   
                 && src.last_chunk  
                 && (uint(&last_chunk->rows[last_chunk->count]-append_here) < src.used_rows())) {  
 #ifdef DEBUG_STRING_APPENDS_VS_EXPANDS  
                 string_string_shortcut_economy+=src.used_rows()*sizeof(String::Chunk::Row);  
 #endif  
   
                 // using fact:           // first: fragment infos
                 // src.head.count initally equeals this.head.count and shrinks-only,           
                 // so can't be more than this.head.count,           if(forced) //forcing passed lang?
                 // which means that we know that                   dest.langs.appendHelper(dest.body, ilang, body);
                 // src.head would fit into this.head          else {
                 if(is_empty()) { // our head is empty                  if(langs.opt.is_not_just_lang){
                         // they have more than head? we need all head : we need only filled-part of head                          Append_fragment_info info={ilang, &dest.langs, dest.body.length()};
                         Chunk *src_head_link=src.head.rows[src.head.count].link;                          langs.for_each(body, ilang&L_OPTIMIZE_BIT?
                         size_t head_count=src_head_link?src.head.count:(src.append_here-src.head.rows);                                  append_fragment_optimizing
                         // "your head is my head"                                  :append_fragment_nonoptimizing, &info);
                         memcpy(head.rows, src.head.rows, sizeof(Chunk::Row)*(head_count));                  } else {
                         if(src_head_link) {                          Language lang=langs.opt.lang;
                                 // "your body is my body"                          // see append_fragment_* for explanation
                                 head.rows[head.count=head_count].link=src_head_link;                          if(ilang&L_OPTIMIZE_BIT){
                                 // "your last_chunk is mine now"                                  dest.langs.appendHelper(dest.body,
                                 last_chunk=src.last_chunk;                                          lang==String::L_TAINTED?
                                 // "your append_here is mine now"                                                  ilang
                                 append_here=src.append_here;                                                  :lang==String::L_CLEAN?
                                                           (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT)
                                                           :lang,
                                           body);
                         } else {                          } else {
                                 // "your last_chunk is mine now"                                  dest.langs.appendHelper(dest.body, lang==String::L_TAINTED ? ilang:lang, body);
                                 last_chunk=&head;  
                                 // "your append_here is recalc-mine now"  
                                 append_here=head.rows+head_count;  
                         }                          }
                 } else { // our head contains something  
                         // "chopping off my tail-reserve"  
                         // "you is my tail"  
                         last_chunk->rows[last_chunk->count=append_here-last_chunk->rows].link=&src.head;  
                         // "your last_chunk is mine now"  
                         last_chunk=src.last_chunk;  
                         // "your append_here is mine now"  
                         append_here=src.append_here;  
                 }                  }
   
                 // stop-growing mark  
                 src.last_chunk=0;  
                 return *this;  
         }          }
   
         // manually unrolled code to avoid do{if(const)} constructs          // next: letters
         if(forced)           dest.body<<body;
                 STRING_SRC_FOREACH_ROW(  
                         APPEND(row->item.ptr, row->item.size,           ASSERT_STRING_INVARIANT(dest);
                                 lang, //forcing passed lang          return dest;
                                 row->item.origin.file, row->item.origin.line);  
                 )  
         else if(lang==UL_PASS_APPENDED)   
                 STRING_SRC_FOREACH_ROW(  
                         APPEND(row->item.ptr, row->item.size,   
                                 row->item.lang, // passing item's lang  
                                 row->item.origin.file, row->item.origin.line);  
                 )  
         else if(lang&UL_OPTIMIZE_BIT) // main idea here  
                 // tainted piece would get OPTIMIZED bit from 'lang'  
                 // clean piece would be marked OPTIMIZED manually  
                 // pieces with determined languages [not tainted|clean] would retain theirs langs  
                 STRING_SRC_FOREACH_ROW(  
                         APPEND(row->item.ptr, row->item.size,   
                                 row->item.lang==UL_TAINTED?lang:(  
                                         row->item.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag  
                                                 row->item.lang  
                                 ),   
                                 row->item.origin.file, row->item.origin.line);  
                 )  
         else  
                 STRING_SRC_FOREACH_ROW(  
                         APPEND(row->item.ptr, row->item.size,   
                                 row->item.lang==UL_TAINTED?lang:row->item.lang,  
                                 row->item.origin.file, row->item.origin.line);  
                 );  
 break2:  
         return *this;  
 }  }
   
 size_t String::cstr_bufsize(Untaint_lang lang,  /** http://www.ietf.org/rfc/rfc2047.txt
                                                         SQL_Connection *connection,  RFC
                                                         Charset *buf_charset) const {  (3) As a replacement for a 'word' entity within a 'phrase', for example,
         size_t dest=1; // for terminating 0      one that precedes an address in a From, To, or Cc header.  The ABNF
         STRING_FOREACH_ROW(      definition for 'phrase' from RFC 822 thus becomes:
                 uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;  
       phrase = 1*( encoded-word / word )
                 switch(to_lang & ~UL_OPTIMIZE_BIT) {  
                 case UL_CLEAN:      In this case the set of characters that may be used in a "Q"-encoded
                 case UL_TAINTED:      'encoded-word' is restricted to: <upper and lower case ASCII
                 case UL_AS_IS:      letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
                         // clean piece      (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
       'phrase' MUST be separated from any adjacent 'word', 'text' or
                         // tainted piece, but undefined untaint language      'special' by 'linear-white-space'.
                         // for VString.as_double of tainted values  ...
                         // for ^process{body} evaluation     (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
          represented as "_" (underscore, ASCII 95.).  (This character may
          not pass through some internetwork mail gateways, but its use
          will greatly enhance readability of "Q" encoded data with mail
          readers that do not support this encoding.)  Note that the "_"
          always represents hexadecimal 20, even if the SPACE character
          occupies a different code position in the character set in use.
   
           paf: obviously, 
                   without "=", or one could not differ "=E0" and "russian letter a"
                   and without "_", or in would mean 0x20
   */
   inline bool mail_header_char_valid_within_Qencoded(char c) {
           return (pa_isalnum((unsigned char)c) || strchr("!*+-/", c));
   }
   inline bool addr_spec_soon(const char *src) {
           for(char c; (c=*src); src++)
                   if(c=='<')
                           return true;
                   else if(!(c==' ' || c=='\t'))
                           return false;
           return false;
   }
   /**
           RFC 
           Upper case should be used for hexadecimal digits "A" through "F"
           The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
           may be represented as "_" 
   */
   inline bool mail_header_nonspace_char(char c) {
           return c != 0x20;
   }
   
                         // tainted, untaint language: as-is  inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {
                         dest+=row->item.size;          while(size--) {
                         break;                  CORD_ec_append(result, CORD_pos_fetch(pos));
                 case UL_FILE_SPEC:                  CORD_next(pos);
                         // tainted, untaint language: file [name]          }
                         dest+=row->item.size*3/* worst: Z->%XX */;  }
                         break;  inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {
                 case UL_URI:          while(true) {
                         // tainted, untaint language: uri                  long avail=CORD_pos_chars_left(pos);
                         dest+=row->item.size*6*3/* worst utf8 x worst Z->%XX */;                  if(avail<=0) {
                         break;                          CORD_next(pos);
                 case UL_HTTP_HEADER:                          if(!--n)
                         // tainted, untaint language: http-field-content-text                                  break;
                         dest+=row->item.size*3/* worst: Z->%XX */;                  } else if((size_t)avail<n) {
                         break;                          CORD_pos_advance(pos, avail);
                 case UL_MAIL_HEADER:                          n-=avail;
                         // tainted, untaint language: mail-header                  } else { // avail>=n
                         if(buf_charset) {                          CORD_pos_advance(pos, n);
                                 // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=  
                                 dest+=  
                                         row->item.size*3+  
                                         buf_charset->name().size()+MAX_STRING/* worst: =?charset?Q?=%XX?= */;  
                         } else  
                                 dest+=row->item.size;  
                         break;  
                 case UL_TABLE:   
                         // tainted, untaint language: table  
                         dest+=row->item.size;  
                         break;  
                 case UL_SQL:  
                         // tainted, untaint language: sql  
                         if(connection)  
                                 dest+=connection->quote(0, row->item.ptr, row->item.size);  
                         break;  
                 case UL_JS:  
                         escape(switch(*src) {  
                                 case '"': case '\'': case '\n': case '\\': case '\xFF':  
                                         dest+=2;  break;  
                                 default:   
                                         dest++;  break;  
                         });  
                         break;  
                 case UL_XML:  
                         escape(switch(*src) {  
                                 case '&': case '>': case '<': case '"': case '\'':   
                                         dest+= 6;  break;  
                                 default:   
                                         dest++;  break;  
                         });  
                         break;  
                 case UL_HTML:  
                         escape(switch(*src) {  
                                 case '&':   
                                 case '>':   
                                 case '<':   
                                 case '"':   
                                         dest+=6;  break;  
                                 default:   
                                         dest++;  break;  
                         });  
                         break;                          break;
                 }                  }
         );          }
 break2:  
         return dest;  
 }  }
   
 char *String::store_to(char *dest, Untaint_lang lang,   #ifndef DOXYGEN
                                            SQL_Connection *connection,  struct Cstr_to_string_body_block_info {
                                            Charset *store_to_charset) const {          // input
         // WARNING:          String::Language lang;
         //       before any changes check cstr_bufsize first!!!          SQL_Connection* connection;
         bool whitespace=true;          const Request_charsets* charsets;
         // expanded STRING_FOREACH_ROW here for debugging purposes          const String::Body* body;
         const Chunk *chunk=&head;  \  
         do { \          // output
                 const Chunk::Row *row=chunk->rows; \          CORD_ec result;
                 for(uint i=0; i<chunk->count; i++, row++) { \  
                         if(row==append_here) \          // private
                                 goto break2; \          CORD_pos pos;
                         \          size_t fragment_begin;
                 uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;          bool whitespace;
           const char* exception;
                 char *start=dest;  };
   #endif
                 switch(to_lang & ~UL_OPTIMIZE_BIT) {  
                 case UL_CLEAN:  // @todo: replace info->body->mid with something that uses info->pos
                 case UL_TAINTED:  int cstr_to_string_body_block(String::Language to_lang, size_t fragment_length, Cstr_to_string_body_block_info* info) {
                 case UL_AS_IS:          bool& whitespace=info->whitespace;
                         // clean piece          size_t fragment_end=info->fragment_begin+fragment_length;
           //fprintf(stderr, "%d, %d =%s=\n", to_lang, fragment_length, info->body->cstr());
                         // tainted piece, but undefined untaint language          
                         // for VString.as_double of tainted values          bool optimize=(to_lang & String::L_OPTIMIZE_BIT)!=0;
                         // for ^process{body} evaluation          if(!optimize)
                   whitespace=false;
                         // tainted, untaint language: as-is                  
                         memcpy(dest, row->item.ptr, row->item.size);           switch(to_lang & ~String::L_OPTIMIZE_BIT) {
                         dest+=row->item.size;          case String::L_CLEAN:
                         break;          case String::L_TAINTED:
                 case UL_FILE_SPEC:          case String::L_AS_IS:
                         // tainted, untaint language: file [name]                  // clean piece
                         escape(  
                                 encode(need_file_encode, '_');                  // tainted piece, but undefined untaint language
                   // for VString.as_double of tainted values
                   // for ^process{body} evaluation
   
                   // tainted, untaint language: as-is
                   ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_FILE_SPEC:
                   // tainted, untaint language: file [name]
                   {
                           escape_fragment(
                                   encode(need_file_encode, '_', c); 
                         );                          );
                         break;                  }
                 case UL_URI:                  break;
                         // tainted, untaint language: uri          case String::L_URI:
                         const void *client_ptr;                  // tainted, untaint language: uri
                         size_t client_size;                  {
                         Charset::transcode(pool(),                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                                 pool().get_source_charset(), row->item.ptr, row->item.size,                          // skip source [we use recoded version]
                                 pool().get_client_charset(), client_ptr, client_size);                          pa_CORD_pos_advance(info->pos, fragment_length);
                         {                          String::C output(fragment_str, fragment_length);
                                 const char *src=(const char *)client_ptr;                          if(info->charsets)
                                 for(int size=client_size; size--; src++)                                   output=Charset::transcode(output, info->charsets->source(), info->charsets->client());
                                         switch(*src) {  
                                                 case ' ': to_char('+');  break;                          char c;
                                                 default: encode(need_uri_encode, '%');                          for(const char* src=output.str; (c=*src++); )
                                         };                                  encode(need_uri_encode, '%', c);
                         }                  }
                         break;                  break;
                 case UL_HTTP_HEADER:          case String::L_HTTP_HEADER:
                         // tainted, untaint language: http-field-content-text                  // tainted, untaint language: http-field-content-text
                         escape(switch(*src) {                  escape_fragment(switch(c) {
                                 case ' ': to_char('+');  break;                          case '\n': 
                                 default: encode(need_uri_encode, '%');                          case '\r': to_string(" ");  break;
                         });                          default: _default; break;
                         break;                  });
                 case UL_MAIL_HEADER:                  break;
                         // tainted, untaint language: mail-header          case String::L_MAIL_HEADER:
                         if(store_to_charset) {                  // tainted, untaint language: mail-header
                                 const void *mail_ptr;                  // http://www.ietf.org/rfc/rfc2047.txt
                                 size_t mail_size;                  if(info->charsets) {
                                 Charset::transcode(pool(),                           size_t mail_size;
                                         pool().get_source_charset(), row->item.ptr, row->item.size,                          const char *mail_ptr=
                                         *store_to_charset, mail_ptr, mail_size);                                  info->body->mid(info->fragment_begin, mail_size=fragment_length).cstr();
                           // skip source [we use recoded version]
                                 // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=                          pa_CORD_pos_advance(info->pos, mail_size);
                                 const char *src=(const char *)mail_ptr;  
                                 bool to_quoted_printable=false;                          const char* charset_name=info->charsets->mail().NAME().cstr();
                                 for(int size=mail_size; size--; src++) {  
                                         if(*src & 0x80) {                          // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                                 if(!to_quoted_printable) {                          bool to_quoted_printable=false;
                                                         dest+=sprintf(dest, "=?%s?Q?", store_to_charset->name().cstr());  
                                                         to_quoted_printable=true;                          bool email=false;
                                                 }                          uchar c;
                                                 dest+=sprintf(dest, "=%02X", *src & 0xFF);                          for(const char* src=mail_ptr; c=(uchar)*src; src++) {
                                         } else {                                  if(c=='\r' || c=='\n')
                                                 *dest++=*src;                                                                                     c=' ';
                                   if(to_quoted_printable && (c==',' || c == '"' || addr_spec_soon(src))) {
                                           email=c=='<';
                                           to_string("?=");
                                           to_quoted_printable=false;
                                   }
                                   //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                   if(!email && (
                                           ( !to_quoted_printable && (c & 0x80 || (c == ' ' && src == mail_ptr) ) )  // starting quote-printable-encoding on first 8bit char or leading space (issue #123)
                                           || ( to_quoted_printable && !mail_header_char_valid_within_Qencoded(c) )
                                           )) {
                                           if(!to_quoted_printable) {
                                                   to_string("=?");
                                                   to_string(charset_name);
                                                   to_string("?Q?");
                                                   to_quoted_printable=true;
                                         }                                          }
                                           encode(mail_header_nonspace_char, '=', '_'); 
                                   } else
                                           to_char(c);
                                   if(c=='>')
                                           email=false;
                           }
                           if(to_quoted_printable) // close
                                   to_string("?=");
                   
                   } else
                           ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_SQL:
                   // tainted, untaint language: sql
                   if(info->connection) {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
   
                           to_string(info->connection->quote(fragment_str, fragment_length));
                   } else {
                           info->exception="untaint in SQL language failed - no connection specified";
                           info->fragment_begin=fragment_end;
                           return 1; // stop processing. can't throw exception here
                   }
                   break;
           case String::L_JS:
                   escape_fragment(switch(c) {
                           case '\n': to_string("\\n");  break;
                           case '"': to_string("\\\"");  break;
                           case '\'': to_string("\\'");  break;
                           case '\\': to_string("\\\\");  break;
                           case '\xFF': to_string("\\\xFF");  break;
                           case '\r': to_string("\\r");  break;
                           default: _default; break;
                   });
                   break;
           case String::L_XML:
                   // [2]    Char    ::=    #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] 
                   escape_fragment(switch(c) {
                           case '\x20':
                           case '\x9':
                           case '\xA':
                           case '\xD': // this is usually removed on input
                                   _default; 
                                   break;
                           case '&': to_string("&amp;");  break;
                           case '>': to_string("&gt;");  break;
                           case '<': to_string("&lt;");  break;
                           case '"': to_string("&quot;");  break;
                           case '\'': to_string("&apos;");  break;
                           default: 
                                   if(((unsigned char)c)<0x20) {
                                           // fixing it, so that libxml would not result
                                           // in fatal error parsing text
                                           // though it really violates standard.
                                           // to indicate there were an error
                                           // replace bad char not to it's code, 
                                           // which we can do,
                                           // but rather to '!' to show that input were actually
                                           // invalid.
                                           // life: shows that MSIE can somehow garble form values
                                           // so that they contain these chars.
                                           to_char('!'); 
                                   } else {
                                           _default; 
                                 }                                  }
                                 if(to_quoted_printable) // close                                  break;
                                         dest+=sprintf(dest, "?=");                  });
                                           break;
           case String::L_HTML:
                   escape_fragment(switch(c) {
                           case '&': to_string("&amp;");  break;
                           case '>': to_string("&gt;");  break;
                           case '<': to_string("&lt;");  break;
                           case '"': to_string("&quot;");  break;
                           default: _default; break;
                   });
                   break;
           case String::L_REGEX:
                   // tainted, untaint language: regex
                   escape_fragment(
                           if(need_regex_escape(c))
                                   to_char('\\')
                           _default;
                   );
                   break;
           case String::L_JSON:
                   // tainted, untaint language: json <http://json.org/>
                   // escape '"' '\' '/' '\n' '\t' '\r' '\b' '\f' chars and escape chars as \uXXXX if output charset != UTF-8
                   {
                           if(info->charsets==NULL || info->charsets->client().isUTF8()){
                                   // escaping to \uXXXX is not needed
                                   escape_fragment(switch((unsigned char)c) {
                                           case '\n': to_string("\\n");  break;
                                           case '"' : to_string("\\\""); break;
                                           case '\\': to_string("\\\\"); break;
                                           case '/' : to_string("\\/");  break;
                                           case '\t': to_string("\\t");  break;
                                           case '\r': to_string("\\r");  break;
                                           case '\b': to_string("\\b");  break;
                                           case '\f': to_string("\\f");  break;
                                           case 0xE2: // \u2028 and \u2029 (line/paragraph separators), check bug #1023
                                                   if(info->charsets && info->charsets->source().isUTF8() && fragment_length>=2){
                                                           CORD_next(info->pos);
                                                           char c1=CORD_pos_fetch(info->pos);
                                                           CORD_next(info->pos);
                                                           char c2=CORD_pos_fetch(info->pos);
                                                           if((unsigned char)c1 == 0x80 && ((unsigned char)c2 >= 0xA8 && (unsigned char)c2 <= 0xAF)){
                                                                   to_string("\\u20");
                                                                   to_hex(((unsigned char)c2-0x80));
                                                           } else {
                                                                   CORD_ec_append(info->result, c);
                                                                   CORD_ec_append(info->result, c1);
                                                                   CORD_ec_append(info->result, c2);
                                                           }
                                                           fragment_length-=2;
                                                   } else {
                                                           _default;
                                                   }
                                                   break;
                                           default: 
                                                   if((unsigned char)c < 0x20){
                                                           to_string("\\u00");
                                                           to_hex(c);
                                                   } else {
                                                           _default;
                                                   }
                                                   break;
                                   });
                         } else {                          } else {
                                 memcpy(dest, row->item.ptr, row->item.size);                                   const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                                 dest+=row->item.size;                                  // skip source [we use recoded version]
                                   pa_CORD_pos_advance(info->pos, fragment_length);
                                   to_string(Charset::escape_JSON(String::C(fragment_str, fragment_length), info->charsets->source()).str);
                         }                          }
                         break;  
                 case UL_TABLE:   
                         // tainted, untaint language: table  
                         escape(switch(*src) {  
                                 case '\t': to_char(' ');  break;  
                                 case '\n': to_char(' ');  break;  
                                 _default;  
                         });  
                         break;  
                 case UL_SQL:  
                         // tainted, untaint language: sql  
                         if(connection)  
                                 dest+=connection->quote(dest, row->item.ptr, row->item.size);  
                         else  
                                 throw Exception(0, 0,  
                                         this,  
                                         "untaint in SQL language failed - no connection specified");  
                         break;  
                 case UL_JS:  
                         escape(switch(*src) {  
                                 case '"': to_string("\\\"", 2);  break;  
                                 case '\'': to_string("\\'", 2);  break;  
                                 case '\n': to_string("\\n", 2);  break;  
                                 case '\\': to_string("\\\\", 2);  break;  
                                 case '\xFF': to_string("\\\xFF", 2);  break;  
                                 _default;  
                         });  
                         break;  
                 case UL_XML:  
                         escape(switch(*src) {  
                                 case '&': to_string("&amp;", 5);  break;  
                                 case '>': to_string("&gt;", 4);  break;  
                                 case '<': to_string("&lt;", 4);  break;  
                                 case '"': to_string("&quot;", 6);  break;  
                                 case '\'': to_string("&apos;", 6);  break;  
                                 _default;  
                         });  
                         break;  
                 case UL_HTML:  
                         escape(switch(*src) {  
                                 case '&': to_string("&amp;", 5);  break;  
                                 case '>': to_string("&gt;", 4);  break;  
                                 case '<': to_string("&lt;", 4);  break;  
                                 case '"': to_string("&quot;", 6);  break;  
                                 _default;  
                         });  
                         break;  
                 default:  
                         throw Exception(0, 0,   
                                 this,   
                                 "unknown untaint language #%d",   
                                         static_cast<int>(row->item.lang)); // sould never  
                         break; // never  
                 }                  }
                   break;
           case String::L_HTTP_COOKIE:
                   // tainted, untaint language: cookie (3.3.0 and higher: %uXXXX in UTF-8)
                   if(info->charsets) {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
                           to_string(Charset::escape(String::C(fragment_str, fragment_length), info->charsets->source()).str);
                   } else
                           ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_PARSER_CODE:
                   // for auto-untaint in process
                   escape_fragment(
                           if(need_parser_code_escape(c))
                                   to_char('^');
                           _default;
                   );
                   break;
           default:
                   SAPI::abort("unknown untaint language #%d", 
                           static_cast<int>(to_lang)); // should never
                   break; // never
           }
   
                 if(to_lang & UL_OPTIMIZE_BIT) {           info->fragment_begin=fragment_end;
                         // optimizing whitespace  
                         char *stop=dest;  dest=start;  
                         for(char *src=start; src<stop; src++)  
                                 switch(*src) {  
                                 // of all consequent white space chars leaving only first one  
                                 case ' ': case '\r': case '\n': case '\t':  
                                         if(!whitespace) {  
                                                 *dest++=*src;  
                                                 whitespace=true;  
                                         }  
                                         break;  
                                 default:  
                                         whitespace=false;  
                                         *dest++=*src;  
                                         break;  
                                 };  
                 } else // piece without optimization  
                         whitespace=false;  
   
                 } \          return 0; // 0=continue
                 chunk=row->link; \  }
         } while(chunk); \  
   
 break2:  
         return dest;  String::Body String::cstr_to_string_body_taint(Language lang, SQL_Connection* connection, const Request_charsets *charsets) const {
           if(is_empty())
                   return String::Body();
   
           Cstr_to_string_body_block_info info;
           // input
           info.lang=lang;
           info.connection=connection;
           info.charsets=charsets;
           info.body=&body;
           // output
           CORD_ec_init(info.result);
           // private
           body.set_pos(info.pos, 0);
           info.fragment_begin=0;
           info.exception=0;
           info.whitespace=true;
   
           cstr_to_string_body_block(lang, length(), &info);
   
           if(info.exception)
                   throw Exception(0,
                           0,
                           info.exception);
   
           return String::Body(CORD_ec_to_cord(info.result));
 }  }
   
 char *String::cstr_debug_origins() const {  int cstr_to_string_body_block_untaint(char alang, size_t fragment_length, Cstr_to_string_body_block_info* info){
         //_asm int 3;          const String::Language lang=(String::Language)(unsigned char)alang;
         char *result=(char *)malloc(size()+used_rows()*MAX_STRING*2);          // see append_fragment_* for explanation
         char *dest=result;          if(info->lang&String::L_OPTIMIZE_BIT)
                           return cstr_to_string_body_block(
         const Chunk *chunk=&head;                           lang==String::L_TAINTED?
         do {                                  info->lang
                 const Chunk::Row *row=chunk->rows;                                  :lang==String::L_CLEAN?
                 for(uint i=0; i<chunk->count; i++, row++) {                                          (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT)
                         if(row==append_here)                                          :lang,
                                 goto break2;                          fragment_length, info);
           else
 #ifndef NO_STRING_ORIGIN                  return cstr_to_string_body_block(lang==String::L_TAINTED ? info->lang:lang, fragment_length, info);
                         if(row->item.origin.file)  }
                                 dest+=sprintf(dest, ORIGIN_FILE_LINE_FORMAT,  
                                         row->item.origin.file,  
                                         1+row->item.origin.line);  
                         else  
                                 dest+=sprintf(dest, "<unknown>");  
 #endif  
                         uchar show_lang=row->item.lang & ~UL_OPTIMIZE_BIT;  
                         if(show_lang>=sizeof(String_Untaint_lang_name)/sizeof(String_Untaint_lang_name[0]))  
                                 throw Exception(0, 0,   
                                         this,   
                                         "unknown untaint language #%d",   
                                                 static_cast<int>(show_lang)); // sould never  
   
                         dest+=sprintf(dest, "#%s%s: ",  
                                 String_Untaint_lang_name[show_lang],  
                                 row->item.lang & UL_OPTIMIZE_BIT?".O":"");  
                         char *dest_after_origins=dest;  
   
                         memcpy(dest, row->item.ptr, row->item.size);   String::Body String::cstr_to_string_body_untaint(Language lang, SQL_Connection* connection, const Request_charsets *charsets) const {
                         dest+=row->item.size;          if(is_empty())
                   return String::Body();
   
           Cstr_to_string_body_block_info info;
           // input
           info.lang=lang;
           info.connection=connection;
           info.charsets=charsets;
           info.body=&body;
           // output
           CORD_ec_init(info.result);
           // private
           body.set_pos(info.pos, 0);
           info.fragment_begin=0;
           info.exception=0;
           info.whitespace=true;
   
           langs.for_each(body, cstr_to_string_body_block_untaint, &info);
   
           if(info.exception)
                   throw Exception(0,
                           0,
                           info.exception);
   
                         remove_crlf(dest_after_origins, dest);          return String::Body(CORD_ec_to_cord(info.result));
                         to_char('\n');  }
                 }  
                 chunk=row->link;  
         } while(chunk);  
   
 break2:  const char* String::untaint_and_transcode_cstr(Language lang, const Request_charsets *charsets) const {
         *dest=0;          if(charsets && &charsets->source() != &charsets->client()){
         return result;                  // Note: L_URI is allready transcoded during untaint, but transcode does not affect %XX
                   return Charset::transcode(cstr_to_string_body_untaint(lang, 0, charsets), charsets->source(), charsets->client()).cstr();
           } else
                   return cstr_to_string_body_untaint(lang, 0, charsets).cstr();
 }  }
Removed from v.1.94  
changed lines
  Added in v.1.173

E-mail: