[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.10 and 1.134.6.1

version 1.10, 2001/03/20 06:45:19 version 1.134.6.1, 2005/08/05 13:03:03
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright (c) 2001 ArtLebedev Group (http://www.artlebedev.com)          Copyright(c) 2001-2005 ArtLebedev Group (http://www.artlebedev.com)
           Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
         Author: Alexander Petrosyan <paf@design.ru> (http://design.ru/paf)  
   
         $Id$  
 */  */
   
 #include <string.h>  static const char * const IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_pool.h"  
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
   #include "pa_table.h"
   #include "pa_globals.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   #include "pa_charset.h"
   #include "pa_request_charsets.h"
   #include "pa_sapi.h"
   
   extern "C" { // author forgot to do that
   #include "ec.h"
   }
   
 #define escape(cases) \  #include "pa_sql_connection.h"
         { \  
                 const char *ptr=row->item.ptr; \  // defines
                 for (int size=row->item.size; size--; ptr++) \  
                         switch(*ptr) { \  #undef CORD_ec_append
                                 cases \  // redefining to intercept flushes and implement whitespace optimization
                         } \  // of all consequent white space chars leaving only first one
   #define CORD_ec_append(x, c) \
       {  \
           bool skip=false; \
           if(optimize) switch(c) { \
           case ' ': case '\n': case '\t': \
                   if(whitespace) \
                           skip=true; /*skipping subsequent*/ \
                   else \
                           whitespace=true; \
                   break; \
           default: \
                   whitespace=false; \
                   break; \
           } \
           if(!skip) { \
                   if ((x)[0].ec_bufptr == (x)[0].ec_buf + CORD_BUFSZ) { \
                           CORD_ec_flush_buf(x); \
                   } \
                   *((x)[0].ec_bufptr)++ = (c); \
           } \
       }
   
   
   #define escape(action) \
           for(; fragment_length--; CORD_next(info->pos)) { \
                   char c=CORD_pos_fetch(info->pos); \
                   action \
         }          }
 #define escape_value(a, c)  case a: *copy_here++=c; break  #define _default CORD_ec_append(info->result, c)
 #define escape_default  default: *copy_here++=*ptr; break  #define encode(need_encode_func, prefix, otherwise)  \
 #define escape_subst(a, b, bsize)  \          if(need_encode_func(c)) { \
                 case a: \                  static const char* hex="0123456789ABCDEF"; \
                         strncpy(copy_here, b, bsize); \                  CORD_ec_append(info->result, prefix); \
                         copy_here+=bsize; \                  CORD_ec_append(info->result, hex[((unsigned char)c)/0x10]); \
                 break                  CORD_ec_append(info->result, hex[((unsigned char)c)%0x10]); \
 #define escape_encode(need_encode_func, prefix)  \          } else \
                 default: \                  CORD_ec_append(info->result, otherwise);
                         if(need_encode_func(*ptr)) { \  #define to_char(c)  { CORD_ec_append(info->result, c); whitespace=false; }
                                 static const char *hex="0123456789ABCDEF"; \  #define to_string(s)  { CORD_ec_append_cord(info->result, s); whitespace=false; }
                                 char chunk[3]={prefix}; \  
                                 chunk[1]=hex[((unsigned char)*ptr)/0x10]; \  
                                 chunk[2]=hex[((unsigned char)*ptr)%0x10]; \  
                                 strncpy(copy_here, chunk, 3);  copy_here+=3; \  
                         } else \  
                                 *copy_here++=*ptr; \  
                         break  
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
     if ((c>='0') && (c<='9') || (c>='A') && (c<='Z') || (c>='a') && (c<='z'))           // russian letters and space ENABLED
                 return false;          // encoding only these...
           return strchr(
     return !strchr("./\\", c);                            "*?'\"<>|"
   #ifndef WIN32
                             ":\\"
   #endif
                             , c)!=0;
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if ((c>='0') && (c<='9') || (c>='A') && (c<='Z') || (c>='a') && (c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
                 return false;                  return false;
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" ,:", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
Line 63  inline bool need_header_encode(unsigned Line 95  inline bool need_header_encode(unsigned
   
 // String  // String
   
 /// @todo optimize whitespaces for all but 'html'  /*
 char *String::cstr() const {  HTTP-header    = field-name ":" [ field-value ] CRLF
         char *result=(char *)malloc(size()*UNTAINT_TIMES_BIGGER+1);  
          field-name     = token
         char *copy_here=result;         field-value    = *( field-content | LWS )
         const Chunk *chunk=&head;   
         do {         field-content  = <the OCTETs making up the field-value
                 const Chunk::Row *row=chunk->rows;                          and consisting of either *TEXT or combinations
                 for(int i=0; i<chunk->count; i++) {                          of token, tspecials, and quoted-string>
                         if(row==append_here)  
                                 goto break2;  
   
                         // WARNING:  word           = token | quoted-string
                         //      string can grow only UNTAINT_TIMES_BIGGER  
                         switch(row->item.lang) {  token          = 1*<any CHAR except CTLs or tspecials>
                         case NO:  
                                 // clean piece  
                         case YES:  
                                 // tainted piece, but undefined untaint language  tspecials      = "(" | ")" | "<" | ">" | "@"
                                 // for VString.get_double of tainted values                        | "," | ";" | ":" | "\" | <">
                                 // for ^process{body} evaluation                        | "/" | "[" | "]" | "?" | "="
                         case AS_IS:                        | "{" | "}" | SP | HT
                                 // tainted, untaint language: as-is  
                                 memcpy(copy_here, row->item.ptr, row->item.size);   SP             = <US-ASCII SP, space (32)>
                                 copy_here+=row->item.size;  HT             = <US-ASCII HT, horizontal-tab (9)>
                                 break;  
                         case FILE_NAME:  LWS            = [CRLF] 1*( SP | HT )
                                 // tainted, untaint language: file [name]  TEXT           = <any OCTET except CTLs,
                                 escape(                          but including LWS>
                                         escape_value(' ', '_');  
                                         escape_encode(need_file_encode, '-');  quoted-pair    = "\" CHAR
                                 );  
                                 break;    if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                         case URI:  */
                                 // tainted, untaint language: uri  inline bool need_quote_http_header(const char* ptr, size_t size) {
                                 escape(          for(; size--; ptr++)
                                         escape_value(' ', '+');                  if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                                         escape_encode(need_uri_encode, '%');                          return true;
                                 );          return false;
                                 break;  }
                         case HEADER:  
                                 // tainted, untaint language: header  #ifndef DOXYGEN
                                 escape(  struct Append_fragment_info {
                                         escape_encode(need_header_encode, '%');          String::Language lang;
                                 );          String::Languages* dest_languages;
                                 break;          size_t dest_body_plan_length;
                         case TABLE:   };
                                 escape(  #endif
                                         escape_value('\t', ' ');  int append_fragment_optimizing(char alang, size_t asize, Append_fragment_info* info) {
                                         escape_value('\n', ' ');          const String::Language lang=(String::Language)(unsigned char)alang;
                                         escape_default;          // main idea here:
                                 );          // tainted piece would get OPTIMIZED bit from 'lang'
                                 break;          // clean piece would be marked OPTIMIZED manually
                         case SQL:          // pieces with determined languages [not tainted|clean] would retain theirs langs
                                 // tainted, untaint language: sql          info->dest_languages->append(info->dest_body_plan_length, 
                                 // TODO: зависимость от sql сервера                  lang==String::L_TAINTED?
                                 memset(copy_here, '?', row->item.size);                           info->lang
                                 copy_here+=row->item.size;                          :lang==String::L_CLEAN?
                                 break;                                  (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT) // ORing with OPTIMIZED flag
                         case JS:                                  :lang,
                                 escape(                  asize);
                                         escape_subst('"', "\\\"", 2);          info->dest_body_plan_length+=asize;
                                         escape_subst('\'', "\\'", 2);  
                                         escape_subst('\n', "\\n", 2);          return 0; // 0=continue
                                         escape_subst('\r', "\\r", 2);  }
                                         escape_subst('\\', "\\\\", 2);  int append_fragment_nonoptimizing(char alang, size_t asize, Append_fragment_info* info) {
                                         escape_subst('я', "\\я", 2);          const String::Language lang=(String::Language)(unsigned char)alang;
                                         escape_default;          // The core idea: tainted pieces got marked with context's lang
                                 );          info->dest_languages->append(info->dest_body_plan_length, 
                   lang==String::L_TAINTED?
                           info->lang
                           :lang,
                   asize);
           info->dest_body_plan_length+=asize;
   
           return 0; // 0=continue
   }
   
   /** 
           appends to other String,
           marking all tainted pieces of it with @a lang.
           or marking ALL pieces of it with a @a lang when @a forced to,
           and propagating OPTIMIZE language bit.
   */
   String& String::append_to(String& dest, Language lang, bool forced) const {
           if(is_empty())
                   return dest;
   
           // first: fragment infos
           
           if(lang==L_PASS_APPENDED) // without language-change?
                   dest.langs.append(dest.body, body.length(), langs);
           else if(forced) //forcing passed lang?
                   dest.langs.append(dest.body, lang, length());
           else { 
                   Append_fragment_info info={lang, &dest.langs, dest.body.length()};
               langs.for_each(body, lang&L_OPTIMIZE_BIT?
                           append_fragment_optimizing
                           :append_fragment_nonoptimizing, &info);
           }
   
           // next: letters
           dest.body<<body;
   
           ASSERT_STRING_INVARIANT(dest);
           return dest;
   }
   
   /** http://www.ietf.org/rfc/rfc2047.txt
   RFC
   (3) As a replacement for a 'word' entity within a 'phrase', for example,
       one that precedes an address in a From, To, or Cc header.  The ABNF
       definition for 'phrase' from RFC 822 thus becomes:
   
       phrase = 1*( encoded-word / word )
   
       In this case the set of characters that may be used in a "Q"-encoded
       'encoded-word' is restricted to: <upper and lower case ASCII
       letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
       (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
       'phrase' MUST be separated from any adjacent 'word', 'text' or
       'special' by 'linear-white-space'.
   ...
      (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
          represented as "_" (underscore, ASCII 95.).  (This character may
          not pass through some internetwork mail gateways, but its use
          will greatly enhance readability of "Q" encoded data with mail
          readers that do not support this encoding.)  Note that the "_"
          always represents hexadecimal 20, even if the SPACE character
          occupies a different code position in the character set in use.
   
           paf: obviously, 
                   without "=", or one could not differ "=E0" and "russian letter a"
                   and without "_", or in would mean 0x20
   */
   inline bool mail_header_char_valid_within_Qencoded(char c) {
           return c>='A' && c<='Z'
                   || c>='a' && c<='Z'
                   || c>='0' && c<='9'
                   || strchr("!*+-/", c);
   }
   inline bool addr_spec_soon(const char *src) {
           for(char c; (c=*src); src++)
                   if(c=='<')
                           return true;
                   else if(!(c==' ' || c=='\t'))
                           return false;
           return false;
   }
   /**
           RFC 
           Upper case should be used for hexadecimal digits "A" through "F"
           The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
           may be represented as "_" 
   */
   inline bool mail_header_nonspace_char(char c) {
           return c != 0x20;
   }
   
   inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {
           while(size--) {
                   CORD_ec_append(result, CORD_pos_fetch(pos));
                   CORD_next(pos);
           }
   }
   inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {
           while(true) {
                   long avail=CORD_pos_chars_left(pos);
                   if(avail<=0) {
                           CORD_next(pos);
                           if(!--n)
                                 break;                                  break;
                         case HTML:                  } else if((size_t)avail<n) {
                                 escape(                          CORD_pos_advance(pos, avail);
                                         escape_subst('&', "&amp;", 5); // BEFORE consequent relpaces yelding '&'                          n-=avail;
                                         escape_subst('>', "&gt;", 4);                  } else { // avail>=n
                                         escape_subst('<', "&lt;",4);                          CORD_pos_advance(pos, n);
                                         escape_subst('"', "&quot;",6);                          break;
                                         escape_value('\t', ' ');                  }
                                         //TODO: XSLT escape_subst('\'', "&apos;", 6)          }
                                         escape_default;  }
                                 );  
   #ifndef DOXYGEN
   struct Cstr_to_string_body_block_info {
           // input
           String::Language lang;
           SQL_Connection* connection;
           const Request_charsets* charsets;
           const String::Body* body;
   
           // output
           CORD_ec result;
   
           // private
           CORD_pos pos;
           size_t fragment_begin;
           bool whitespace;
   };
   #endif
   int cstr_to_string_body_block(char alang, size_t fragment_length, Cstr_to_string_body_block_info* info) {
           const String::Language fragment_lang=(String::Language)(unsigned char)alang;
           bool& whitespace=info->whitespace;
           size_t fragment_end=info->fragment_begin+fragment_length;
           //fprintf(stderr, "%d, %d\n", fragment.lang, fragment.length);
   
           
           String::Language to_lang=info->lang==String::L_UNSPECIFIED?fragment_lang:info->lang;
           bool optimize=(to_lang & String::L_OPTIMIZE_BIT)!=0;
           if(!optimize)
                   whitespace=false;
                   
           switch(to_lang & ~String::L_OPTIMIZE_BIT) {
           case String::L_CLEAN:
           case String::L_TAINTED:
           case String::L_AS_IS:
                   // clean piece
   
                   // tainted piece, but undefined untaint language
                   // for VString.as_double of tainted values
                   // for ^process{body} evaluation
   
                   // tainted, untaint language: as-is
                   ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_FILE_SPEC:
                   // tainted, untaint language: file [name]
                   escape(
                           // Macintosh has problems with small Russian letter 'r'
                           if( c=='\xF0' && info->charsets && info->charsets->source().NAME()=="WINDOWS-1251" ) {
                                   // fixing that letter for most common charset
                                   to_char('p');
                           } else // fallback to default
                                   encode(need_file_encode, '_', c); 
                   );
                   break;
           case String::L_URI:
                   // tainted, untaint language: uri
                   {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
                           String::C output(fragment_str, fragment_length);
                           if(info->charsets) 
                                   output=Charset::transcode(output, 
                                           info->charsets->source(), 
                                           info->charsets->client());
   
                           char c;
                           for(const char* src=output.str; (c=*src++); ) 
                                   encode(need_uri_encode, '%', c);
                   }
                   break;
           case String::L_HTTP_HEADER:
                   // tainted, untaint language: http-field-content-text
                   escape(
                           encode(need_uri_encode, '%', c);
                   );
                   break;
           case String::L_MAIL_HEADER:
                   // tainted, untaint language: mail-header
                   // http://www.ietf.org/rfc/rfc2047.txt
                   if(info->charsets) {
                           size_t mail_size;
                           const char *mail_ptr=
                                   info->body->mid(info->fragment_begin, mail_size=fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, mail_size);
   
                           const char* charset_name=info->charsets->mail().NAME().cstr();
   
                           // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                           bool to_quoted_printable=false;
   
                           bool email=false;
                           uchar c;
                           for(const char* src=mail_ptr; (c=(uchar)*src++); ) {
                                   if(to_quoted_printable && (c==',' || c == '"' || addr_spec_soon(src-1/*position to 'c'*/))) {
                                           email=c=='<';
                                           to_string("?=");
                                           to_quoted_printable=false;
                                   }
                                   //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                   if(!email && (
                                           !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                                           || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
                                           )) {
                                           if(!to_quoted_printable) {
                                                   to_string("=?");
                                                   to_string(charset_name);
                                                   to_string("?Q?");
                                                   to_quoted_printable=true;
                                           }
                                           encode(mail_header_nonspace_char, '=', '_'); 
                                   } else
                                           to_char(c);
                                   if(c=='>')
                                           email=false;
                           }
                           if(to_quoted_printable) // close
                                   to_string("?=");
                   
                   } else
                           ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_SQL:
                   // tainted, untaint language: sql
                   if(info->connection) {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
   
                           to_string(info->connection->quote(fragment_str, fragment_length));
                   } else
                           throw Exception(0,
                                   0,
                                   "untaint in SQL language failed - no connection specified");
                   break;
           case String::L_JS:
                   escape(switch(c) {
                           case '"': to_string("\\\"");  break;
                           case '\'': to_string("\\'");  break;
                           case '\n': to_string("\\n");  break;
                           case '\\': to_string("\\\\");  break;
                           case '\xFF': to_string("\\\xFF");  break;
                           default: _default; break;
                   });
                   break;
           case String::L_XML:
                   // [2]    Char    ::=    #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] 
                   escape(switch(c) {
                           case '\x9': 
                           case '\xA': 
                           case '\xD': // this is usually removed on input
                                   _default; 
                                 break;                                  break;
                         case HTML_TYPO:                           case '&': to_string("&amp;");  break;
                                 // tainted, untaint language: html-typo                          case '>': to_string("&gt;");  break;
                                 escape(                          case '<': to_string("&lt;");  break;
                                         escape_subst('&', "&amp;", 5); // BEFORE consequent relpaces yelding '&'                          case '"': to_string("&quot;");  break;
                                         escape_subst('>', "&gt;", 4);                          case '\'': to_string("&apos;");  break;
                                         escape_subst('<', "&lt;",4);                          default: 
                                         escape_subst('"', "&quot;",6);                                  if(((unsigned char)c)<0x20) {
                                         escape_value('\t', ' ');                                          // fixing it, so that libxml would not result
                                         //TODO: $MAIN:html-type table replace, max length(b)==UNTAINT_TIMES_BIGGER*length(a)                                          // in fatal error parsing text
                                         escape_default;                                          // though it really violates standard.
                                 );                                          // to indicate there were an error
                                           // replace bad char not to it's code, 
                                           // which we can do,
                                           // but rather to '!' to show that input were actually
                                           // invalid.
                                           // life: shows that MSIE can somehow garble form values
                                           // so that they contain these chars.
                                           to_char('!'); 
                                   } else {
                                           _default; 
                                   }
                                 break;                                  break;
                         default:                  });
                                 THROW(0,0,                  break;
                                         this,          case String::L_HTML:
                                         "unknown untaint language #%d of %d piece",                   escape(switch(c) {
                                                 static_cast<int>(row->item.lang),                          case '&': to_string("&amp;");  break;
                                                 i);                          case '>': to_string("&gt;");  break;
                         }                          case '<': to_string("&lt;");  break;
                         row++;                          case '"': to_string("&quot;");  break;
                 }                          default: _default; break;
                 chunk=row->link;                  });
         } while(chunk);                  break;
 break2:          default:
         *copy_here=0;                  SAPI::abort("unknown untaint language #%d", 
         return result;                          static_cast<int>(to_lang)); // should never
                   break; // never
           }
   
           info->fragment_begin=fragment_end;
   
           return 0; // 0=continue
   }
   
   
   String::Body String::cstr_to_string_body(Language lang, 
                     SQL_Connection* connection,
                     const Request_charsets *charsets) const {
           if(is_empty())
                   return String::Body();
   
           Cstr_to_string_body_block_info info;
           // input
           info.lang=lang;
           info.connection=connection;
           info.charsets=charsets;
           info.body=&body;
           // output
           CORD_ec_init(info.result);
           // private
           body.set_pos(info.pos, 0);
           info.fragment_begin=0;
           info.whitespace=true;
   
           langs.for_each(body, cstr_to_string_body_block, &info);
           return String::Body(CORD_ec_to_cord(info.result));
 }  }
Removed from v.1.10  
changed lines
  Added in v.1.134.6.1

E-mail: