[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.84 and 1.115.2.1

version 1.84, 2001/12/15 21:28:22 version 1.115.2.1, 2003/01/28 13:15:19
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001, 2003 ArtLebedev Group (http://www.artlebedev.com)
         Author: Alexander Petrosyan <paf@design.ru>(http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
   
         $Id$  
 */  */
   
   static const char* IDENT_UNTAINT_C="$Date$";
   
 #include "pa_pool.h"  #include "pa_pool.h"
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
Line 16 Line 16
 #include "pa_sql_connection.h"  #include "pa_sql_connection.h"
 #include "pa_dictionary.h"  #include "pa_dictionary.h"
 #include "pa_common.h"  #include "pa_common.h"
   #include "pa_charset.h"
   
 #define escape(action) \  #define escape(action) \
         { \          { \
                 const char *src=row->item.ptr; \                  const char *src=fragment->ptr; \
                 for(int size=row->item.size; size--; src++) \                  for(int size=fragment->size; size--; src++) \
                         action \                          action \
         }          }
 #define _default  default: *dest++=*src; break  #define _default  default: *dest++=*src; break
Line 40 Line 41
                 dest+=bsize; \                  dest+=bsize; \
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
         // theoretical problem with, for instance, "_2B" and "." fragments,           // russian letters and space ENABLED
         // they would yield the same           // encoding only these...
         // because need_file_encode('_')=false          return strchr(
         // but we need to delete such files somehow, getting names from ^index                            "*?'\"<>|"
   #ifndef WIN32
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))                             ":\\~"
                 return false;  
   
     return !strchr(  
                 "_./()-"  
 #ifdef WIN32  
                 ":\\~"  
 #endif  #endif
                 , c);                            , c)!=0;
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
Line 137  inline bool need_quote_http_header(const Line 132  inline bool need_quote_http_header(const
         return false;          return false;
 }  }
   
 String& String::append(const String& src, uchar lang, bool forced) {  //#include "pa_sapi.h"
   /** 
           appends to other String,
           marking all tainted pieces of it with @a lang.
           or marking ALL pieces of it with a @a lang when @a forced to,
           and propagating OPTIMIZE language bit.
   */
   String& String::append_to(String& dest, uchar lang, bool forced) const {
           if(is_empty())
                   return dest;
   
           // without language-chage, small[fitting dest tail] string?
           if(lang==UL_PASS_APPENDED && fused<=(dest.fallocated-dest.fused)) {
                   // felements[fused...]=src.felements[0..fused], fused+=src.fused
                   memcpy(&dest.felements[dest.fused], felements, sizeof(felements[0])*fused);
                   dest.fused+=fused;
                   return dest;
           }
   
         // manually unrolled code to avoid do{if(const)} constructs          // manually unrolled code to avoid do{if(const)} constructs
         if(forced)           if(forced) 
                 STRING_SRC_FOREACH_ROW(                  STRING_FOREACH_FRAGMENT(
                         APPEND(row->item.ptr, row->item.size,                           dest.APPEND(fragment->ptr, fragment->size, 
                                 lang, //forcing passed lang                                  lang, //forcing passed lang
                                 row->item.origin.file, row->item.origin.line);                                  fragment->origin.file, fragment->origin.line);
                 )                  )
         else if(lang==UL_PASS_APPENDED)           else if(lang==UL_PASS_APPENDED) 
                 STRING_SRC_FOREACH_ROW(                  STRING_FOREACH_FRAGMENT(
                         APPEND(row->item.ptr, row->item.size,                           dest.APPEND(fragment->ptr, fragment->size, 
                                 row->item.lang, // passing item's lang                                  fragment->lang, // passing item's lang
                                 row->item.origin.file, row->item.origin.line);                                  fragment->origin.file, fragment->origin.line);
                 )                  )
         else if(lang&UL_OPTIMIZE_BIT) // main idea here          else if(lang&UL_OPTIMIZE_BIT) // main idea here
                 // tainted piece would get OPTIMIZED bit from 'lang'                  // tainted piece would get OPTIMIZED bit from 'lang'
                 // clean piece would be marked OPTIMIZED manually                  // clean piece would be marked OPTIMIZED manually
                 // pieces with determined languages [not tainted|clean] would retain theirs langs                  // pieces with determined languages [not tainted|clean] would retain theirs langs
                 STRING_SRC_FOREACH_ROW(                  STRING_FOREACH_FRAGMENT(
                         APPEND(row->item.ptr, row->item.size,                           dest.APPEND(fragment->ptr, fragment->size, 
                                 row->item.lang==UL_TAINTED?lang:(                                  fragment->lang==UL_TAINTED?lang:(
                                         row->item.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag                                          fragment->lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                                                 row->item.lang                                                  fragment->lang
                                 ),                                   ), 
                                 row->item.origin.file, row->item.origin.line);                                  fragment->origin.file, fragment->origin.line);
                 )                  )
         else          else
                 STRING_SRC_FOREACH_ROW(                  STRING_FOREACH_FRAGMENT(
                         APPEND(row->item.ptr, row->item.size,                           dest.APPEND(fragment->ptr, fragment->size, 
                                 row->item.lang==UL_TAINTED?lang:row->item.lang,                                  fragment->lang==UL_TAINTED?lang:fragment->lang,
                                 row->item.origin.file, row->item.origin.line);                                  fragment->origin.file, fragment->origin.line);
                 );                  );
 break2:  
         return *this;          return dest;
 }  }
   
 size_t String::cstr_bufsize(Untaint_lang lang,  size_t String::cstr_bufsize(Untaint_lang lang,
                                                         SQL_Connection *connection,                                                          SQL_Connection *connection,
                                                         const char *charset) const {                                                          const char *charset_name) const {
         size_t dest=1; // for terminating 0          size_t dest=1; // for terminating 0
         STRING_FOREACH_ROW(          STRING_FOREACH_FRAGMENT(
                 uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;                  uchar to_lang=lang==UL_UNSPECIFIED?fragment->lang:lang;
   
                 switch(to_lang & ~UL_OPTIMIZE_BIT) {                  switch(to_lang & ~UL_OPTIMIZE_BIT) {
                 case UL_CLEAN:                  case UL_CLEAN:
Line 191  size_t String::cstr_bufsize(Untaint_lang Line 204  size_t String::cstr_bufsize(Untaint_lang
                         // for ^process{body} evaluation                          // for ^process{body} evaluation
   
                         // tainted, untaint language: as-is                          // tainted, untaint language: as-is
                         dest+=row->item.size;                          dest+=fragment->size;
                         break;                          break;
                 case UL_FILE_SPEC:                  case UL_FILE_SPEC:
                         // tainted, untaint language: file [name]                          // tainted, untaint language: file [name]
                         dest+=row->item.size*3/* worst: Z->%XX */;                          dest+=fragment->size*3/* worst: Z->%XX */;
                         break;                          break;
                 case UL_URI:                  case UL_URI:
                         // tainted, untaint language: uri                          // tainted, untaint language: uri
                         dest+=row->item.size*6*3/* worst utf8 x worst Z->%XX */;                          dest+=fragment->size*6*3/* worst utf8 x worst Z->%XX */;
                         break;                          break;
                 case UL_HTTP_HEADER:                  case UL_HTTP_HEADER:
                         // tainted, untaint language: http-field-content-text                          // tainted, untaint language: http-field-content-text
                         dest+=row->item.size*3/* worst: Z->%XX */;                          dest+=fragment->size*3/* worst: Z->%XX */;
                         break;                          break;
                 case UL_MAIL_HEADER:                  case UL_MAIL_HEADER:
                         // tainted, untaint language: mail-header                          // tainted, untaint language: mail-header
                         if(charset) {                          if(charset_name) {
                                   int parts_count=1;
                                   const char *prev=fragment->ptr;
                                   size_t size=fragment->size;
                                   while(const char *comma_at=(const char*)memchr(prev, ',', size)) {
                                           parts_count++;
                                           size-=comma_at-prev;
                                           prev=comma_at+1;
                                   }
                                 // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=                                  // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                 dest+=row->item.size*3+MAX_STRING/* worst: =?charset?Q?=%XX?= */;                                  dest+=
                         } else {                                          fragment->size*3+
                                 dest+=row->item.size;                                          parts_count*(strlen(charset_name)+MAX_STRING/* worst: =?charset?Q?=%XX?= */);
                         }                          } else
                                   dest+=fragment->size;
                         break;                          break;
                 case UL_TABLE:                   case UL_TABLE: 
                         // tainted, untaint language: table                          // tainted, untaint language: table
                         dest+=row->item.size;                          dest+=fragment->size;
                         break;                          break;
                 case UL_SQL:                  case UL_SQL:
                         // tainted, untaint language: sql                          // tainted, untaint language: sql
                         if(connection)                          if(connection)
                                 dest+=connection->quote(0, row->item.ptr, row->item.size);                                  dest+=connection->quote(0, fragment->ptr, fragment->size);
                         break;                          break;
                 case UL_JS:                  case UL_JS:
                         escape(switch(*src) {                          escape(switch(*src) {
Line 252  size_t String::cstr_bufsize(Untaint_lang Line 274  size_t String::cstr_bufsize(Untaint_lang
                         break;                          break;
                 }                  }
         );          );
 break2:  
         return dest;          return dest;
 }  }
   
   /** http://www.ietf.org/rfc/rfc2047.txt
   RFC
   (3) As a replacement for a 'word' entity within a 'phrase', for example,
       one that precedes an address in a From, To, or Cc header.  The ABNF
       definition for 'phrase' from RFC 822 thus becomes:
   
       phrase = 1*( encoded-word / word )
   
       In this case the set of characters that may be used in a "Q"-encoded
       'encoded-word' is restricted to: <upper and lower case ASCII
       letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
       (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
       'phrase' MUST be separated from any adjacent 'word', 'text' or
       'special' by 'linear-white-space'.
   ...
      (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
          represented as "_" (underscore, ASCII 95.).  (This character may
          not pass through some internetwork mail gateways, but its use
          will greatly enhance readability of "Q" encoded data with mail
          readers that do not support this encoding.)  Note that the "_"
          always represents hexadecimal 20, even if the SPACE character
          occupies a different code position in the character set in use.
   
           paf: obviously, 
                   without "=", or one could not differ "=E0" and "russian letter a"
                   and without "_", or in would mean 0x20
   */
   static bool mail_header_char_valid_within_Qencoded(char c) {
           return c>='A' && c<='Z'
                   || c>='a' && c<='Z'
                   || c>='0' && c<='9'
                   || strchr("!*+-/", c);
   }
 char *String::store_to(char *dest, Untaint_lang lang,   char *String::store_to(char *dest, Untaint_lang lang, 
                                            SQL_Connection *connection,                                             SQL_Connection *connection,
                                            const char *charset) const {                                             const char *charset_name) const {
         // WARNING:          // WARNING:
         //       before any changes check cstr_bufsize first!!!          //       before any changes check cstr_bufsize first!!!
         bool whitespace=true;          bool whitespace=true;
         // expanded STRING_FOREACH_ROW here for debugging purposes  //      STRING_FOREACH_FRAGMENT(
         const Chunk *chunk=&head;  \          element_type *last = felements+fused; element_type *fragment = felements; for(; fragment<last; fragment++) { 
         do { \  
                 const Chunk::Row *row=chunk->rows; \                  uchar to_lang=lang==UL_UNSPECIFIED?fragment->lang:lang;
                 for(uint i=0; i<chunk->count; i++, row++) { \  
                         if(row==append_here) \  
                                 goto break2; \  
                         \  
                 uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;  
   
                 char *start=dest;                  char *start=dest;
   
Line 285  char *String::store_to(char *dest, Untai Line 334  char *String::store_to(char *dest, Untai
                         // for ^process{body} evaluation                          // for ^process{body} evaluation
   
                         // tainted, untaint language: as-is                          // tainted, untaint language: as-is
                         memcpy(dest, row->item.ptr, row->item.size);                           memcpy(dest, fragment->ptr, fragment->size); 
                         dest+=row->item.size;                          dest+=fragment->size;
                         break;                          break;
                 case UL_FILE_SPEC:                  case UL_FILE_SPEC:
                         // tainted, untaint language: file [name]                          // tainted, untaint language: file [name]
                         escape(                          escape(
                                 encode(need_file_encode, '_');                                  // Macintosh has problems with small Russian letter 'r'
                                   if( *src=='\xF0' && pool().get_source_charset().name()=="windows-1251" ) {
                                           // fixing that letter for most common charset
                                           to_char('p');  
                                   } else // fallback to default
                                           encode(need_file_encode, '_'); 
                         );                          );
                         break;                          break;
                 case UL_URI:                  case UL_URI:
                         // tainted, untaint language: uri                          // tainted, untaint language: uri
                         escape(switch(*src) {                          const void *client_ptr;
                                 case ' ': to_char('+');  break;                          size_t client_size;
                                 default: encode(need_uri_encode, '%');                          Charset::transcode(pool(), 
                         });                                  pool().get_source_charset(), fragment->ptr, fragment->size,
                                   pool().get_client_charset(), client_ptr, client_size);
                           {
                                   const char *src=(const char *)client_ptr;
                                   for(int size=client_size; size--; src++) 
                                           encode(need_uri_encode, '%');
                           }
                         break;                          break;
                 case UL_HTTP_HEADER:                  case UL_HTTP_HEADER:
                         // tainted, untaint language: http-field-content-text                          // tainted, untaint language: http-field-content-text
                         escape(switch(*src) {                          escape(
                                 case ' ': to_char('+');  break;                                  encode(need_uri_encode, '%');
                                 default: encode(need_uri_encode, '%');                          );
                         });  
                         break;                          break;
                 case UL_MAIL_HEADER:                  case UL_MAIL_HEADER:
                         // tainted, untaint language: mail-header                          // tainted, untaint language: mail-header
                         if(charset) {                          // http://www.ietf.org/rfc/rfc2047.txt
                           if(charset_name) {
                                   const void *mail_ptr;
                                   size_t mail_size;
   
                                 // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=                                  // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                 const char *src=row->item.ptr;                                   const char *src=(const char *)mail_ptr;
                                 bool to_quoted_printable=false;                                  bool to_quoted_printable=false;
                                 for(int size=row->item.size; size--; src++) {  
                                         if(*src & 0x80) {                                  bool email=false;
                                   for(const char *end=src+mail_size; src<end; src++) {
                                           //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                           if(to_quoted_printable && (*src==',' || *src=='<')) {
                                                   email=*src=='<';
                                                   dest+=sprintf(dest, "?=");
                                                   to_quoted_printable=false;
                                           }
                                           if(!email && (
                                                   !to_quoted_printable && (*src & 0x80)  // starting quote-printable-encoding on first 8bit char
                                                   || to_quoted_printable && !mail_header_char_valid_within_Qencoded(*src)
                                                   )) {
                                                 if(!to_quoted_printable) {                                                  if(!to_quoted_printable) {
                                                         dest+=sprintf(dest, "=?%.15s?Q?", charset);                                                          dest+=sprintf(dest, "=?%s?Q?", charset_name);
                                                         to_quoted_printable=true;                                                          to_quoted_printable=true;
                                                 }                                                  }
                                                 dest+=sprintf(dest, "=%02X", *src & 0xFF);                                                  //RFC Upper case should be used for hexadecimal digits "A" through "F"
                                         } else {                                                  if(*src == 0x20) // RFC The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
                                                 *dest++=*src;                                                                                                     *dest++='_'; // RFC may be represented as "_" 
                                         }                                                  else
                                                           dest+=sprintf(dest, "=%02X", *src & 0xFF);
                                           } else
                                                   *dest++=*src;
                                           if(*src=='>')
                                                   email=false;
                                 }                                  }
                                 if(to_quoted_printable) // close                                  if(to_quoted_printable) // close
                                         dest+=sprintf(dest, "?=");                                          dest+=sprintf(dest, "?=");
                           
                         } else {                          } else {
                                 memcpy(dest, row->item.ptr, row->item.size);                                   memcpy(dest, fragment->ptr, fragment->size); 
                                 dest+=row->item.size;                                  dest+=fragment->size;
                         }                          }
                         break;                          break;
                 case UL_TABLE:                   case UL_TABLE: 
Line 343  char *String::store_to(char *dest, Untai Line 423  char *String::store_to(char *dest, Untai
                 case UL_SQL:                  case UL_SQL:
                         // tainted, untaint language: sql                          // tainted, untaint language: sql
                         if(connection)                          if(connection)
                                 dest+=connection->quote(dest, row->item.ptr, row->item.size);                                  dest+=connection->quote(dest, fragment->ptr, fragment->size);
                         else                          else
                                 throw Exception(0, 0,                                  throw Exception(0,
                                         this,                                          this,
                                         "untaint in SQL language failed - no connection specified");                                          "untaint in SQL language failed - no connection specified");
                         break;                          break;
Line 379  char *String::store_to(char *dest, Untai Line 459  char *String::store_to(char *dest, Untai
                         });                          });
                         break;                          break;
                 default:                  default:
                         throw Exception(0, 0,                           throw Exception(0, 
                                 this,                                   this, 
                                 "unknown untaint language #%d",                                   "unknown untaint language #%d", 
                                         static_cast<int>(row->item.lang)); // sould never                                          static_cast<int>(to_lang)); // should never
                         break; // never                          break; // never
                 }                  }
   
Line 405  char *String::store_to(char *dest, Untai Line 485  char *String::store_to(char *dest, Untai
                                 };                                  };
                 } else // piece without optimization                  } else // piece without optimization
                         whitespace=false;                          whitespace=false;
   //      );
           }
   
                 } \  
                 chunk=row->link; \  
         } while(chunk); \  
   
 break2:  
         return dest;          return dest;
 }  }
   
Line 419  char *String::cstr_debug_origins() const Line 496  char *String::cstr_debug_origins() const
         char *result=(char *)malloc(size()+used_rows()*MAX_STRING*2);          char *result=(char *)malloc(size()+used_rows()*MAX_STRING*2);
         char *dest=result;          char *dest=result;
                   
         const Chunk *chunk=&head;           STRING_FOREACH_FRAGMENT(
         do {  IFNDEF_NO_STRING_ORIGIN(
                 const Chunk::Row *row=chunk->rows;                  if(fragment->origin.file)
                 for(uint i=0; i<chunk->count; i++, row++) {                          dest+=sprintf(dest, ORIGIN_FILE_LINE_FORMAT,
                         if(row==append_here)                                  fragment->origin.file,
                                 goto break2;                                  1+fragment->origin.line);
                   else
 #ifndef NO_STRING_ORIGIN                          dest+=sprintf(dest, "<unknown>");
                         if(row->item.origin.file)  );
                                 dest+=sprintf(dest, ORIGIN_FILE_LINE_FORMAT,                  uchar show_lang=fragment->lang & ~UL_OPTIMIZE_BIT;
                                         row->item.origin.file,                  if(show_lang>=sizeof(String_Untaint_lang_name)/sizeof(String_Untaint_lang_name[0]))
                                         1+row->item.origin.line);                          throw Exception(0, 
                         else                                  this, 
                                 dest+=sprintf(dest, "<unknown>");                                  "unknown untaint language #%d", 
 #endif                                          static_cast<int>(show_lang)); // sould never
                         uchar show_lang=row->item.lang & ~UL_OPTIMIZE_BIT;  
                         if(show_lang>=sizeof(String_Untaint_lang_name)/sizeof(String_Untaint_lang_name[0]))  
                                 throw Exception(0, 0,   
                                         this,   
                                         "unknown untaint language #%d",   
                                                 static_cast<int>(show_lang)); // sould never  
   
                         dest+=sprintf(dest, "#%s%s: ",  
                                 String_Untaint_lang_name[show_lang],  
                                 row->item.lang & UL_OPTIMIZE_BIT?".O":"");  
                         char *dest_after_origins=dest;  
   
                         memcpy(dest, row->item.ptr, row->item.size);                   dest+=sprintf(dest, "#%s%s: ",
                         dest+=row->item.size;                          String_Untaint_lang_name[show_lang],
                           fragment->lang & UL_OPTIMIZE_BIT?".O":"");
                   char *dest_after_origins=dest;
   
                         remove_crlf(dest_after_origins, dest);                  memcpy(dest, fragment->ptr, fragment->size); 
                         to_char('\n');                  dest+=fragment->size;
                 }  
                 chunk=row->link;                  remove_crlf(dest_after_origins, dest);
         } while(chunk);                  to_char('\n');
           );
   
 break2:  
         *dest=0;          *dest=0;
         return result;          return result;
 }  }
Removed from v.1.84  
changed lines
  Added in v.1.115.2.1

E-mail: