[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.33 and 1.115.2.12.2.18

version 1.33, 2001/04/05 11:01:57 version 1.115.2.12.2.18, 2003/03/27 10:53:01
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001-2003 ArtLebedev Group (http://www.artlebedev.com)
           Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
         Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)  
   
         $Id$  
 */  */
   
 #include "pa_config_includes.h"  static const char* IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_pool.h"  
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
 #include "pa_table.h"  #include "pa_table.h"
 #include "pa_globals.h"  #include "pa_globals.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   #include "pa_charset.h"
   #include "pa_request_charsets.h"
   
   extern "C" { // author forgot to do that
   #include "ec.h"
   }
   
   #define PA_SQL
   
   #ifdef PA_SQL
   #include "pa_sql_connection.h"
   #endif
   
   // forwards
   
   void CORD_ec_flush_buf_optimize_whitespace(CORD_ec x);
   
   // defines
   
   
   #undef CORD_ec_append
   // redefining to intercept flushes and implement whitespace optimization
   // of all consequent white space chars leaving only first one
   #define CORD_ec_append(x, c) \
       {  \
           bool skip=false; \
           if(optimize) switch(c) { \
           case ' ': case '\r': case '\n': case '\t': \
                   if(whitespace) \
                           skip=true; /*skipping subsequent*/ \
                   else \
                           whitespace=true; \
                   break; \
           default: \
                   whitespace=false; \
                   break; \
           } \
           if(!skip) { \
                   if ((x)[0].ec_bufptr == (x)[0].ec_buf + CORD_BUFSZ) { \
                           CORD_ec_flush_buf(x); \
                   } \
                   *((x)[0].ec_bufptr)++ = (c); \
           } \
       }
   
   
 #define escape(action) \  #define escape(action) \
         { \          for(; fragment_length--; CORD_next(pos)) { \
                 const char *src=row->item.ptr; \                  char c=CORD_pos_fetch(pos); \
                 for(int size=row->item.size; size--; src++) \                  action \
                         action \  
         }          }
 #define _default  default: *dest++=*src; break  #define _default  default: CORD_ec_append(result, c); break
 #define encode(need_encode_func, prefix)  \  #define encode(need_encode_func, prefix, otherwise)  \
                 default: \          if(need_encode_func(c)) { \
                         if(need_encode_func(*src)) { \                  static const char* hex="0123456789ABCDEF"; \
                                 static const char *hex="0123456789ABCDEF"; \                  CORD_ec_append(result, prefix); \
                                 char chunk[3]={prefix}; \                  CORD_ec_append(result, hex[((unsigned char)c)/0x10]); \
                                 chunk[1]=hex[((unsigned char)*src)/0x10]; \                  CORD_ec_append(result, hex[((unsigned char)c)%0x10]); \
                                 chunk[2]=hex[((unsigned char)*src)%0x10]; \          } else \
                                 strncpy(dest, chunk, 3);  dest+=3; \                  CORD_ec_append(result, otherwise);
                         } else \  #define to_char(c)  CORD_ec_append(result, c)
                                 *dest++=*src; \  #define to_string(s)  CORD_ec_append_cord(result, s)
                         break  
 #define to_char(c)  *dest++=c  
 #define to_string(b, bsize)  \  
                 strncpy(dest, b, bsize); \  
                 dest+=bsize; \  
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))           // russian letters and space ENABLED
                 return false;          // encoding only these...
           return strchr(
     return !strchr(                            "*?'\"<>|"
 #ifdef WIN32  #ifndef WIN32
                 ":\\"                            ":\\~"
 #endif  #endif
                 "./", c);                            , c)!=0;
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
Line 56  inline bool need_uri_encode(unsigned cha Line 94  inline bool need_uri_encode(unsigned cha
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" , :", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
   //
   
   static const char*  String_Untaint_lang_name[]={
           "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
           "C", ///< clean
           "T",  ///< tainted, untaint language as assigned later 
           // untaint languages. assigned by ^untaint[lang]{...}
           "P",
                   /**<
                           leave language built into string being appended.
                           just a flag, that value not stored
                   */
           "A",     ///< leave all characters intact
           "F", ///< file specification
           "H",    ///< ext in HTTP response header
           "M",    ///< text in mail header
           "URI",       ///< text in uri
           "T",     ///< ^table:set body
           "SQL",       ///< ^table:sql body
           "JS",        ///< JavaScript code
           "XML",          ///< ^dom:set xml
           "HTML"      ///< HTML code (for editing)
   };
   
   
 // String  // String
   
 static bool typo_present(Array::Item *value, const void *info) {  /*
         Array *row=static_cast<Array *>(value);  
         const char *src=static_cast<const char *>(info);  HTTP-header    = field-name ":" [ field-value ] CRLF
   
         int partial;         field-name     = token
         row->get_string(0)->cmp(partial, src);         field-value    = *( field-content | LWS )
         return   
                 partial==0 || // full match         field-content  = <the OCTETs making up the field-value
                 partial==1; // typo left column starts 'src'                          and consisting of either *TEXT or combinations
                           of token, tspecials, and quoted-string>
   
   
   
   word           = token | quoted-string
   
   token          = 1*<any CHAR except CTLs or tspecials>
   
   
   
   tspecials      = "(" | ")" | "<" | ">" | "@"
                         | "," | ";" | ":" | "\" | <">
                         | "/" | "[" | "]" | "?" | "="
                         | "{" | "}" | SP | HT
   
   SP             = <US-ASCII SP, space (32)>
   HT             = <US-ASCII HT, horizontal-tab (9)>
   
   LWS            = [CRLF] 1*( SP | HT )
   TEXT           = <any OCTET except CTLs,
                           but including LWS>
   
   quoted-pair    = "\" CHAR
   
     if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
   */
   inline bool need_quote_http_header(const char* ptr, size_t size) {
           for(; size--; ptr++)
                   if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                           return true;
           return false;
   }
   
   
   /** 
           appends to other String,
           marking all tainted pieces of it with @a lang.
           or marking ALL pieces of it with a @a lang when @a forced to,
           and propagating OPTIMIZE language bit.
   */
   String& String::append_to(String& dest, Language lang, bool forced) const {
           if(is_empty())
                   return dest;
   
           // first: letters
           dest.body<<body;
   
           // next: fragment infos
           
           if(lang==L_PASS_APPENDED) // without language-chage string?
                   dest.fragments.append(fragments);
           else if(forced) //forcing passed lang?
                   dest.fragments+=Fragment(lang, length());
           else if(lang&L_OPTIMIZE_BIT) {
                   Array_iterator<ArrayFragment::element_type> i(fragments);
                   while(i.has_next()) {
                           const Fragment fragment=i.next();
                           // main idea here:
                           // tainted piece would get OPTIMIZED bit from 'lang'
                           // clean piece would be marked OPTIMIZED manually
                           // pieces with determined languages [not tainted|clean] would retain theirs langs
                           dest.fragments+=Fragment(static_cast<Language>(
                                   fragment.lang==L_TAINTED?lang:(
                                           fragment.lang==L_CLEAN?L_CLEAN|L_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                                                   fragment.lang)),
                                   fragment.length);
                   }
           } else { // The core idea: tainted pieces got marked with context's lang
                   Array_iterator<ArrayFragment::element_type> i(fragments);
                   while(i.has_next()) {
                           const Fragment fragment=i.next();
                           dest.fragments+=Fragment(
                                   fragment.lang==L_TAINTED?lang:fragment.lang,
                                   fragment.length);
                   }
           }
   
           return dest;
 }  }
   
   /** http://www.ietf.org/rfc/rfc2047.txt
   RFC
   (3) As a replacement for a 'word' entity within a 'phrase', for example,
       one that precedes an address in a From, To, or Cc header.  The ABNF
       definition for 'phrase' from RFC 822 thus becomes:
   
       phrase = 1*( encoded-word / word )
   
       In this case the set of characters that may be used in a "Q"-encoded
       'encoded-word' is restricted to: <upper and lower case ASCII
       letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
       (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
       'phrase' MUST be separated from any adjacent 'word', 'text' or
       'special' by 'linear-white-space'.
   ...
      (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
          represented as "_" (underscore, ASCII 95.).  (This character may
          not pass through some internetwork mail gateways, but its use
          will greatly enhance readability of "Q" encoded data with mail
          readers that do not support this encoding.)  Note that the "_"
          always represents hexadecimal 20, even if the SPACE character
          occupies a different code position in the character set in use.
   
           paf: obviously, 
                   without "=", or one could not differ "=E0" and "russian letter a"
                   and without "_", or in would mean 0x20
   */
   inline bool mail_header_char_valid_within_Qencoded(char c) {
           return c>='A' && c<='Z'
                   || c>='a' && c<='Z'
                   || c>='0' && c<='9'
                   || strchr("!*+-/", c);
   }
 /**  /**
         @test optimize whitespaces for all but 'html'          RFC 
         @todo fix theoretical \n mem overrun in TYPO replacements          Upper case should be used for hexadecimal digits "A" through "F"
           The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
           may be represented as "_" 
 */  */
 char *String::store_to(char *dest, Untaint_lang lang) const {  inline bool mail_header_nonspace_char(char c) {
         // $MAIN:html-typo table          return c != 0x20;
         Table *user_typo_table=static_cast<Table *>(pool().tag());  }
         Table *typo_table=user_typo_table?user_typo_table:default_typo_table;  inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos& pos, size_t size) {
           while(size--) {
         const Chunk *chunk=&head;                   CORD_ec_append(result, CORD_pos_fetch(pos));
         do {                  CORD_next(pos);
                 const Chunk::Row *row=chunk->rows;          }
                 for(size_t i=0; i<chunk->count; i++, row++) {  }
                         if(row==append_here)  StringBody String::cstr_to_string_body(Language lang, 
                                 goto break2;                    SQL_Connection* connection,
                     const Request_charsets *charsets) const {
                         // WARNING:          CORD_ec result; CORD_ec_init(result);
                         //      string can grow only UNTAINT_TIMES_BIGGER          CORD_pos pos; body.set_pos(pos, 0);
                         switch(lang==UL_UNKNOWN?row->item.lang:lang) {  
                         case UL_CLEAN:          bool whitespace=true;
                                 // clean piece  
                         case UL_TAINTED:          size_t fragment_begin=0;
                                 // tainted piece, but undefined untaint language          size_t fragment_end;
                                 // for VString.as_double of tainted values          for(Array_iterator<Fragment> i(fragments); i.has_next(); fragment_begin=fragment_end) {
                                 // for ^process{body} evaluation                  const Fragment fragment=i.next();
                         case UL_AS_IS:                  size_t fragment_length=fragment.length;
                                 // tainted, untaint language: as-is                  fragment_end=fragment_begin+fragment_length;
                                 memcpy(dest, row->item.ptr, row->item.size);                   //fprintf(stderr, "%d, %d\n", fragment.lang, fragment.length);
                                 dest+=row->item.size;  
                                 break;                  Language to_lang=lang==L_UNSPECIFIED?fragment.lang:lang;
                         case UL_FILE_NAME:                  bool optimize=(to_lang & L_OPTIMIZE_BIT)!=0;
                                 // tainted, untaint language: file [name]                  if(!optimize)
                                 escape(switch(*src) {                          whitespace=false;
                                         case ' ': to_char('_');  break;  
                                         encode(need_file_encode, '-');                  switch(to_lang & ~L_OPTIMIZE_BIT) {
                                 });                  case L_CLEAN:
                                 break;                  case L_TAINTED:
                         case UL_URI:                  case L_AS_IS:
                                 // tainted, untaint language: uri                          // clean piece
                                 escape(switch(*src) {  
                                         case ' ': to_char('+');  break;                          // tainted piece, but undefined untaint language
                                         encode(need_uri_encode, '%');                          // for VString.as_double of tainted values
                                 });                          // for ^process{body} evaluation
                                 break;  
                         case UL_HEADER:                          // tainted, untaint language: as-is
                                 // tainted, untaint language: header                          ec_append(result, optimize, whitespace, pos, fragment_length);
                                 escape(switch(*src) {                          break;
                                         encode(need_header_encode, '%');                  case L_FILE_SPEC:
                                 });                          // tainted, untaint language: file [name]
                                 break;                          escape(
                         case UL_TABLE:                                   // Macintosh has problems with small Russian letter 'r'
                                 // tainted, untaint language: table                                  if( c=='\xF0' && charsets && charsets->source().name()=="windows-1251" ) {
                                 escape(switch(*src) {                                          // fixing that letter for most common charset
                                         case '\t': to_char(' ');  break;                                          to_char('p');
                                         case '\n': to_char(' ');  break;                                  } else // fallback to default
                                         _default;                                          encode(need_file_encode, '_', c); 
                                 });                          );
                                 break;                          break;
                         case UL_SQL:                  case L_URI:
                                 // tainted, untaint language: sql                          // tainted, untaint language: uri
                                 // TODO: зависимость от sql сервера                          {
                                 memcpy(dest, row->item.ptr, row->item.size);                                   const char *fragment_str=body.mid(fragment_begin, fragment_length).cstr();
                                 //memset(dest, '?', row->item.size);                                   // skip source [we use recoded version]
                                 dest+=row->item.size;                                  CORD_pos_advance(pos, fragment_length);
                                 break;                                  const void *client_ptr;
                         case UL_JS:                                  size_t client_size;
                                 escape(switch(*src) {                                  if(charsets) 
                                         case '"': to_string("\\\"", 2);  break;                                          Charset::transcode(
                                         case '\'': to_string("\\'", 2);  break;                                                  charsets->source(), fragment_str, fragment_length,
                                         case '\n': to_string("\\n", 2);  break;                                                  charsets->client(), client_ptr, client_size);
                                         case '\\': to_string("\\\\", 2);  break;                                  else {
                                         case '\xFF': to_string("\\\xFF", 2);  break;                                          client_ptr=fragment_str; 
                                         _default;                                          client_size=fragment_length;
                                 });  
                                 break;  
                         case UL_HTML:  
                                 escape(switch(*src) {  
                                         case '&': to_string("&amp;", 5);  break;  
                                         case '>': to_string("&gt;", 4);  break;  
                                         case '<': to_string("&lt;", 4);  break;  
                                         case '"': to_string("&quot;", 6);  break;  
                                         //TODO: XSLT case '\'': to_string("&apos;", 6);  break;  
                                         _default;  
                                 });  
                                 break;  
                         case UL_HTML_TYPO: {  
                                 // tainted, untaint language: html-typo  
                                 char *html_for_typo=(char *)malloc(size()*2/* '\n' -> '\' 'n' */+1);  
                                 // note:  
                                 //   there still is a possibility that user   
                                 //   would not replace \n as she supposed to  
                                 //   and rather replace \ and n into huge strings  
                                 //   thus causing memory overrun  
                                 //   this can be dealed by allocating *2 memory, but that's too expensive  
                                 size_t html_for_typo_size;  
                                 { // local dest  
                                         char *dest=html_for_typo;  
                                         escape(switch(*src) {  
                                                 // convinient name for typo match "\n"  
                                                 case '\r':   
                                                         if(typo_table) {  
                                                                 *dest++='\\';  *dest++='n'; // \r -> \n  
                                                                 if(src[1]=='\n') { // \r\n -> remove \n  
                                                                         size--; src++;  
                                                                 }  
                                                         }  
                                                         break;  
                                                 case '\n':   
                                                         if(typo_table)  
                                                                 to_string("\\n", 2);  
                                                         break;  
                                                 //TODO: XSLT case '\'': to_string("&apos;", 6);  break;  
                                                 _default;  
                                         });  
                                         *dest=0;  
                                         html_for_typo_size=dest-html_for_typo;  
                                 }                                  }
                                 // typo table replacements  
                                 const char *src=html_for_typo;                                  char c;
                                 do {                                  for(const char* src=(const char* )client_ptr; c=*src++; ) 
                                         // there is a row where first column starts 'src'                                          encode(need_uri_encode, '%', c);
                                         if(Table::Item *item=typo_table->first_that(typo_present, src)) {                          }
                                                 // get a=>b values                          break;
                                                 const String& a=*static_cast<Array *>(item)->get_string(0);                  case L_HTTP_HEADER:
                                                 const String& b=*static_cast<Array *>(item)->get_string(1);                          // tainted, untaint language: http-field-content-text
                                                 // empty 'a' | 'b' checks                          escape(
                                                 if(a.size()==0 || b.size()==0) {                                  encode(need_uri_encode, '%', c);
                                                         pool().set_tag(default_typo_table); // avoid recursion                          );
                                                         THROW(0, 0,                           break;
                                                                 typo_table->origin_string(),                   case L_MAIL_HEADER:
                                                                 "typo table column elements must not be empty");                          // tainted, untaint language: mail-header
                                                 }                          // http://www.ietf.org/rfc/rfc2047.txt
                                                 // overflow check:                          if(charsets) {
                                                 //   b allowed to be max UNTAINT_TIMES_BIGGER then a                                  size_t mail_size;
                                                 if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {                                  const char *mail_ptr=
                                                         pool().set_tag(default_typo_table); // avoid recursion                                          body.mid(fragment_begin, mail_size=fragment_length).cstr();
                                                         THROW(0, 0,                                   // skip source [we use recoded version]
                                                                 &b,                                   CORD_pos_advance(pos, mail_size);
                                                                 "is %g times longer then '%s', "  
                                                                 "while maximum, handled by Parser, is %d",                                   const char* charset_name=charsets->mail().name().cstr();
                                                                 ((double)b.size())/a.size(),   
                                                                 a.cstr(),                                   // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                                                 UNTAINT_TIMES_BIGGER);                                  bool to_quoted_printable=false;
   
                                   bool email=false;
                                   uchar c;
                                   for(const char* src=mail_ptr; c=(uchar)*src++; ) {
                                           //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                           if(to_quoted_printable && (c==',' || c=='<')) {
                                                   email=c=='<';
                                                   to_string("?=");
                                                   to_quoted_printable=false;
                                           }
                                           if(!email && (
                                                   !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                                                   || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
                                                   )) {
                                                   if(!to_quoted_printable) {
                                                           to_string("=?");
                                                           to_string(charset_name);
                                                           to_string("?Q?");
                                                           to_quoted_printable=true;
                                                 }                                                  }
                                                                                                   encode(mail_header_nonspace_char, '=', '_'); 
                                                 // skip 'a' in 'src'  
                                                 src+=a.size();  
                                                 // write 'b' to 'dest'  
                                                 b.store_to(dest);  
                                                 dest+=b.size();  
                                         } else                                          } else
                                                 *dest++=*src++;                                                  to_char(c);
                                 } while(*src);                                          if(c=='>')
                                 break;                                                  email=false;
                                 }                                  }
                         default:                                  if(to_quoted_printable) // close
                                 THROW(0, 0,                                           to_string("?=");
                                         this,                           
                                         "unknown untaint language #%d of %d piece",                           } else
                                                 static_cast<int>(row->item.lang),                                   ec_append(result, optimize, whitespace, pos, fragment_length);
                                                 i);                          break;
                         }                  case L_TABLE: 
                           // tainted, untaint language: table
                           escape(switch(c) {
                                   case '\t': to_char(' ');  break;
                                   case '\n': to_char(' ');  break;
                                   _default;
                           });
                           break;
   #ifdef PA_SQL
                   case L_SQL:
                           // tainted, untaint language: sql
                           if(connection) {
                                   const char *fragment_str=body.mid(fragment_begin, fragment_length).cstr();
                                   // skip source [we use recoded version]
                                   CORD_pos_advance(pos, fragment_length);
   
                                   to_string(connection->quote(fragment_str, fragment_length));
                           } else
                                   throw Exception(0,
                                           0,
                                           "untaint in SQL language failed - no connection specified");
                           break;
   #endif
                   case L_JS:
                           escape(switch(c) {
                                   case '"': to_string("\\\"");  break;
                                   case '\'': to_string("\\'");  break;
                                   case '\n': to_string("\\n");  break;
                                   case '\\': to_string("\\\\");  break;
                                   case '\xFF': to_string("\\\xFF");  break;
                                   _default;
                           });
                           break;
                   case L_XML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   case '\'': to_string("&apos;");  break;
                                   _default;
                           });
                           break;
                   case L_HTML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   _default;
                           });
                           break;
                   default:
                           throw Exception(0, 
                                   0, 
                                   "unknown untaint language #%d", 
                                           static_cast<int>(to_lang)); // should never
                           break; // never
                 }                  }
                 chunk=row->link;          }
         } while(chunk);  
 break2:          return StringBody(CORD_ec_to_cord(result));
         return dest;  
 }  }
Removed from v.1.33  
changed lines
  Added in v.1.115.2.12.2.18

E-mail: