[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.10.2.1 and 1.115.2.12.2.6

version 1.10.2.1, 2001/03/20 17:21:54 version 1.115.2.12.2.6, 2003/03/20 14:19:10
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright (c) 2001 ArtLebedev Group (http://www.artlebedev.com)          Copyright(c) 2001-2003 ArtLebedev Group (http://www.artlebedev.com)
           Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
         Author: Alexander Petrosyan <paf@design.ru> (http://design.ru/paf)  
   
         $Id$  
 */  */
   
 #include <string.h>  static const char* IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_pool.h"  
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
   #include "pa_table.h"
   #include "pa_globals.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   #include "pa_charset.h"
   #include "pa_request_charsets.h"
   
   extern "C" { // author forgot to do that
   #include "ec.h"
   }
   
   //#define PA_SQL
   
 #define escape(cases) \  #ifdef PA_SQL
         { \  #include "pa_sql_connection.h"
                 const char *ptr=row->item.ptr; \  #endif
                 for (int size=row->item.size; size--; ptr++) \  
                         switch(*ptr) { \  #define escape(action) \
                                 cases \          for(; fragment_length--; CORD_next(pos)) { \
                         } \                  char c=CORD_pos_fetch(pos); \
                   action \
         }          }
 #define escape_value(a, c)  case a: *copy_here++=c; break  #define _default  default: CORD_ec_append(result, c); break
 #define escape_default  default: *copy_here++=*ptr; break  #define encode(need_encode_func, prefix)  \
 #define escape_subst(a, b, bsize)  \          if(need_encode_func(c)) { \
                 case a: \                  static const char* hex="0123456789ABCDEF"; \
                         strncpy(copy_here, b, bsize); \                  CORD_ec_append(result, prefix); \
                         copy_here+=bsize; \                  CORD_ec_append(result, hex[((unsigned char)c)/0x10]); \
                 break                  CORD_ec_append(result, hex[((unsigned char)c)%0x10]); \
 #define escape_encode(need_encode_func, prefix)  \          } else \
                 default: \                  CORD_ec_append(result, c);
                         if(need_encode_func(*ptr)) { \  #define to_char(c)  CORD_ec_append(result, c)
                                 static const char *hex="0123456789ABCDEF"; \  #define to_string(s)  CORD_ec_append_cord(result, s)
                                 char chunk[3]={prefix}; \  
                                 chunk[1]=hex[((unsigned char)*ptr)/0x10]; \  
                                 chunk[2]=hex[((unsigned char)*ptr)%0x10]; \  
                                 strncpy(copy_here, chunk, 3);  copy_here+=3; \  
                         } else \  
                                 *copy_here++=*ptr; \  
                         break  
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
     if ((c>='0') && (c<='9') || (c>='A') && (c<='Z') || (c>='a') && (c<='z'))           // russian letters and space ENABLED
                 return false;          // encoding only these...
           return strchr(
     return !strchr("./\\", c);                            "*?'\"<>|"
   #ifndef WIN32
                             ":\\~"
   #endif
                             , c)!=0;
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if ((c>='0') && (c<='9') || (c>='A') && (c<='Z') || (c>='a') && (c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
                 return false;                  return false;
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" ,:", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
   //
   
   static const char*  String_Untaint_lang_name[]={
           "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
           "C", ///< clean
           "T",  ///< tainted, untaint language as assigned later 
           // untaint languages. assigned by ^untaint[lang]{...}
           "P",
                   /**<
                           leave language built into string being appended.
                           just a flag, that value not stored
                   */
           "A",     ///< leave all characters intact
           "F", ///< file specification
           "H",    ///< ext in HTTP response header
           "M",    ///< text in mail header
           "URI",       ///< text in uri
           "T",     ///< ^table:set body
           "SQL",       ///< ^table:sql body
           "JS",        ///< JavaScript code
           "XML",          ///< ^dom:set xml
           "HTML"      ///< HTML code (for editing)
   };
   
   
 // String  // String
   
 /// @todo optimize whitespaces for all but 'html'  /*
 char *String::cstr() const {  
         char *result=(char *)malloc(size()*UNTAINT_TIMES_BIGGER+1);  HTTP-header    = field-name ":" [ field-value ] CRLF
   
         char *copy_here=result;         field-name     = token
         const Chunk *chunk=&head;          field-value    = *( field-content | LWS )
         do {  
                 const Chunk::Row *row=chunk->rows;         field-content  = <the OCTETs making up the field-value
                 for(int i=0; i<chunk->count; i++) {                          and consisting of either *TEXT or combinations
                         if(row==append_here)                          of token, tspecials, and quoted-string>
                                 goto break2;  
   
                         // WARNING:  
                         //      string can grow only UNTAINT_TIMES_BIGGER  word           = token | quoted-string
                         switch(row->item.lang) {  
                         case UL_NO:  token          = 1*<any CHAR except CTLs or tspecials>
                                 // clean piece  
                         case UL_YES:  
                                 // tainted piece, but undefined untaint language  
                                 // for VString.get_double of tainted values  tspecials      = "(" | ")" | "<" | ">" | "@"
                                 // for ^process{body} evaluation                        | "," | ";" | ":" | "\" | <">
                         case UL_AS_IS:                        | "/" | "[" | "]" | "?" | "="
                                 // tainted, untaint language: as-is                        | "{" | "}" | SP | HT
                                 memcpy(copy_here, row->item.ptr, row->item.size);   
                                 copy_here+=row->item.size;  SP             = <US-ASCII SP, space (32)>
                                 break;  HT             = <US-ASCII HT, horizontal-tab (9)>
                         case UL_FILE_NAME:  
                                 // tainted, untaint language: file [name]  LWS            = [CRLF] 1*( SP | HT )
                                 escape(  TEXT           = <any OCTET except CTLs,
                                         escape_value(' ', '_');                          but including LWS>
                                         escape_encode(need_file_encode, '-');  
                                 );  quoted-pair    = "\" CHAR
                                 break;  
                         case UL_URI:    if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                                 // tainted, untaint language: uri  */
                                 escape(  inline bool need_quote_http_header(const char* ptr, size_t size) {
                                         escape_value(' ', '+');          for(; size--; ptr++)
                                         escape_encode(need_uri_encode, '%');                  if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                                 );                          return true;
                                 break;          return false;
                         case UL_HEADER:  }
                                 // tainted, untaint language: header  
                                 escape(  
                                         escape_encode(need_header_encode, '%');  /** 
                                 );          appends to other String,
                                 break;          marking all tainted pieces of it with @a lang.
                         case UL_TABLE:           or marking ALL pieces of it with a @a lang when @a forced to,
                                 escape(          and propagating OPTIMIZE language bit.
                                         escape_value('\t', ' ');  */
                                         escape_value('\n', ' ');  String& String::append_to(String& dest, Untaint_lang lang, bool forced) const {
                                         escape_default;          if(!*this)
                                 );                  return dest;
                                 break;  
                         case UL_SQL:          // first: letters
                                 // tainted, untaint language: sql          dest.body=CORD_cat(dest.body, body);
                                 // TODO: зависимость от sql сервера  
                                 memset(copy_here, '?', row->item.size);           // next: fragment infos
                                 copy_here+=row->item.size;          
                                 break;          if(lang==UL_PASS_APPENDED) // without language-chage string?
                         case UL_JS:                  dest.fragments.append(fragments, 0, fragments.count());
                                 escape(          else if(forced) //forcing passed lang?
                                         escape_subst('"', "\\\"", 2);                  dest.fragments+=Fragment(lang, length());
                                         escape_subst('\'', "\\'", 2);          else if(lang&UL_OPTIMIZE_BIT) {
                                         escape_subst('\n', "\\n", 2);                  Array_iterator<ArrayFragment::element_type> i(fragments);
                                         escape_subst('\r', "\\r", 2);                  while(i.has_next()) {
                                         escape_subst('\\', "\\\\", 2);                          const Fragment& fragment=i.next();
                                         escape_subst('я', "\\я", 2);                          // main idea here:
                                         escape_default;                          // tainted piece would get OPTIMIZED bit from 'lang'
                                 );                          // clean piece would be marked OPTIMIZED manually
                                 break;                          // pieces with determined languages [not tainted|clean] would retain theirs langs
                         case UL_HTML:                          dest.fragments+=Fragment(static_cast<Untaint_lang>(
                                 escape(                                  fragment.lang==UL_TAINTED?lang:(
                                         escape_subst('&', "&amp;", 5); // BEFORE consequent relpaces yelding '&'                                          fragment.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                                         escape_subst('>', "&gt;", 4);                                                  fragment.lang)),
                                         escape_subst('<', "&lt;",4);                                  fragment.length);
                                         escape_subst('"', "&quot;",6);                  }
                                         escape_value('\t', ' ');          } else { // The core idea: tainted pieces got marked with context's lang
                                         //TODO: XSLT escape_subst('\'', "&apos;", 6)                  Array_iterator<ArrayFragment::element_type> i(fragments);
                                         escape_default;                  while(i.has_next()) {
                                 );                          const Fragment& fragment=i.next();
                                 break;                          dest.fragments+=Fragment(
                         case UL_HTML_TYPO:                                   fragment.lang==UL_TAINTED?lang:fragment.lang,
                                 // tainted, untaint language: html-typo                                  fragment.length);
                                 escape(                  }
                                         escape_subst('&', "&amp;", 5); // BEFORE consequent relpaces yelding '&'          }
                                         escape_subst('>', "&gt;", 4);  
                                         escape_subst('<', "&lt;",4);          return dest;
                                         escape_subst('"', "&quot;",6);  }
                                         escape_value('\t', ' ');  
                                         //TODO: $MAIN:html-type table replace, max length(b)==UNTAINT_TIMES_BIGGER*length(a)  /** http://www.ietf.org/rfc/rfc2047.txt
                                         escape_default;  RFC
                                 );  (3) As a replacement for a 'word' entity within a 'phrase', for example,
                                 break;      one that precedes an address in a From, To, or Cc header.  The ABNF
                         default:      definition for 'phrase' from RFC 822 thus becomes:
                                 THROW(0,0,  
                                         this,      phrase = 1*( encoded-word / word )
                                         "unknown untaint language #%d of %d piece",   
                                                 static_cast<int>(row->item.lang),      In this case the set of characters that may be used in a "Q"-encoded
                                                 i);      'encoded-word' is restricted to: <upper and lower case ASCII
       letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
       (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
       'phrase' MUST be separated from any adjacent 'word', 'text' or
       'special' by 'linear-white-space'.
   ...
      (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
          represented as "_" (underscore, ASCII 95.).  (This character may
          not pass through some internetwork mail gateways, but its use
          will greatly enhance readability of "Q" encoded data with mail
          readers that do not support this encoding.)  Note that the "_"
          always represents hexadecimal 20, even if the SPACE character
          occupies a different code position in the character set in use.
   
           paf: obviously, 
                   without "=", or one could not differ "=E0" and "russian letter a"
                   and without "_", or in would mean 0x20
   */
   inline bool mail_header_char_valid_within_Qencoded(char c) {
           return c>='A' && c<='Z'
                   || c>='a' && c<='Z'
                   || c>='0' && c<='9'
                   || strchr("!*+-/", c);
   }
   inline void ec_append(CORD_ec result, CORD_pos& pos, size_t size) {
           while(size--) {
                   CORD_ec_append(result, CORD_pos_fetch(pos));
                   CORD_next(pos);
           }
   }
   CORD String::cstr_to_cord(Untaint_lang lang, 
                     SQL_Connection *connection,
                     const Request_charsets *charsets) const {
           CORD_ec result; CORD_ec_init(result);
           CORD_pos pos; CORD_set_pos(pos, body, 0);
   
           bool whitespace=true;
   
           size_t fragment_start=0;
           size_t fragment_end;
           for(Array_iterator<Fragment> i(fragments); i.has_next(); fragment_start=fragment_end) {
                   const Fragment& fragment=i.next();
                   size_t fragment_length=fragment.length;
                   fragment_end=fragment_start+fragment_length;
   
                   Untaint_lang to_lang=lang==UL_UNSPECIFIED?fragment.lang:lang;
   
                   switch(to_lang & ~UL_OPTIMIZE_BIT) {
                   case UL_CLEAN:
                   case UL_TAINTED:
                   case UL_AS_IS:
                           // clean piece
   
                           // tainted piece, but undefined untaint language
                           // for VString.as_double of tainted values
                           // for ^process{body} evaluation
   
                           // tainted, untaint language: as-is
                           ec_append(result, pos, fragment_length);
                           break;
                   case UL_FILE_SPEC:
                           // tainted, untaint language: file [name]
                           escape(
                                   // Macintosh has problems with small Russian letter 'r'
                                   if( c=='\xF0' && charsets && charsets->source().name()=="windows-1251" ) {
                                           // fixing that letter for most common charset
                                           to_char('p');
                                   } else // fallback to default
                                           encode(need_file_encode, '_'); 
                           );
                           break;
   #ifdef LATER
                   case UL_URI:
                           // tainted, untaint language: uri
                           {
                                   const char *substr=
                                           CORD_to_const_char_star(
                                                   CORD_substr(body, fragment_start, fragment_length));
                                   const void *client_ptr;
                                   size_t client_size;
                                   if(charsets) 
                                           Charset::transcode(
                                                   charsets->source(), substr, fragment_length,
                                                   charsets->client(), client_ptr, client_size);
                                   else {
                                           client_ptr=substr; 
                                           client_size=fragment_length;
                                   }
   
                                   char c;
                                   for(const char* src=(const char* )client_ptr; c=*src++; ) 
                                           encode(need_uri_encode, '%');
                           }
                           break;
   #endif
                   case UL_HTTP_HEADER:
                           // tainted, untaint language: http-field-content-text
                           escape(
                                   encode(need_uri_encode, '%');
                           );
                           break;
   #ifdef LATER
                   case UL_MAIL_HEADER:
                           // tainted, untaint language: mail-header
                           // http://www.ietf.org/rfc/rfc2047.txt
                           if(charsets) {
                                   const void *mail_ptr=fragment.ptr;
                                   size_t mail_size=fragment_length;
                                   const char* charset_name=charsets->mail().name()->cstr();
   
                                   // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                   const char* src=(const char* )mail_ptr;
                                   bool to_quoted_printable=false;
   
                                   bool email=false;
                                   for(const char* end=src+mail_size; src<end; src++) {
                                           //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                           if(to_quoted_printable && (c==',' || c=='<')) {
                                                   email=c=='<';
                                                   dest+=sprintf(dest, "?=");
                                                   to_quoted_printable=false;
                                           }
                                           if(!email && (
                                                   !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                                                   || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
                                                   )) {
                                                   if(!to_quoted_printable) {
                                                           dest+=sprintf(dest, "=?%s?Q?", charset_name.get());
                                                           to_quoted_printable=true;
                                                   }
                                                   //RFC Upper case should be used for hexadecimal digits "A" through "F"
                                                   if(c == 0x20) // RFC The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
                                                           *dest++='_'; // RFC may be represented as "_" 
                                                   else
                                                           dest+=sprintf(dest, "=%02X", c & 0xFF);
                                           } else
                                                   *dest++=c;
                                           if(c=='>')
                                                   email=false;
                                   }
                                   if(to_quoted_printable) // close
                                           dest+=sprintf(dest, "?=");
                           
                           } else {
                                   memcpy(dest, fragment.ptr, fragment_length); 
                                   dest+=fragment_length;
                         }                          }
                         row++;                          break;
   #endif
                   case UL_TABLE: 
                           // tainted, untaint language: table
                           escape(switch(c) {
                                   case '\t': to_char(' ');  break;
                                   case '\n': to_char(' ');  break;
                                   _default;
                           });
                           break;
   #ifdef PA_SQL
                   case UL_SQL:
                           // tainted, untaint language: sql
                           if(connection) {
                                   dest+=connection->quote(0, 
                                           CORD_substr(body, fragment_start, fragment_length), 
                                           fragment_length);
   ...^^^
   
                                   dest+=connection->quote(dest, fragment.ptr, fragment_length);
                           else
                                   throw Exception(0,
                                           0,
                                           "untaint in SQL language failed - no connection specified");
                           break;
   #endif
                   case UL_JS:
                           escape(switch(c) {
                                   case '"': to_string("\\\"");  break;
                                   case '\'': to_string("\\'");  break;
                                   case '\n': to_string("\\n");  break;
                                   case '\\': to_string("\\\\");  break;
                                   case '\xFF': to_string("\\\xFF");  break;
                                   _default;
                           });
                           break;
                   case UL_XML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   case '\'': to_string("&apos;");  break;
                                   _default;
                           });
                           break;
                   case UL_HTML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   _default;
                           });
                           break;
                   default:
                           throw Exception(0, 
                                   0, 
                                   "unknown untaint language #%d", 
                                           static_cast<int>(to_lang)); // should never
                           break; // never
                 }                  }
                 chunk=row->link;  #ifdef LATER
         } while(chunk);                  if(to_lang & UL_OPTIMIZE_BIT) { 
 break2:                          // optimizing whitespace
         *copy_here=0;                          char *stop=dest;  dest=start;
         return result;                          for(char c=start; src<stop; src++)
                                   switch(c) {
                                   // of all consequent white space chars leaving only first one
                                   case ' ': case '\r': case '\n': case '\t':
                                           if(!whitespace) {
                                                   *dest++=c;
                                                   whitespace=true;
                                           }
                                           break;
                                   default:
                                           whitespace=false;
                                           *dest++=c;
                                           break;
                                   };
                   } else // piece without optimization
                           whitespace=false;
   #endif
           }
   
           return CORD_ec_to_cord(result);
 }  }
Removed from v.1.10.2.1  
changed lines
  Added in v.1.115.2.12.2.6

E-mail: