[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.29 and 1.115.2.12.2.11

version 1.29, 2001/04/03 05:23:41 version 1.115.2.12.2.11, 2003/03/24 14:53:58
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001-2003 ArtLebedev Group (http://www.artlebedev.com)
           Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
         Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)  
   
         $Id$  
 */  */
   
 #include "pa_config_includes.h"  static const char* IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_pool.h"  
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
 #include "pa_table.h"  #include "pa_table.h"
   #include "pa_globals.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   #include "pa_charset.h"
   #include "pa_request_charsets.h"
   
   extern "C" { // author forgot to do that
   #include "ec.h"
   }
   
   //#define PA_SQL
   
   #ifdef PA_SQL
   #include "pa_sql_connection.h"
   #endif
   
 #define escape(action) \  #define escape(action) \
         { \          for(; fragment_length--; CORD_next(pos)) { \
                 const char *src=row->item.ptr; \                  char c=CORD_pos_fetch(pos); \
                 for(int size=row->item.size; size--; src++) \                  action \
                         action \  
         }          }
 #define _default  default: *dest++=*src; break  #define _default  default: CORD_ec_append(result, c); break
 #define encode(need_encode_func, prefix)  \  #define encode(need_encode_func, prefix)  \
                 default: \          if(need_encode_func(c)) { \
                         if(need_encode_func(*src)) { \                  static const char* hex="0123456789ABCDEF"; \
                                 static const char *hex="0123456789ABCDEF"; \                  CORD_ec_append(result, prefix); \
                                 char chunk[3]={prefix}; \                  CORD_ec_append(result, hex[((unsigned char)c)/0x10]); \
                                 chunk[1]=hex[((unsigned char)*src)/0x10]; \                  CORD_ec_append(result, hex[((unsigned char)c)%0x10]); \
                                 chunk[2]=hex[((unsigned char)*src)%0x10]; \          } else \
                                 strncpy(dest, chunk, 3);  dest+=3; \                  CORD_ec_append(result, c);
                         } else \  #define to_char(c)  CORD_ec_append(result, c)
                                 *dest++=*src; \  #define to_string(s)  CORD_ec_append_cord(result, s)
                         break  
 #define to_char(c)  *dest++=c  
 #define to_string(b, bsize)  \  
                 strncpy(dest, b, bsize); \  
                 dest+=bsize; \  
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))           // russian letters and space ENABLED
                 return false;          // encoding only these...
           return strchr(
     return !strchr("./", c);                            "*?'\"<>|"
   #ifndef WIN32
                             ":\\~"
   #endif
                             , c)!=0;
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
Line 51  inline bool need_uri_encode(unsigned cha Line 61  inline bool need_uri_encode(unsigned cha
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" , :", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
   //
   
   static const char*  String_Untaint_lang_name[]={
           "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
           "C", ///< clean
           "T",  ///< tainted, untaint language as assigned later 
           // untaint languages. assigned by ^untaint[lang]{...}
           "P",
                   /**<
                           leave language built into string being appended.
                           just a flag, that value not stored
                   */
           "A",     ///< leave all characters intact
           "F", ///< file specification
           "H",    ///< ext in HTTP response header
           "M",    ///< text in mail header
           "URI",       ///< text in uri
           "T",     ///< ^table:set body
           "SQL",       ///< ^table:sql body
           "JS",        ///< JavaScript code
           "XML",          ///< ^dom:set xml
           "HTML"      ///< HTML code (for editing)
   };
   
   
 // String  // String
   
 static bool typo_present(Array::Item *value, const void *info) {  /*
         Array *row=static_cast<Array *>(value);  
         const char *src=static_cast<const char *>(info);  HTTP-header    = field-name ":" [ field-value ] CRLF
   
         int partial;         field-name     = token
         row->get_string(0)->cmp(partial, src);         field-value    = *( field-content | LWS )
         return   
                 partial==0 || // full match         field-content  = <the OCTETs making up the field-value
                 partial==1; // typo left column starts 'src'                          and consisting of either *TEXT or combinations
 }                          of token, tspecials, and quoted-string>
   
 /// @test optimize whitespaces for all but 'html'  
 char *String::store_to(char *dest) const {  
         // $MAIN:html-typo table  word           = token | quoted-string
         Table *user_typo_table=static_cast<Table *>(pool().tag());  
         Table *typo_table=user_typo_table?user_typo_table:default_typo_table;  token          = 1*<any CHAR except CTLs or tspecials>
   
         const Chunk *chunk=&head;   
         do {  
                 const Chunk::Row *row=chunk->rows;  tspecials      = "(" | ")" | "<" | ">" | "@"
                 for(size_t i=0; i<chunk->count; i++, row++) {                        | "," | ";" | ":" | "\" | <">
                         if(row==append_here)                        | "/" | "[" | "]" | "?" | "="
                                 goto break2;                        | "{" | "}" | SP | HT
   
                         // WARNING:  SP             = <US-ASCII SP, space (32)>
                         //      string can grow only UNTAINT_TIMES_BIGGER  HT             = <US-ASCII HT, horizontal-tab (9)>
                         switch(row->item.lang) {  
                         case UL_CLEAN:  LWS            = [CRLF] 1*( SP | HT )
                                 // clean piece  TEXT           = <any OCTET except CTLs,
                         case UL_TAINTED:                          but including LWS>
                                 // tainted piece, but undefined untaint language  
                                 // for VString.as_double of tainted values  quoted-pair    = "\" CHAR
                                 // for ^process{body} evaluation  
                         case UL_AS_IS:    if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
                                 // tainted, untaint language: as-is  */
                                 memcpy(dest, row->item.ptr, row->item.size);   inline bool need_quote_http_header(const char* ptr, size_t size) {
                                 dest+=row->item.size;          for(; size--; ptr++)
                                 break;                  if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                         case UL_FILE_NAME:                          return true;
                                 // tainted, untaint language: file [name]          return false;
                                 escape(switch(*src) {  }
                                         case ' ': to_char('_');  break;  
                                         encode(need_file_encode, '-');  
                                 });  /** 
                                 break;          appends to other String,
                         case UL_URI:          marking all tainted pieces of it with @a lang.
                                 // tainted, untaint language: uri          or marking ALL pieces of it with a @a lang when @a forced to,
                                 escape(switch(*src) {          and propagating OPTIMIZE language bit.
                                         case ' ': to_char('+');  break;  */
                                         encode(need_uri_encode, '%');  String& String::append_to(String& dest, Language lang, bool forced) const {
                                 });          if(is_empty())
                                 break;                  return dest;
                         case UL_HEADER:  
                                 // tainted, untaint language: header          // first: letters
                                 escape(switch(*src) {          dest.body.append(body);
                                         encode(need_header_encode, '%');  
                                 });          // next: fragment infos
                                 break;          
                         case UL_TABLE:           if(lang==L_PASS_APPENDED) // without language-chage string?
                                 // tainted, untaint language: table                  dest.fragments.append(fragments);
                                 escape(switch(*src) {          else if(forced) //forcing passed lang?
                                         case '\t': to_char(' ');  break;                  dest.fragments+=Fragment(lang, length());
                                         case '\n': to_char(' ');  break;          else if(lang&L_OPTIMIZE_BIT) {
                                         _default;                  Array_iterator<ArrayFragment::element_type> i(fragments);
                                 });                  while(i.has_next()) {
                                 break;                          const Fragment& fragment=i.next();
                         case UL_SQL:                          // main idea here:
                                 // tainted, untaint language: sql                          // tainted piece would get OPTIMIZED bit from 'lang'
                                 // TODO: зависимость от sql сервера                          // clean piece would be marked OPTIMIZED manually
                                 memset(dest, '?', row->item.size);                           // pieces with determined languages [not tainted|clean] would retain theirs langs
                                 dest+=row->item.size;                          dest.fragments+=Fragment(static_cast<Language>(
                                 break;                                  fragment.lang==L_TAINTED?lang:(
                         case UL_JS:                                          fragment.lang==L_CLEAN?L_CLEAN|L_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                                 escape(switch(*src) {                                                  fragment.lang)),
                                         case '"': to_string("\\\"", 2);  break;                                  fragment.length);
                                         case '\'': to_string("\\'", 2);  break;                  }
                                         case '\n': to_string("\\n", 2);  break;          } else { // The core idea: tainted pieces got marked with context's lang
                                         case '\\': to_string("\\\\", 2);  break;                  Array_iterator<ArrayFragment::element_type> i(fragments);
                                         case '\xFF': to_string("\\\xFF", 2);  break;                  while(i.has_next()) {
                                         _default;                          const Fragment& fragment=i.next();
                                 });                          dest.fragments+=Fragment(
                                 break;                                  fragment.lang==L_TAINTED?lang:fragment.lang,
                         case UL_HTML:                                  fragment.length);
                                 escape(switch(*src) {                  }
                                         case '&': to_string("&amp;", 5);  break;          }
                                         case '>': to_string("&gt;", 4);  break;  
                                         case '<': to_string("&lt;", 4);  break;          return dest;
                                         case '"': to_string("&quot;", 6);  break;  }
                                         //TODO: XSLT case '\'': to_string("&apos;", 6);  break;  
                                         _default;  /** http://www.ietf.org/rfc/rfc2047.txt
                                 });  RFC
                                 break;  (3) As a replacement for a 'word' entity within a 'phrase', for example,
                         case UL_HTML_TYPO: {      one that precedes an address in a From, To, or Cc header.  The ABNF
                                 // tainted, untaint language: html-typo      definition for 'phrase' from RFC 822 thus becomes:
                                 char *html_for_typo=(char *)malloc(size()*2/* '\n' -> '\' 'n' */+1);  
                                 // note:      phrase = 1*( encoded-word / word )
                                 //   there still is a possibility that user   
                                 //   would not replace \n as she supposed to      In this case the set of characters that may be used in a "Q"-encoded
                                 //   and rather replace \ and n into huge strings      'encoded-word' is restricted to: <upper and lower case ASCII
                                 //   thus causing memory overrun      letters, decimal digits, "!", "*", "+", "-", "/", "=", and "_"
                                 //   this can be dealed by allocating *2 memory, but that's too expensive      (underscore, ASCII 95.)>.  An 'encoded-word' that appears within a
                                 // todo parser4: fix that      'phrase' MUST be separated from any adjacent 'word', 'text' or
                                 size_t html_for_typo_size;      'special' by 'linear-white-space'.
                                 { // local dest  ...
                                         char *dest=html_for_typo;     (2) The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) may be
                                         escape(switch(*src) {         represented as "_" (underscore, ASCII 95.).  (This character may
                                                 // convinient name for typo match "\n"         not pass through some internetwork mail gateways, but its use
                                                 case '\r':          will greatly enhance readability of "Q" encoded data with mail
                                                         if(typo_table) {         readers that do not support this encoding.)  Note that the "_"
                                                                 *dest++='\\';  *dest++='n'; // \r -> \n         always represents hexadecimal 20, even if the SPACE character
                                                                 if(src[1]=='\n') { // \r\n -> remove \n         occupies a different code position in the character set in use.
                                                                         size--; src++;  
                                                                 }          paf: obviously, 
                                                         }                  without "=", or one could not differ "=E0" and "russian letter a"
                                                         break;                  and without "_", or in would mean 0x20
                                                 case '\n':   */
                                                         if(typo_table)  inline bool mail_header_char_valid_within_Qencoded(char c) {
                                                                 to_string("\\n", 2);          return c>='A' && c<='Z'
                                                         break;                  || c>='a' && c<='Z'
                                                 //TODO: XSLT case '\'': to_string("&apos;", 6);  break;                  || c>='0' && c<='9'
                                                 _default;                  || strchr("!*+-/", c);
                                         });  }
                                         *dest=0;  inline void ec_append(CORD_ec& result, CORD_pos& pos, size_t size) {
                                         html_for_typo_size=dest-html_for_typo;          while(size--) {
                   CORD_ec_append(result, CORD_pos_fetch(pos));
                   CORD_next(pos);
           }
   }
   StringBody String::cstr_to_string_body(Language lang, 
                     SQL_Connection* connection,
                     const Request_charsets *charsets) const {
           CORD_ec result; CORD_ec_init(result);
           CORD_pos pos; body.set_pos(pos, 0);
   
           bool whitespace=true;
   
           size_t fragment_begin=0;
           size_t fragment_end;
           for(Array_iterator<Fragment> i(fragments); i.has_next(); fragment_begin=fragment_end) {
                   const Fragment& fragment=i.next();
                   size_t fragment_length=fragment.length;
                   fragment_end=fragment_begin+fragment_length;
   
                   Language to_lang=lang==L_UNSPECIFIED?fragment.lang:lang;
   
                   switch(to_lang & ~L_OPTIMIZE_BIT) {
                   case L_CLEAN:
                   case L_TAINTED:
                   case L_AS_IS:
                           // clean piece
   
                           // tainted piece, but undefined untaint language
                           // for VString.as_double of tainted values
                           // for ^process{body} evaluation
   
                           // tainted, untaint language: as-is
                           ec_append(result, pos, fragment_length);
                           break;
                   case L_FILE_SPEC:
                           // tainted, untaint language: file [name]
                           escape(
                                   // Macintosh has problems with small Russian letter 'r'
                                   if( c=='\xF0' && charsets && charsets->source().name()=="windows-1251" ) {
                                           // fixing that letter for most common charset
                                           to_char('p');
                                   } else // fallback to default
                                           encode(need_file_encode, '_'); 
                           );
                           break;
   #ifdef LATER
                   case L_URI:
                           // tainted, untaint language: uri
                           {
                                   const char *substr=
                                           CORD_to_const_char_star(
                                                   CORD_substr(body, fragment_begin, fragment_length));
                                   const void *client_ptr;
                                   size_t client_size;
                                   if(charsets) 
                                           Charset::transcode(
                                                   charsets->source(), substr, fragment_length,
                                                   charsets->client(), client_ptr, client_size);
                                   else {
                                           client_ptr=substr; 
                                           client_size=fragment_length;
                                 }                                  }
                                 // typo table replacements  
                                 const char *src=html_for_typo;                                  char c;
                                 do {                                  for(const char* src=(const char* )client_ptr; c=*src++; ) 
                                         // there is a row where first column starts 'src'                                          encode(need_uri_encode, '%');
                                         if(Table::Item *item=typo_table->first_that(typo_present, src)) {                          }
                                                 // get a=>b values                          break;
                                                 const String& a=*static_cast<Array *>(item)->get_string(0);  #endif
                                                 const String& b=*static_cast<Array *>(item)->get_string(1);                  case L_HTTP_HEADER:
                                                 // empty 'a' | 'b' checks                          // tainted, untaint language: http-field-content-text
                                                 if(a.size()==0 || b.size()==0) {                          escape(
                                                         pool().set_tag(default_typo_table); // avoid recursion                                  encode(need_uri_encode, '%');
                                                         THROW(0, 0,                           );
                                                                 typo_table->origin_string(),                           break;
                                                                 "typo table column elements must not be empty");  #ifdef LATER
                                                 }                  case L_MAIL_HEADER:
                                                 // overflow check:                          // tainted, untaint language: mail-header
                                                 //   b allowed to be max UNTAINT_TIMES_BIGGER then a                          // http://www.ietf.org/rfc/rfc2047.txt
                                                 if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {                          if(charsets) {
                                                         pool().set_tag(default_typo_table); // avoid recursion                                  const void *mail_ptr=fragment.ptr;
                                                         THROW(0, 0,                                   size_t mail_size=fragment_length;
                                                                 &b,                                   const char* charset_name=charsets->mail().name()->cstr();
                                                                 "is %g times longer then '%s', "  
                                                                 "while maximum, handled by Parser, is %d",                                   // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                                                 ((double)b.size())/a.size(),                                   const char* src=(const char* )mail_ptr;
                                                                 a.cstr(),                                   bool to_quoted_printable=false;
                                                                 UNTAINT_TIMES_BIGGER);  
                                   bool email=false;
                                   for(const char* end=src+mail_size; src<end; src++) {
                                           //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                           if(to_quoted_printable && (c==',' || c=='<')) {
                                                   email=c=='<';
                                                   dest+=sprintf(dest, "?=");
                                                   to_quoted_printable=false;
                                           }
                                           if(!email && (
                                                   !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                                                   || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
                                                   )) {
                                                   if(!to_quoted_printable) {
                                                           dest+=sprintf(dest, "=?%s?Q?", charset_name.get());
                                                           to_quoted_printable=true;
                                                 }                                                  }
                                                                                                   //RFC Upper case should be used for hexadecimal digits "A" through "F"
                                                 // skip 'a' in 'src'                                                  if(c == 0x20) // RFC The 8-bit hexadecimal value 20 (e.g., ISO-8859-1 SPACE) 
                                                 src+=a.size();                                                          *dest++='_'; // RFC may be represented as "_" 
                                                 // write 'b' to 'dest'                                                  else
                                                 b.store_to(dest);                                                          dest+=sprintf(dest, "=%02X", c & 0xFF);
                                                 dest+=b.size();  
                                         } else                                          } else
                                                 *dest++=*src++;                                                  *dest++=c;
                                 } while(*src);                                          if(c=='>')
                                 break;                                                  email=false;
                                 }                                  }
                         default:                                  if(to_quoted_printable) // close
                                 THROW(0, 0,                                           dest+=sprintf(dest, "?=");
                                         this,                           
                                         "unknown untaint language #%d of %d piece",                           } else {
                                                 static_cast<int>(row->item.lang),                                   memcpy(dest, fragment.ptr, fragment_length); 
                                                 i);                                  dest+=fragment_length;
                         }                          }
                           break;
   #endif
                   case L_TABLE: 
                           // tainted, untaint language: table
                           escape(switch(c) {
                                   case '\t': to_char(' ');  break;
                                   case '\n': to_char(' ');  break;
                                   _default;
                           });
                           break;
   #ifdef PA_SQL
                   case L_SQL:
                           // tainted, untaint language: sql
                           if(connection) {
                                   dest+=connection->quote(0, 
                                           CORD_substr(body, fragment_begin, fragment_length), 
                                           fragment_length);
   ...^^^
   
                                   dest+=connection->quote(dest, fragment.ptr, fragment_length);
                           else
                                   throw Exception(0,
                                           0,
                                           "untaint in SQL language failed - no connection specified");
                           break;
   #endif
                   case L_JS:
                           escape(switch(c) {
                                   case '"': to_string("\\\"");  break;
                                   case '\'': to_string("\\'");  break;
                                   case '\n': to_string("\\n");  break;
                                   case '\\': to_string("\\\\");  break;
                                   case '\xFF': to_string("\\\xFF");  break;
                                   _default;
                           });
                           break;
                   case L_XML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   case '\'': to_string("&apos;");  break;
                                   _default;
                           });
                           break;
                   case L_HTML:
                           escape(switch(c) {
                                   case '&': to_string("&amp;");  break;
                                   case '>': to_string("&gt;");  break;
                                   case '<': to_string("&lt;");  break;
                                   case '"': to_string("&quot;");  break;
                                   _default;
                           });
                           break;
                   default:
                           throw Exception(0, 
                                   0, 
                                   "unknown untaint language #%d", 
                                           static_cast<int>(to_lang)); // should never
                           break; // never
                 }                  }
                 chunk=row->link;  #ifdef LATER
         } while(chunk);                  if(to_lang & L_OPTIMIZE_BIT) { 
 break2:                          // optimizing whitespace
         return dest;                          char *stop=dest;  dest=start;
                           for(char c=start; src<stop; src++)
                                   switch(c) {
                                   // of all consequent white space chars leaving only first one
                                   case ' ': case '\r': case '\n': case '\t':
                                           if(!whitespace) {
                                                   *dest++=c;
                                                   whitespace=true;
                                           }
                                           break;
                                   default:
                                           whitespace=false;
                                           *dest++=c;
                                           break;
                                   };
                   } else // piece without optimization
                           whitespace=false;
   #endif
           }
   
           return StringBody(CORD_ec_to_cord(result));
 }  }
Removed from v.1.29  
changed lines
  Added in v.1.115.2.12.2.11

E-mail: