[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.118.2.2 and 1.141

version 1.118.2.2, 2003/09/23 10:37:05 version 1.141, 2008/07/16 17:06:44
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001-2003 ArtLebedev Group (http://www.artlebedev.com)          Copyright(c) 2001-2005 ArtLebedev Group (http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
 */  */
   
 static const char* IDENT_UNTAINT_C="$Date$";  static const char * const IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_string.h"  #include "pa_string.h"
Line 23  extern "C" { // author forgot to do that Line 23  extern "C" { // author forgot to do that
 #include "ec.h"  #include "ec.h"
 }  }
   
 #define PA_SQL  
   
 #ifdef PA_SQL  
 #include "pa_sql_connection.h"  #include "pa_sql_connection.h"
 #endif  
   
 // defines  // defines
   
   
 #undef CORD_ec_append  #undef CORD_ec_append
 // redefining to intercept flushes and implement whitespace optimization  // redefining to intercept flushes and implement whitespace optimization
 // of all consequent white space chars leaving only first one  // of all consequent white space chars leaving only first one
Line 39  extern "C" { // author forgot to do that Line 34  extern "C" { // author forgot to do that
     {  \      {  \
         bool skip=false; \          bool skip=false; \
         if(optimize) switch(c) { \          if(optimize) switch(c) { \
         case ' ': case '\r': case '\n': case '\t': \          case ' ': case '\n': case '\t': \
                 if(whitespace) \                  if(whitespace) \
                         skip=true; /*skipping subsequent*/ \                          skip=true; /*skipping subsequent*/ \
                 else \                  else \
Line 58  extern "C" { // author forgot to do that Line 53  extern "C" { // author forgot to do that
     }      }
   
   
 #define escape(action) \  #define escape_fragment(action) \
         for(; fragment_length--; CORD_next(info->pos)) { \          for(; fragment_length--; CORD_next(info->pos)) { \
                 char c=CORD_pos_fetch(info->pos); \                  char c=CORD_pos_fetch(info->pos); \
                 action \                  action \
         }          }
 #define _default  default: CORD_ec_append(info->result, c); break  #define _default CORD_ec_append(info->result, c)
 #define encode(need_encode_func, prefix, otherwise)  \  #define encode(need_encode_func, prefix, otherwise)  \
         if(need_encode_func(c)) { \          if(need_encode_func(c)) { \
                 static const char* hex="0123456789ABCDEF"; \                  static const char* hex="0123456789ABCDEF"; \
Line 72  extern "C" { // author forgot to do that Line 67  extern "C" { // author forgot to do that
                 CORD_ec_append(info->result, hex[((unsigned char)c)%0x10]); \                  CORD_ec_append(info->result, hex[((unsigned char)c)%0x10]); \
         } else \          } else \
                 CORD_ec_append(info->result, otherwise);                  CORD_ec_append(info->result, otherwise);
 #define to_char(c)  CORD_ec_append(info->result, c)  #define to_char(c)  { CORD_ec_append(info->result, c); whitespace=false; }
 #define to_string(s)  CORD_ec_append_cord(info->result, s)  #define to_string(s)  { CORD_ec_append_cord(info->result, s); whitespace=false; }
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
         // russian letters and space ENABLED          // russian letters and space ENABLED
Line 97  inline bool need_http_header_encode(unsi Line 92  inline bool need_http_header_encode(unsi
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   inline bool need_regex_escape(unsigned char c){
 //          return strchr("\\^$.[]|()?*+{}", c)!=0;
   }
 static const char*  String_Untaint_lang_name[]={  
         "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum  
         "C", ///< clean  
         "T",  ///< tainted, untaint language as assigned later   
         // untaint languages. assigned by ^untaint[lang]{...}  
         "P",  
                 /**<  
                         leave language built into string being appended.  
                         just a flag, that value not stored  
                 */  
         "A",     ///< leave all characters intact  
         "F", ///< file specification  
         "H",    ///< ext in HTTP response header  
         "M",    ///< text in mail header  
         "URI",       ///< text in uri  
         "T",     ///< ^table:set body  
         "SQL",       ///< ^table:sql body  
         "JS",        ///< JavaScript code  
         "XML",          ///< ^dom:set xml  
         "HTML"      ///< HTML code (for editing)  
 };  
   
   
 // String  // String
   
 /*  /*
   
 HTTP-header    = field-name ":" [ field-value ] CRLF  HTTP-header    = field-name ":" [ field-value ] CRLF
   
        field-name     = token         field-name     = token
Line 170  inline bool need_quote_http_header(const Line 142  inline bool need_quote_http_header(const
 #ifndef DOXYGEN  #ifndef DOXYGEN
 struct Append_fragment_info {  struct Append_fragment_info {
         String::Language lang;          String::Language lang;
         const StringBody dest_body;  
         String::Languages* dest_languages;          String::Languages* dest_languages;
           size_t dest_body_plan_length;
 };  };
 #endif  #endif
 int append_fragment_optimizing(char alang, size_t asize, Append_fragment_info* info) {  int append_fragment_optimizing(char alang, size_t asize, Append_fragment_info* info) {
         const String::Language lang=(String::Language)alang;          const String::Language lang=(String::Language)(unsigned char)alang;
         // main idea here:          // main idea here:
         // tainted piece would get OPTIMIZED bit from 'lang'          // tainted piece would get OPTIMIZED bit from 'lang'
         // clean piece would be marked OPTIMIZED manually          // clean piece would be marked OPTIMIZED manually
         // pieces with determined languages [not tainted|clean] would retain theirs langs          // pieces with determined languages [not tainted|clean] would retain theirs langs
         info->dest_languages->append(info->dest_body,           info->dest_languages->append(info->dest_body_plan_length, 
                 lang==String::Language::L_TAINTED?                  lang==String::L_TAINTED?
                         info->lang                          info->lang
                         :lang==String::Language::L_CLEAN?                          :lang==String::L_CLEAN?
                                 (String::Language)(String::Language::L_CLEAN|String::Language::L_OPTIMIZE_BIT) // ORing with OPTIMIZED flag                                  (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT) // ORing with OPTIMIZED flag
                                 :lang,                                  :lang,
                 asize);                  asize);
           info->dest_body_plan_length+=asize;
   
         return 0; // 0=continue          return 0; // 0=continue
 }  }
 int append_fragment_nonoptimizing(char alang, size_t asize, Append_fragment_info* info) {  int append_fragment_nonoptimizing(char alang, size_t asize, Append_fragment_info* info) {
         const String::Language lang=(String::Language)alang;          const String::Language lang=(String::Language)(unsigned char)alang;
         // The core idea: tainted pieces got marked with context's lang          // The core idea: tainted pieces got marked with context's lang
         info->dest_languages->append(info->dest_body,           info->dest_languages->append(info->dest_body_plan_length, 
                 lang==String::Language::L_TAINTED?                  lang==String::L_TAINTED?
                         info->lang                          info->lang
                         :lang,                          :lang,
                 asize);                  asize);
           info->dest_body_plan_length+=asize;
   
         return 0; // 0=continue          return 0; // 0=continue
 }  }
Line 215  String& String::append_to(String& dest, Line 189  String& String::append_to(String& dest,
         // first: fragment infos          // first: fragment infos
                   
         if(lang==L_PASS_APPENDED) // without language-change?          if(lang==L_PASS_APPENDED) // without language-change?
                 dest.langs.append(dest.body, body, langs);                  dest.langs.append(dest.body, body.length(), langs);
         else if(forced) //forcing passed lang?          else if(forced) //forcing passed lang?
                 dest.langs.append(dest.body, lang, length());                  dest.langs.append(dest.body, lang, length());
         else {           else { 
                 Append_fragment_info info={lang, dest.body, &dest.langs};                  Append_fragment_info info={lang, &dest.langs, dest.body.length()};
             langs.for_each(body, lang&L_OPTIMIZE_BIT?              langs.for_each(body, lang&L_OPTIMIZE_BIT?
                         append_fragment_optimizing                          append_fragment_optimizing
                         :append_fragment_nonoptimizing, &info);                          :append_fragment_nonoptimizing, &info);
Line 228  String& String::append_to(String& dest, Line 202  String& String::append_to(String& dest,
         // next: letters          // next: letters
         dest.body<<body;          dest.body<<body;
   
           ASSERT_STRING_INVARIANT(dest);
         return dest;          return dest;
 }  }
   
Line 265  inline bool mail_header_char_valid_withi Line 240  inline bool mail_header_char_valid_withi
                 || strchr("!*+-/", c);                  || strchr("!*+-/", c);
 }  }
 inline bool addr_spec_soon(const char *src) {  inline bool addr_spec_soon(const char *src) {
         for(char c; c=*src; src++)          for(char c; (c=*src); src++)
                 if(c=='<')                  if(c=='<')
                         return true;                          return true;
                 else if(!(c==' ' || c=='\t'))                  else if(!(c==' ' || c=='\t'))
Line 281  inline bool addr_spec_soon(const char *s Line 256  inline bool addr_spec_soon(const char *s
 inline bool mail_header_nonspace_char(char c) {  inline bool mail_header_nonspace_char(char c) {
         return c != 0x20;          return c != 0x20;
 }  }
   
 inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {  inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {
         while(size--) {          while(size--) {
                 CORD_ec_append(result, CORD_pos_fetch(pos));                  CORD_ec_append(result, CORD_pos_fetch(pos));
Line 289  inline void ec_append(CORD_ec& result, b Line 265  inline void ec_append(CORD_ec& result, b
 }  }
 inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {  inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {
         while(true) {          while(true) {
                 size_t avail=CORD_pos_chars_left(pos);                  long avail=CORD_pos_chars_left(pos);
                 if(avail==0) {                  if(avail<=0) {
                         CORD_next(pos);                          CORD_next(pos);
                         if(!--n)                          if(!--n)
                                 break;                                  break;
                 } else if(avail<n) {                  } else if((size_t)avail<n) {
                         CORD_pos_advance(pos, avail);                          CORD_pos_advance(pos, avail);
                         n-=avail;                          n-=avail;
                 } else { // avail>=n                  } else { // avail>=n
Line 310  struct Cstr_to_string_body_block_info { Line 286  struct Cstr_to_string_body_block_info {
         String::Language lang;          String::Language lang;
         SQL_Connection* connection;          SQL_Connection* connection;
         const Request_charsets* charsets;          const Request_charsets* charsets;
         const StringBody* body;          const String::Body* body;
   
         // output          // output
         CORD_ec result;          CORD_ec result;
Line 319  struct Cstr_to_string_body_block_info { Line 295  struct Cstr_to_string_body_block_info {
         CORD_pos pos;          CORD_pos pos;
         size_t fragment_begin;          size_t fragment_begin;
         bool whitespace;          bool whitespace;
           const char* exception;
 };  };
 #endif  #endif
 int cstr_to_string_body_block(char alang, size_t fragment_length, Cstr_to_string_body_block_info* info) {  int cstr_to_string_body_block(char alang, size_t fragment_length, Cstr_to_string_body_block_info* info) {
         const String::Language fragment_lang=(String::Language)alang;          const String::Language fragment_lang=(String::Language)(unsigned char)alang;
         bool& whitespace=info->whitespace;          bool& whitespace=info->whitespace;
         size_t fragment_end=info->fragment_begin+fragment_length;          size_t fragment_end=info->fragment_begin+fragment_length;
         //fprintf(stderr, "%d, %d\n", fragment.lang, fragment.length);          //fprintf(stderr, "%d, %d =%s=\n", fragment_lang, fragment_length, info->body->cstr());
   
                   
         String::Language to_lang=info->lang==String::Language::L_UNSPECIFIED?fragment_lang:info->lang;          String::Language to_lang=info->lang==String::L_UNSPECIFIED?fragment_lang:info->lang;
         bool optimize=(to_lang & String::Language::L_OPTIMIZE_BIT)!=0;          bool optimize=(to_lang & String::L_OPTIMIZE_BIT)!=0;
         if(!optimize)          if(!optimize)
                 whitespace=false;                  whitespace=false;
                                   
         switch(to_lang & ~String::Language::L_OPTIMIZE_BIT) {          switch(to_lang & ~String::L_OPTIMIZE_BIT) {
         case String::Language::L_CLEAN:          case String::L_CLEAN:
         case String::Language::L_TAINTED:          case String::L_TAINTED:
         case String::Language::L_AS_IS:          case String::L_AS_IS:
                 // clean piece                  // clean piece
   
                 // tainted piece, but undefined untaint language                  // tainted piece, but undefined untaint language
Line 346  int cstr_to_string_body_block(char alang Line 322  int cstr_to_string_body_block(char alang
                 // tainted, untaint language: as-is                  // tainted, untaint language: as-is
                 ec_append(info->result, optimize, whitespace, info->pos, fragment_length);                  ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                 break;                  break;
         case String::Language::L_FILE_SPEC:          case String::L_FILE_SPEC:
                 // tainted, untaint language: file [name]                  // tainted, untaint language: file [name]
                 escape(                  {
                         // Macintosh has problems with small Russian letter 'r'                          bool is1251=(info->charsets && info->charsets->source().NAME()=="WINDOWS-1251");
                         if( c=='\xF0' && info->charsets && info->charsets->source().NAME()=="WINDOWS-1251" ) {                          escape_fragment(
                                 // fixing that letter for most common charset                                  // Macintosh has problems with small Russian letter 'r'
                                 to_char('p');                                  if( is1251 && c=='\xF0' ) {
                         } else // fallback to default                                          // fixing that letter for most common charset
                                 encode(need_file_encode, '_', c);                                           to_char('p');
                 );                                  } else // fallback to default
                                           encode(need_file_encode, '_', c); 
                           );
                   }
                 break;                  break;
         case String::Language::L_URI:          case String::L_URI:
                 // tainted, untaint language: uri                  // tainted, untaint language: uri
                 {                  {
                         const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();                          const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
Line 370  int cstr_to_string_body_block(char alang Line 349  int cstr_to_string_body_block(char alang
                                         info->charsets->client());                                          info->charsets->client());
   
                         char c;                          char c;
                         for(const char* src=output.str; c=*src++; )                           for(const char* src=output.str; (c=*src++); ) 
                                 encode(need_uri_encode, '%', c);                                  encode(need_uri_encode, '%', c);
                 }                  }
                 break;                  break;
         case String::Language::L_HTTP_HEADER:          case String::L_HTTP_HEADER:
                 // tainted, untaint language: http-field-content-text                  // tainted, untaint language: http-field-content-text
                 escape(                  // the same as L_URI BUT not transcoded into $response:charset before encoding
                   escape_fragment(
                         encode(need_uri_encode, '%', c);                          encode(need_uri_encode, '%', c);
                 );                  );
                 break;                  break;
         case String::Language::L_MAIL_HEADER:          case String::L_MAIL_HEADER:
                 // tainted, untaint language: mail-header                  // tainted, untaint language: mail-header
                 // http://www.ietf.org/rfc/rfc2047.txt                  // http://www.ietf.org/rfc/rfc2047.txt
                 if(info->charsets) {                  if(info->charsets) {
Line 397  int cstr_to_string_body_block(char alang Line 377  int cstr_to_string_body_block(char alang
   
                         bool email=false;                          bool email=false;
                         uchar c;                          uchar c;
                         for(const char* src=mail_ptr; c=(uchar)*src++; ) {                          for(const char* src=mail_ptr; (c=(uchar)*src++); ) {
                                 //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.                                  if(c=='\r' || c=='\n')
                                 if(to_quoted_printable && (c==',' || addr_spec_soon(src) || c == '"')) {                                          c=' ';
                                   if(to_quoted_printable && (c==',' || c == '"' || addr_spec_soon(src-1/*position to 'c'*/))) {
                                         email=c=='<';                                          email=c=='<';
                                         to_string("?=");                                          to_string("?=");
                                         to_quoted_printable=false;                                          to_quoted_printable=false;
                                 }                                  }
                                   //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                 if(!email && (                                  if(!email && (
                                         !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char                                          !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                                         || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)                                          || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
Line 426  int cstr_to_string_body_block(char alang Line 408  int cstr_to_string_body_block(char alang
                 } else                  } else
                         ec_append(info->result, optimize, whitespace, info->pos, fragment_length);                          ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                 break;                  break;
         case String::Language::L_TABLE:           case String::L_SQL:
                 // tainted, untaint language: table  
                 escape(switch(c) {  
                         case '\t': to_char(' ');  break;  
                         case '\n': to_char(' ');  break;  
                         _default;  
                 });  
                 break;  
 #ifdef PA_SQL  
         case String::Language::L_SQL:  
                 // tainted, untaint language: sql                  // tainted, untaint language: sql
                 if(info->connection) {                  if(info->connection) {
                         const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();                          const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
Line 443  int cstr_to_string_body_block(char alang Line 416  int cstr_to_string_body_block(char alang
                         pa_CORD_pos_advance(info->pos, fragment_length);                          pa_CORD_pos_advance(info->pos, fragment_length);
   
                         to_string(info->connection->quote(fragment_str, fragment_length));                          to_string(info->connection->quote(fragment_str, fragment_length));
                 } else                  } else {
                         throw Exception(0,                          info->exception="untaint in SQL language failed - no connection specified";
                                 0,                          info->fragment_begin=fragment_end;
                                 "untaint in SQL language failed - no connection specified");                          return 1; // stop processing. can't throw exception here
                   }
                 break;                  break;
 #endif          case String::L_JS:
         case String::Language::L_JS:                  escape_fragment(switch(c) {
                 escape(switch(c) {                          case '\n': to_string("\\n");  break;
                         case '"': to_string("\\\"");  break;                          case '"': to_string("\\\"");  break;
                         case '\'': to_string("\\'");  break;                          case '\'': to_string("\\'");  break;
                         case '\n': to_string("\\n");  break;  
                         case '\\': to_string("\\\\");  break;                          case '\\': to_string("\\\\");  break;
                         case '\xFF': to_string("\\\xFF");  break;                          case '\xFF': to_string("\\\xFF");  break;
                         _default;                          default: _default; break;
                 });                  });
                 break;                  break;
         case String::Language::L_XML:          case String::L_XML:
                 escape(switch(c) {                  // [2]    Char    ::=    #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] 
                   escape_fragment(switch(c) {
                           case '\x20':
                           case '\x9':
                           case '\xA':
                           case '\xD': // this is usually removed on input
                                   _default; 
                                   break;
                         case '&': to_string("&amp;");  break;                          case '&': to_string("&amp;");  break;
                         case '>': to_string("&gt;");  break;                          case '>': to_string("&gt;");  break;
                         case '<': to_string("&lt;");  break;                          case '<': to_string("&lt;");  break;
                         case '"': to_string("&quot;");  break;                          case '"': to_string("&quot;");  break;
                         case '\'': to_string("&apos;");  break;                          case '\'': to_string("&apos;");  break;
                         _default;                          default: 
                                   if(((unsigned char)c)<0x20) {
                                           // fixing it, so that libxml would not result
                                           // in fatal error parsing text
                                           // though it really violates standard.
                                           // to indicate there were an error
                                           // replace bad char not to it's code, 
                                           // which we can do,
                                           // but rather to '!' to show that input were actually
                                           // invalid.
                                           // life: shows that MSIE can somehow garble form values
                                           // so that they contain these chars.
                                           to_char('!'); 
                                   } else {
                                           _default; 
                                   }
                                   break;
                 });                  });
                 break;                  break;
         case String::Language::L_HTML:          case String::L_HTML:
                 escape(switch(c) {                  escape_fragment(switch(c) {
                         case '&': to_string("&amp;");  break;                          case '&': to_string("&amp;");  break;
                         case '>': to_string("&gt;");  break;                          case '>': to_string("&gt;");  break;
                         case '<': to_string("&lt;");  break;                          case '<': to_string("&lt;");  break;
                         case '"': to_string("&quot;");  break;                          case '"': to_string("&quot;");  break;
                         _default;                          default: _default; break;
                 });                  });
                 break;                  break;
           case String::L_REGEX:
                   // tainted, untaint language: regex
                   escape_fragment(
                           if(need_regex_escape(c))
                                   to_char('\\')
                           _default;
                   );
                   break;
           case String::L_HTTP_COOKIE:
                   // tainted, untaint language: cookie (3.3.0 and higher: %uXXXX in UTF-8)
                   {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
                           String::C output(fragment_str, fragment_length);
                           
                           output=Charset::escape(output, info->charsets->source());
                           //throw Exception(0, 0, output);
                           to_string(output);
   
                   }
                   break;
         default:          default:
                 SAPI::die("unknown untaint language #%d",                   SAPI::abort("unknown untaint language #%d", 
                         static_cast<int>(to_lang)); // should never                          static_cast<int>(to_lang)); // should never
                 break; // never                  break; // never
         }          }
Line 490  int cstr_to_string_body_block(char alang Line 508  int cstr_to_string_body_block(char alang
 }  }
   
   
 StringBody String::cstr_to_string_body(Language lang,   String::Body String::cstr_to_string_body(Language lang, 
                   SQL_Connection* connection,                    SQL_Connection* connection,
                   const Request_charsets *charsets) const {                    const Request_charsets *charsets) const {
           if(is_empty())
                   return String::Body();
   
         Cstr_to_string_body_block_info info;          Cstr_to_string_body_block_info info;
         // input          // input
Line 505  StringBody String::cstr_to_string_body(L Line 525  StringBody String::cstr_to_string_body(L
         // private          // private
         body.set_pos(info.pos, 0);          body.set_pos(info.pos, 0);
         info.fragment_begin=0;          info.fragment_begin=0;
           info.exception=0;
         info.whitespace=true;          info.whitespace=true;
           
         langs.for_each(body, cstr_to_string_body_block, &info);          langs.for_each(body, cstr_to_string_body_block, &info);
           if(info.exception){
                   throw Exception(0,
                           0,
                           info.exception);
           }
   
         return StringBody(CORD_ec_to_cord(info.result));          return String::Body(CORD_ec_to_cord(info.result));
 }  }
Removed from v.1.118.2.2  
changed lines
  Added in v.1.141

E-mail: