[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.117.2.1 and 1.127

version 1.117.2.1, 2003/08/15 11:40:45 version 1.127, 2004/02/06 09:25:22
Line 5 Line 5
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
 */  */
   
 static const char* IDENT_UNTAINT_C="$Date$";  static const char * const IDENT_UNTAINT_C="$Date$";
   
   
 #include "pa_string.h"  #include "pa_string.h"
Line 59  extern "C" { // author forgot to do that Line 59  extern "C" { // author forgot to do that
   
   
 #define escape(action) \  #define escape(action) \
         for(; fragment_length--; CORD_next(pos)) { \          for(; fragment_length--; CORD_next(info->pos)) { \
                 char c=CORD_pos_fetch(pos); \                  char c=CORD_pos_fetch(info->pos); \
                 action \                  action \
         }          }
 #define _default  default: CORD_ec_append(result, c); break  #define _default  default: CORD_ec_append(info->result, c); break
 #define encode(need_encode_func, prefix, otherwise)  \  #define encode(need_encode_func, prefix, otherwise)  \
         if(need_encode_func(c)) { \          if(need_encode_func(c)) { \
                 static const char* hex="0123456789ABCDEF"; \                  static const char* hex="0123456789ABCDEF"; \
                 CORD_ec_append(result, prefix); \                  CORD_ec_append(info->result, prefix); \
                 CORD_ec_append(result, hex[((unsigned char)c)/0x10]); \                  CORD_ec_append(info->result, hex[((unsigned char)c)/0x10]); \
                 CORD_ec_append(result, hex[((unsigned char)c)%0x10]); \                  CORD_ec_append(info->result, hex[((unsigned char)c)%0x10]); \
         } else \          } else \
                 CORD_ec_append(result, otherwise);                  CORD_ec_append(info->result, otherwise);
 #define to_char(c)  CORD_ec_append(result, c)  #define to_char(c)  { CORD_ec_append(info->result, c); whitespace=false; }
 #define to_string(s)  CORD_ec_append_cord(result, s)  #define to_string(s)  { CORD_ec_append_cord(info->result, s); whitespace=false; }
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
         // russian letters and space ENABLED          // russian letters and space ENABLED
Line 98  inline bool need_http_header_encode(unsi Line 98  inline bool need_http_header_encode(unsi
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
 //  
   
 static const char*  String_Untaint_lang_name[]={  
         "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum  
         "C", ///< clean  
         "T",  ///< tainted, untaint language as assigned later   
         // untaint languages. assigned by ^untaint[lang]{...}  
         "P",  
                 /**<  
                         leave language built into string being appended.  
                         just a flag, that value not stored  
                 */  
         "A",     ///< leave all characters intact  
         "F", ///< file specification  
         "H",    ///< ext in HTTP response header  
         "M",    ///< text in mail header  
         "URI",       ///< text in uri  
         "T",     ///< ^table:set body  
         "SQL",       ///< ^table:sql body  
         "JS",        ///< JavaScript code  
         "XML",          ///< ^dom:set xml  
         "HTML"      ///< HTML code (for editing)  
 };  
   
   
 // String  // String
   
 /*  /*
   
 HTTP-header    = field-name ":" [ field-value ] CRLF  HTTP-header    = field-name ":" [ field-value ] CRLF
   
        field-name     = token         field-name     = token
Line 167  inline bool need_quote_http_header(const Line 141  inline bool need_quote_http_header(const
         return false;          return false;
 }  }
   
   #ifndef DOXYGEN
   struct Append_fragment_info {
           String::Language lang;
           String::Languages* dest_languages;
           size_t dest_body_plan_length;
   };
   #endif
   int append_fragment_optimizing(char alang, size_t asize, Append_fragment_info* info) {
           const String::Language lang=(String::Language)(unsigned char)alang;
           // main idea here:
           // tainted piece would get OPTIMIZED bit from 'lang'
           // clean piece would be marked OPTIMIZED manually
           // pieces with determined languages [not tainted|clean] would retain theirs langs
           info->dest_languages->append(info->dest_body_plan_length, 
                   lang==String::L_TAINTED?
                           info->lang
                           :lang==String::L_CLEAN?
                                   (String::Language)(String::L_CLEAN|String::L_OPTIMIZE_BIT) // ORing with OPTIMIZED flag
                                   :lang,
                   asize);
           info->dest_body_plan_length+=asize;
   
           return 0; // 0=continue
   }
   int append_fragment_nonoptimizing(char alang, size_t asize, Append_fragment_info* info) {
           const String::Language lang=(String::Language)(unsigned char)alang;
           // The core idea: tainted pieces got marked with context's lang
           info->dest_languages->append(info->dest_body_plan_length, 
                   lang==String::L_TAINTED?
                           info->lang
                           :lang,
                   asize);
           info->dest_body_plan_length+=asize;
   
           return 0; // 0=continue
   }
   
 /**   /** 
         appends to other String,          appends to other String,
Line 178  String& String::append_to(String& dest, Line 188  String& String::append_to(String& dest,
         if(is_empty())          if(is_empty())
                 return dest;                  return dest;
   
         // first: letters          // first: fragment infos
         dest.body<<body;  
   
         // next: fragment infos  
                   
         if(lang==L_PASS_APPENDED) // without language-change?          if(lang==L_PASS_APPENDED) // without language-change?
                 dest.fragments.append(fragments);                  dest.langs.append(dest.body, body.length(), langs);
         else if(forced) //forcing passed lang?          else if(forced) //forcing passed lang?
                 dest.fragments+=Fragment(lang, length());                  dest.langs.append(dest.body, lang, length());
         else if(lang&L_OPTIMIZE_BIT) {          else { 
                 for(Array_iterator<ArrayFragment::element_type> i(fragments); i.has_next(); ) {                  Append_fragment_info info={lang, &dest.langs, dest.body.length()};
                         const Fragment fragment=i.next();              langs.for_each(body, lang&L_OPTIMIZE_BIT?
                         // main idea here:                          append_fragment_optimizing
                         // tainted piece would get OPTIMIZED bit from 'lang'                          :append_fragment_nonoptimizing, &info);
                         // clean piece would be marked OPTIMIZED manually  
                         // pieces with determined languages [not tainted|clean] would retain theirs langs  
                         dest.fragments+=Fragment(static_cast<Language>(  
                                 fragment.lang==L_TAINTED?lang:(  
                                         fragment.lang==L_CLEAN?L_CLEAN|L_OPTIMIZE_BIT: // ORing with OPTIMIZED flag  
                                                 fragment.lang)),  
                                 fragment.length);  
                 }  
         } else { // The core idea: tainted pieces got marked with context's lang  
                 for(Array_iterator<ArrayFragment::element_type> i(fragments); i.has_next(); ) {  
                         const Fragment fragment=i.next();  
                         dest.fragments+=Fragment(  
                                 fragment.lang==L_TAINTED?lang:fragment.lang,  
                                 fragment.length);  
                 }  
         }          }
   
           // next: letters
           dest.body<<body;
   
         ASSERT_STRING_INVARIANT(dest);          ASSERT_STRING_INVARIANT(dest);
         return dest;          return dest;
 }  }
Line 247  inline bool mail_header_char_valid_withi Line 242  inline bool mail_header_char_valid_withi
                 || strchr("!*+-/", c);                  || strchr("!*+-/", c);
 }  }
 inline bool addr_spec_soon(const char *src) {  inline bool addr_spec_soon(const char *src) {
         for(char c; c=*src; src++)          for(char c; (c=*src); src++)
                 if(c=='<')                  if(c=='<')
                         return true;                          return true;
                 else if(!(c==' ' || c=='\t'))                  else if(!(c==' ' || c=='\t'))
Line 263  inline bool addr_spec_soon(const char *s Line 258  inline bool addr_spec_soon(const char *s
 inline bool mail_header_nonspace_char(char c) {  inline bool mail_header_nonspace_char(char c) {
         return c != 0x20;          return c != 0x20;
 }  }
   
 inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {  inline void ec_append(CORD_ec& result, bool& optimize, bool& whitespace, CORD_pos pos, size_t size) {
         while(size--) {          while(size--) {
                 CORD_ec_append(result, CORD_pos_fetch(pos));                  CORD_ec_append(result, CORD_pos_fetch(pos));
Line 271  inline void ec_append(CORD_ec& result, b Line 267  inline void ec_append(CORD_ec& result, b
 }  }
 inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {  inline void pa_CORD_pos_advance(CORD_pos pos, size_t n) {
         while(true) {          while(true) {
                 size_t avail=CORD_pos_chars_left(pos);                  long avail=CORD_pos_chars_left(pos);
                 if(avail==0) {                  if(avail<=0) {
                         CORD_next(pos);                          CORD_next(pos);
                         if(!--n)                          if(!--n)
                                 break;                                  break;
                 } else if(avail<n) {                  } else if((size_t)avail<n) {
                         CORD_pos_advance(pos, avail);                          CORD_pos_advance(pos, avail);
                         n-=avail;                          n-=avail;
                 } else { // avail>=n                  } else { // avail>=n
Line 285  inline void pa_CORD_pos_advance(CORD_pos Line 281  inline void pa_CORD_pos_advance(CORD_pos
                 }                  }
         }          }
 }  }
 StringBody String::cstr_to_string_body(Language lang,   
                   SQL_Connection* connection,  
                   const Request_charsets *charsets) const {  
         CORD_ec result; CORD_ec_init(result);  
         CORD_pos pos; body.set_pos(pos, 0);  
   
         bool whitespace=true;  #ifndef DOXYGEN
   struct Cstr_to_string_body_block_info {
           // input
           String::Language lang;
           SQL_Connection* connection;
           const Request_charsets* charsets;
           const String::Body* body;
   
           // output
           CORD_ec result;
   
           // private
           CORD_pos pos;
           size_t fragment_begin;
           bool whitespace;
   };
   #endif
   int cstr_to_string_body_block(char alang, size_t fragment_length, Cstr_to_string_body_block_info* info) {
           const String::Language fragment_lang=(String::Language)(unsigned char)alang;
           bool& whitespace=info->whitespace;
           size_t fragment_end=info->fragment_begin+fragment_length;
           //fprintf(stderr, "%d, %d\n", fragment.lang, fragment.length);
   
         size_t fragment_begin=0;          
         size_t fragment_end;          String::Language to_lang=info->lang==String::L_UNSPECIFIED?fragment_lang:info->lang;
         for(Array_iterator<Fragment> i(fragments); i.has_next(); fragment_begin=fragment_end) {          bool optimize=(to_lang & String::L_OPTIMIZE_BIT)!=0;
                 const Fragment fragment=i.next();          if(!optimize)
                 size_t fragment_length=fragment.length;                  whitespace=false;
                 fragment_end=fragment_begin+fragment_length;                  
                 //fprintf(stderr, "%d, %d\n", fragment.lang, fragment.length);          switch(to_lang & ~String::L_OPTIMIZE_BIT) {
           case String::L_CLEAN:
                 Language to_lang=lang==L_UNSPECIFIED?fragment.lang:lang;          case String::L_TAINTED:
                 bool optimize=(to_lang & L_OPTIMIZE_BIT)!=0;          case String::L_AS_IS:
                 if(!optimize)                  // clean piece
                         whitespace=false;  
                                           // tainted piece, but undefined untaint language
                 switch(to_lang & ~L_OPTIMIZE_BIT) {                  // for VString.as_double of tainted values
                 case L_CLEAN:                  // for ^process{body} evaluation
                 case L_TAINTED:  
                 case L_AS_IS:                  // tainted, untaint language: as-is
                         // clean piece                  ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
                         // tainted piece, but undefined untaint language          case String::L_FILE_SPEC:
                         // for VString.as_double of tainted values                  // tainted, untaint language: file [name]
                         // for ^process{body} evaluation                  escape(
                           // Macintosh has problems with small Russian letter 'r'
                           if( c=='\xF0' && info->charsets && info->charsets->source().NAME()=="WINDOWS-1251" ) {
                                   // fixing that letter for most common charset
                                   to_char('p');
                           } else // fallback to default
                                   encode(need_file_encode, '_', c); 
                   );
                   break;
           case String::L_URI:
                   // tainted, untaint language: uri
                   {
                           const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                           // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, fragment_length);
                           String::C output(fragment_str, fragment_length);
                           if(info->charsets) 
                                   output=Charset::transcode(output, 
                                           info->charsets->source(), 
                                           info->charsets->client());
   
                         // tainted, untaint language: as-is                          char c;
                         ec_append(result, optimize, whitespace, pos, fragment_length);                          for(const char* src=output.str; (c=*src++); ) 
                         break;  
                 case L_FILE_SPEC:  
                         // tainted, untaint language: file [name]  
                         escape(  
                                 // Macintosh has problems with small Russian letter 'r'  
                                 if( c=='\xF0' && charsets && charsets->source().NAME()=="WINDOWS-1251" ) {  
                                         // fixing that letter for most common charset  
                                         to_char('p');  
                                 } else // fallback to default  
                                         encode(need_file_encode, '_', c);   
                         );  
                         break;  
                 case L_URI:  
                         // tainted, untaint language: uri  
                         {  
                                 const char *fragment_str=body.mid(fragment_begin, fragment_length).cstr();  
                                 // skip source [we use recoded version]  
                                 pa_CORD_pos_advance(pos, fragment_length);  
                                 String::C output(fragment_str, fragment_length);  
                                 if(charsets)   
                                         output=Charset::transcode(output,   
                                                 charsets->source(),   
                                                 charsets->client());  
   
                                 char c;  
                                 for(const char* src=output.str; c=*src++; )   
                                         encode(need_uri_encode, '%', c);  
                         }  
                         break;  
                 case L_HTTP_HEADER:  
                         // tainted, untaint language: http-field-content-text  
                         escape(  
                                 encode(need_uri_encode, '%', c);                                  encode(need_uri_encode, '%', c);
                         );                  }
                         break;                  break;
                 case L_MAIL_HEADER:          case String::L_HTTP_HEADER:
                         // tainted, untaint language: mail-header                  // tainted, untaint language: http-field-content-text
                         // http://www.ietf.org/rfc/rfc2047.txt                  escape(
                         if(charsets) {                          encode(need_uri_encode, '%', c);
                                 size_t mail_size;                  );
                                 const char *mail_ptr=                  break;
                                         body.mid(fragment_begin, mail_size=fragment_length).cstr();          case String::L_MAIL_HEADER:
                                 // skip source [we use recoded version]                  // tainted, untaint language: mail-header
                                 pa_CORD_pos_advance(pos, mail_size);                  // http://www.ietf.org/rfc/rfc2047.txt
                   if(info->charsets) {
                                 const char* charset_name=charsets->mail().NAME().cstr();                          size_t mail_size;
                           const char *mail_ptr=
                                 // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=                                  info->body->mid(info->fragment_begin, mail_size=fragment_length).cstr();
                                 bool to_quoted_printable=false;                          // skip source [we use recoded version]
                           pa_CORD_pos_advance(info->pos, mail_size);
                                 bool email=false;  
                                 uchar c;                          const char* charset_name=info->charsets->mail().NAME().cstr();
                                 for(const char* src=mail_ptr; c=(uchar)*src++; ) {  
                                         //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.                          // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                         if(to_quoted_printable && (c==',' || addr_spec_soon(src) || c == '"')) {                          bool to_quoted_printable=false;
                                                 email=c=='<';  
                                                 to_string("?=");                          bool email=false;
                                                 to_quoted_printable=false;                          uchar c;
                                         }                          for(const char* src=mail_ptr; (c=(uchar)*src++); ) {
                                         if(!email && (                                  //RFC   + An 'encoded-word' MUST NOT appear in any portion of an 'addr-spec'.
                                                 !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char                                  if(to_quoted_printable && (c==',' || addr_spec_soon(src) || c == '"')) {
                                                 || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)                                          email=c=='<';
                                                 )) {  
                                                 if(!to_quoted_printable) {  
                                                         to_string("=?");  
                                                         to_string(charset_name);  
                                                         to_string("?Q?");  
                                                         to_quoted_printable=true;  
                                                 }  
                                                 encode(mail_header_nonspace_char, '=', '_');   
                                         } else  
                                                 to_char(c);  
                                         if(c=='>')  
                                                 email=false;  
                                 }  
                                 if(to_quoted_printable) // close  
                                         to_string("?=");                                          to_string("?=");
                                                                   to_quoted_printable=false;
                         } else                                  }
                                 ec_append(result, optimize, whitespace, pos, fragment_length);                                  if(!email && (
                         break;                                          !to_quoted_printable && (c & 0x80)  // starting quote-printable-encoding on first 8bit char
                 case L_TABLE:                                           || to_quoted_printable && !mail_header_char_valid_within_Qencoded(c)
                         // tainted, untaint language: table                                          )) {
                         escape(switch(c) {                                          if(!to_quoted_printable) {
                                 case '\t': to_char(' ');  break;                                                  to_string("=?");
                                 case '\n': to_char(' ');  break;                                                  to_string(charset_name);
                                 _default;                                                  to_string("?Q?");
                         });                                                  to_quoted_printable=true;
                         break;                                          }
                                           encode(mail_header_nonspace_char, '=', '_'); 
                                   } else
                                           to_char(c);
                                   if(c=='>')
                                           email=false;
                           }
                           if(to_quoted_printable) // close
                                   to_string("?=");
                   
                   } else
                           ec_append(info->result, optimize, whitespace, info->pos, fragment_length);
                   break;
           case String::L_TABLE: 
                   // tainted, untaint language: table
                   escape(switch(c) {
                           case '\t': to_char(' ');  break;
                           case '\n': to_char(' ');  break;
                           _default;
                   });
                   break;
 #ifdef PA_SQL  #ifdef PA_SQL
                 case L_SQL:          case String::L_SQL:
                         // tainted, untaint language: sql                  // tainted, untaint language: sql
                         if(connection) {                  if(info->connection) {
                                 const char *fragment_str=body.mid(fragment_begin, fragment_length).cstr();                          const char *fragment_str=info->body->mid(info->fragment_begin, fragment_length).cstr();
                                 // skip source [we use recoded version]                          // skip source [we use recoded version]
                                 pa_CORD_pos_advance(pos, fragment_length);                          pa_CORD_pos_advance(info->pos, fragment_length);
   
                                 to_string(connection->quote(fragment_str, fragment_length));                          to_string(info->connection->quote(fragment_str, fragment_length));
                         } else                  } else
                                 throw Exception(0,                          throw Exception(0,
                                         0,                                  0,
                                         "untaint in SQL language failed - no connection specified");                                  "untaint in SQL language failed - no connection specified");
                         break;                  break;
 #endif  #endif
                 case L_JS:          case String::L_JS:
                         escape(switch(c) {                  escape(switch(c) {
                                 case '"': to_string("\\\"");  break;                          case '"': to_string("\\\"");  break;
                                 case '\'': to_string("\\'");  break;                          case '\'': to_string("\\'");  break;
                                 case '\n': to_string("\\n");  break;                          case '\n': to_string("\\n");  break;
                                 case '\\': to_string("\\\\");  break;                          case '\\': to_string("\\\\");  break;
                                 case '\xFF': to_string("\\\xFF");  break;                          case '\xFF': to_string("\\\xFF");  break;
                                 _default;                          _default;
                         });                  });
                         break;                  break;
                 case L_XML:          case String::L_XML:
                         escape(switch(c) {                  escape(switch(c) {
                                 case '&': to_string("&amp;");  break;                          case '&': to_string("&amp;");  break;
                                 case '>': to_string("&gt;");  break;                          case '>': to_string("&gt;");  break;
                                 case '<': to_string("&lt;");  break;                          case '<': to_string("&lt;");  break;
                                 case '"': to_string("&quot;");  break;                          case '"': to_string("&quot;");  break;
                                 case '\'': to_string("&apos;");  break;                          case '\'': to_string("&apos;");  break;
                                 _default;                          _default;
                         });                  });
                         break;                  break;
                 case L_HTML:          case String::L_HTML:
                         escape(switch(c) {                  escape(switch(c) {
                                 case '&': to_string("&amp;");  break;                          case '&': to_string("&amp;");  break;
                                 case '>': to_string("&gt;");  break;                          case '>': to_string("&gt;");  break;
                                 case '<': to_string("&lt;");  break;                          case '<': to_string("&lt;");  break;
                                 case '"': to_string("&quot;");  break;                          case '"': to_string("&quot;");  break;
                                 _default;                          _default;
                         });                  });
                         break;                  break;
                 default:          default:
                         SAPI::die("unknown untaint language #%d",                   SAPI::abort("unknown untaint language #%d", 
                                 static_cast<int>(to_lang)); // should never                          static_cast<int>(to_lang)); // should never
                         break; // never                  break; // never
                 }  
         }          }
   
         return StringBody(CORD_ec_to_cord(result));          info->fragment_begin=fragment_end;
   
           return 0; // 0=continue
   }
   
   
   String::Body String::cstr_to_string_body(Language lang, 
                     SQL_Connection* connection,
                     const Request_charsets *charsets) const {
   
           Cstr_to_string_body_block_info info;
           // input
           info.lang=lang;
           info.connection=connection;
           info.charsets=charsets;
           info.body=&body;
           // output
           CORD_ec_init(info.result);
           // private
           body.set_pos(info.pos, 0);
           info.fragment_begin=0;
           info.whitespace=true;
   
           if(!is_empty())
                   langs.for_each(body, cstr_to_string_body_block, &info);
   
           return String::Body(CORD_ec_to_cord(info.result));
 }  }
Removed from v.1.117.2.1  
changed lines
  Added in v.1.127

E-mail: