[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.17 and 1.90

version 1.17, 2001/03/25 09:10:30 version 1.90, 2002/02/08 08:32:34
Line 1 Line 1
 /** @file  /** @file
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001, 2002 ArtLebedev Group (http://www.artlebedev.com)
           Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
         Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)  
   
         $Id$          $Id$
 */  */
   
 #include "pa_config_includes.h"  
   
 #include "pa_pool.h"  #include "pa_pool.h"
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
 #include "pa_table.h"  #include "pa_table.h"
   #include "pa_globals.h"
   #include "pa_sql_connection.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   #include "pa_charset.h"
   
 #define escape(cases) \  #define escape(action) \
         { \          { \
                 const char *src=row->item.ptr; \                  const char *src=row->item.ptr; \
                 for(int size=row->item.size; size--; src++) \                  for(int size=row->item.size; size--; src++) \
                         switch(*src) { \                          action \
                                 cases \  
                         } \  
         }          }
 #define to_char(a, c)  case a: *dest++=c; break  
 #define _default  default: *dest++=*src; break  #define _default  default: *dest++=*src; break
 #define to_string(a, b, bsize)  \  
                 case a: \  
                         strncpy(dest, b, bsize); \  
                         dest+=bsize; \  
                 break  
 #define encode(need_encode_func, prefix)  \  #define encode(need_encode_func, prefix)  \
                 default: \  
                         if(need_encode_func(*src)) { \                          if(need_encode_func(*src)) { \
                                 static const char *hex="0123456789ABCDEF"; \                                  static const char *hex="0123456789ABCDEF"; \
                                 char chunk[3]={prefix}; \                                  char chunk[3]={prefix}; \
                                 chunk[1]=hex[((unsigned char)*src)/0x10]; \                                  chunk[1]=hex[((unsigned char)*src)/0x10]; \
                                 chunk[2]=hex[((unsigned char)*src)%0x10]; \                                  chunk[2]=hex[((unsigned char)*src)%0x10]; \
                                 strncpy(dest, chunk, 3);  dest+=3; \                                  memcpy(dest, chunk, 3);  dest+=3; \
                         } else \                          } else \
                                 *dest++=*src; \                                  *dest++=*src; \
                         break                          break
   #define to_char(c)  *dest++=c
   #define to_string(b, bsize)  \
                   memcpy(dest, b, bsize); \
                   dest+=bsize; \
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
           // theoretical problem with, for instance, "_2B" and "." fragments, 
           // they would yield the same 
           // because need_file_encode('_')=false
           // but we need to delete such files somehow, getting names from ^index
   
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
                 return false;                  return false;
   
     return !strchr("./", c);      return !strchr(
                   " _./()-"
   #ifdef WIN32
                   ":\\~"
   #endif
                   , c);
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
Line 55  inline bool need_uri_encode(unsigned cha Line 62  inline bool need_uri_encode(unsigned cha
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" ,:", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
   //
   
   static const char * String_Untaint_lang_name[]={
           "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
           "C", ///< clean
           "T",  ///< tainted, untaint language as assigned later 
           // untaint languages. assigned by ^untaint[lang]{...}
           "P",
                   /**<
                           leave language built into string being appended.
                           just a flag, that value not stored
                   */
           "A",     ///< leave all characters intact
           "F", ///< file specification
           "H",    ///< ext in HTTP response header
           "M",    ///< text in mail header
           "URI",       ///< text in uri
           "T",     ///< ^table:set body
           "SQL",       ///< ^table:sql body
           "JS",        ///< JavaScript code
           "XML",          ///< ^dom:set xml
           "HTML"      ///< HTML code (for editing)
   };
   
   
 // String  // String
   
 static bool typo_present(Array::Item *value, const void *info) {  /*
         Array *row=static_cast<Array *>(value);  
         const char *src=static_cast<const char *>(info);  HTTP-header    = field-name ":" [ field-value ] CRLF
   
         int partial;         field-name     = token
         row->get_string(0)->cmp(src, partial);         field-value    = *( field-content | LWS )
         return   
                 partial==0 || // full match         field-content  = <the OCTETs making up the field-value
                 partial==1; // typo left column starts 'src'                          and consisting of either *TEXT or combinations
                           of token, tspecials, and quoted-string>
   
   
   
   word           = token | quoted-string
   
   token          = 1*<any CHAR except CTLs or tspecials>
   
   
   
   tspecials      = "(" | ")" | "<" | ">" | "@"
                         | "," | ";" | ":" | "\" | <">
                         | "/" | "[" | "]" | "?" | "="
                         | "{" | "}" | SP | HT
   
   SP             = <US-ASCII SP, space (32)>
   HT             = <US-ASCII HT, horizontal-tab (9)>
   
   LWS            = [CRLF] 1*( SP | HT )
   TEXT           = <any OCTET except CTLs,
                           but including LWS>
   
   quoted-pair    = "\" CHAR
   
     if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
   */
   inline bool need_quote_http_header(const char *ptr, size_t size) {
           for(; size--; ptr++)
                   if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                           return true;
           return false;
   }
   
   String& String::append(const String& src, uchar lang, bool forced) {
           // manually unrolled code to avoid do{if(const)} constructs
           if(forced) 
                   STRING_SRC_FOREACH_ROW(
                           APPEND(row->item.ptr, row->item.size, 
                                   lang, //forcing passed lang
                                   row->item.origin.file, row->item.origin.line);
                   )
           else if(lang==UL_PASS_APPENDED) 
                   STRING_SRC_FOREACH_ROW(
                           APPEND(row->item.ptr, row->item.size, 
                                   row->item.lang, // passing item's lang
                                   row->item.origin.file, row->item.origin.line);
                   )
           else if(lang&UL_OPTIMIZE_BIT) // main idea here
                   // tainted piece would get OPTIMIZED bit from 'lang'
                   // clean piece would be marked OPTIMIZED manually
                   // pieces with determined languages [not tainted|clean] would retain theirs langs
                   STRING_SRC_FOREACH_ROW(
                           APPEND(row->item.ptr, row->item.size, 
                                   row->item.lang==UL_TAINTED?lang:(
                                           row->item.lang==UL_CLEAN?UL_CLEAN|UL_OPTIMIZE_BIT: // ORing with OPTIMIZED flag
                                                   row->item.lang
                                   ), 
                                   row->item.origin.file, row->item.origin.line);
                   )
           else
                   STRING_SRC_FOREACH_ROW(
                           APPEND(row->item.ptr, row->item.size, 
                                   row->item.lang==UL_TAINTED?lang:row->item.lang,
                                   row->item.origin.file, row->item.origin.line);
                   );
   break2:
           return *this;
   }
   
   size_t String::cstr_bufsize(Untaint_lang lang,
                                                           SQL_Connection *connection,
                                                           Charset *buf_charset) const {
           size_t dest=1; // for terminating 0
           STRING_FOREACH_ROW(
                   uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
   
                   switch(to_lang & ~UL_OPTIMIZE_BIT) {
                   case UL_CLEAN:
                   case UL_TAINTED:
                   case UL_AS_IS:
                           // clean piece
   
                           // tainted piece, but undefined untaint language
                           // for VString.as_double of tainted values
                           // for ^process{body} evaluation
   
                           // tainted, untaint language: as-is
                           dest+=row->item.size;
                           break;
                   case UL_FILE_SPEC:
                           // tainted, untaint language: file [name]
                           dest+=row->item.size*3/* worst: Z->%XX */;
                           break;
                   case UL_URI:
                           // tainted, untaint language: uri
                           dest+=row->item.size*6*3/* worst utf8 x worst Z->%XX */;
                           break;
                   case UL_HTTP_HEADER:
                           // tainted, untaint language: http-field-content-text
                           dest+=row->item.size*3/* worst: Z->%XX */;
                           break;
                   case UL_MAIL_HEADER:
                           // tainted, untaint language: mail-header
                           if(buf_charset) {
                                   // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                   dest+=
                                           row->item.size*3+
                                           buf_charset->name().size()+MAX_STRING/* worst: =?charset?Q?=%XX?= */;
                           } else
                                   dest+=row->item.size;
                           break;
                   case UL_TABLE: 
                           // tainted, untaint language: table
                           dest+=row->item.size;
                           break;
                   case UL_SQL:
                           // tainted, untaint language: sql
                           if(connection)
                                   dest+=connection->quote(0, row->item.ptr, row->item.size);
                           break;
                   case UL_JS:
                           escape(switch(*src) {
                                   case '"': case '\'': case '\n': case '\\': case '\xFF':
                                           dest+=2;  break;
                                   default: 
                                           dest++;  break;
                           });
                           break;
                   case UL_XML:
                           escape(switch(*src) {
                                   case '&': case '>': case '<': case '"': case '\'': 
                                           dest+= 6;  break;
                                   default: 
                                           dest++;  break;
                           });
                           break;
                   case UL_HTML:
                           escape(switch(*src) {
                                   case '&': 
                                   case '>': 
                                   case '<': 
                                   case '"': 
                                           dest+=6;  break;
                                   default: 
                                           dest++;  break;
                           });
                           break;
                   }
           );
   break2:
           return dest;
 }  }
   
 /// @todo optimize whitespaces for all but 'html'  char *String::store_to(char *dest, Untaint_lang lang, 
 char *String::store_to(char *dest) const {                                             SQL_Connection *connection,
         // $MAIN:html-typo table                                             Charset *store_to_charset) const {
         Table *typo_table=static_cast<Table *>(pool().tag());          // WARNING:
           //       before any changes check cstr_bufsize first!!!
           bool whitespace=true;
           // expanded STRING_FOREACH_ROW here for debugging purposes
           const Chunk *chunk=&head;  \
           do { \
                   const Chunk::Row *row=chunk->rows; \
                   for(uint i=0; i<chunk->count; i++, row++) { \
                           if(row==append_here) \
                                   goto break2; \
                           \
                   uchar to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
   
                   char *start=dest;
   
                   switch(to_lang & ~UL_OPTIMIZE_BIT) {
                   case UL_CLEAN:
                   case UL_TAINTED:
                   case UL_AS_IS:
                           // clean piece
   
                           // tainted piece, but undefined untaint language
                           // for VString.as_double of tainted values
                           // for ^process{body} evaluation
   
                           // tainted, untaint language: as-is
                           memcpy(dest, row->item.ptr, row->item.size); 
                           dest+=row->item.size;
                           break;
                   case UL_FILE_SPEC:
                           // tainted, untaint language: file [name]
                           escape(
                                   encode(need_file_encode, '_');
                           );
                           break;
                   case UL_URI:
                           // tainted, untaint language: uri
                           const void *client_ptr;
                           size_t client_size;
                           Charset::transcode(pool(), 
                                   pool().get_source_charset(), row->item.ptr, row->item.size,
                                   pool().get_client_charset(), client_ptr, client_size);
                           {
                                   const char *src=(const char *)client_ptr;
                                   for(int size=client_size; size--; src++) 
                                           switch(*src) {
                                                   case ' ': to_char('+');  break;
                                                   default: encode(need_uri_encode, '%');
                                           };
                           }
                           break;
                   case UL_HTTP_HEADER:
                           // tainted, untaint language: http-field-content-text
                           escape(switch(*src) {
                                   case ' ': to_char('+');  break;
                                   default: encode(need_uri_encode, '%');
                           });
                           break;
                   case UL_MAIL_HEADER:
                           // tainted, untaint language: mail-header
                           if(store_to_charset) {
                                   const void *mail_ptr;
                                   size_t mail_size;
                                   Charset::transcode(pool(), 
                                           pool().get_source_charset(), row->item.ptr, row->item.size,
                                           *store_to_charset, mail_ptr, mail_size);
   
                                   // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                   const char *src=(const char *)mail_ptr;
                                   bool to_quoted_printable=false;
                                   for(int size=mail_size; size--; src++) {
                                           if(*src & 0x80) {
                                                   if(!to_quoted_printable) {
                                                           dest+=sprintf(dest, "=?%s?Q?", store_to_charset->name().cstr());
                                                           to_quoted_printable=true;
                                                   }
                                                   dest+=sprintf(dest, "=%02X", *src & 0xFF);
                                           } else {
                                                   *dest++=*src;                                           
                                           }
                                   }
                                   if(to_quoted_printable) // close
                                           dest+=sprintf(dest, "?=");
                           
                           } else {
                                   memcpy(dest, row->item.ptr, row->item.size); 
                                   dest+=row->item.size;
                           }
                           break;
                   case UL_TABLE: 
                           // tainted, untaint language: table
                           escape(switch(*src) {
                                   case '\t': to_char(' ');  break;
                                   case '\n': to_char(' ');  break;
                                   _default;
                           });
                           break;
                   case UL_SQL:
                           // tainted, untaint language: sql
                           if(connection)
                                   dest+=connection->quote(dest, row->item.ptr, row->item.size);
                           else
                                   throw Exception(0, 0,
                                           this,
                                           "untaint in SQL language failed - no connection specified");
                           break;
                   case UL_JS:
                           escape(switch(*src) {
                                   case '"': to_string("\\\"", 2);  break;
                                   case '\'': to_string("\\'", 2);  break;
                                   case '\n': to_string("\\n", 2);  break;
                                   case '\\': to_string("\\\\", 2);  break;
                                   case '\xFF': to_string("\\\xFF", 2);  break;
                                   _default;
                           });
                           break;
                   case UL_XML:
                           escape(switch(*src) {
                                   case '&': to_string("&amp;", 5);  break;
                                   case '>': to_string("&gt;", 4);  break;
                                   case '<': to_string("&lt;", 4);  break;
                                   case '"': to_string("&quot;", 6);  break;
                                   case '\'': to_string("&apos;", 6);  break;
                                   _default;
                           });
                           break;
                   case UL_HTML:
                           escape(switch(*src) {
                                   case '&': to_string("&amp;", 5);  break;
                                   case '>': to_string("&gt;", 4);  break;
                                   case '<': to_string("&lt;", 4);  break;
                                   case '"': to_string("&quot;", 6);  break;
                                   _default;
                           });
                           break;
                   default:
                           throw Exception(0, 0, 
                                   this, 
                                   "unknown untaint language #%d", 
                                           static_cast<int>(row->item.lang)); // sould never
                           break; // never
                   }
   
                   if(to_lang & UL_OPTIMIZE_BIT) { 
                           // optimizing whitespace
                           char *stop=dest;  dest=start;
                           for(char *src=start; src<stop; src++)
                                   switch(*src) {
                                   // of all consequent white space chars leaving only first one
                                   case ' ': case '\r': case '\n': case '\t':
                                           if(!whitespace) {
                                                   *dest++=*src;
                                                   whitespace=true;
                                           }
                                           break;
                                   default:
                                           whitespace=false;
                                           *dest++=*src;
                                           break;
                                   };
                   } else // piece without optimization
                           whitespace=false;
   
                   } \
                   chunk=row->link; \
           } while(chunk); \
   
   break2:
           return dest;
   }
   
   char *String::cstr_debug_origins() const {
           //_asm int 3;
           char *result=(char *)malloc(size()+used_rows()*MAX_STRING*2);
           char *dest=result;
           
         const Chunk *chunk=&head;           const Chunk *chunk=&head; 
         do {          do {
                 const Chunk::Row *row=chunk->rows;                  const Chunk::Row *row=chunk->rows;
                 for(int i=0; i<chunk->count; i++) {                  for(uint i=0; i<chunk->count; i++, row++) {
                         if(row==append_here)                          if(row==append_here)
                                 goto break2;                                  goto break2;
   
                         // WARNING:  #ifndef NO_STRING_ORIGIN
                         //      string can grow only UNTAINT_TIMES_BIGGER                          if(row->item.origin.file)
                         switch(row->item.lang) {                                  dest+=sprintf(dest, ORIGIN_FILE_LINE_FORMAT,
                         case UL_NO:                                          row->item.origin.file,
                                 // clean piece                                          1+row->item.origin.line);
                         case UL_YES:                          else
                                 // tainted piece, but undefined untaint language                                  dest+=sprintf(dest, "<unknown>");
                                 // for VString.get_double of tainted values  #endif
                                 // for ^process{body} evaluation                          uchar show_lang=row->item.lang & ~UL_OPTIMIZE_BIT;
                         case UL_AS_IS:                          if(show_lang>=sizeof(String_Untaint_lang_name)/sizeof(String_Untaint_lang_name[0]))
                                 // tainted, untaint language: as-is                                  throw Exception(0, 0, 
                                 memcpy(dest, row->item.ptr, row->item.size);                                           this, 
                                 dest+=row->item.size;                                          "unknown untaint language #%d", 
                                 break;                                                  static_cast<int>(show_lang)); // sould never
                         case UL_FILE_NAME:  
                                 // tainted, untaint language: file [name]                          dest+=sprintf(dest, "#%s%s: ",
                                 escape(                                  String_Untaint_lang_name[show_lang],
                                         to_char(' ', '_');                                  row->item.lang & UL_OPTIMIZE_BIT?".O":"");
                                         encode(need_file_encode, '-');                          char *dest_after_origins=dest;
                                 );  
                                 break;                          memcpy(dest, row->item.ptr, row->item.size); 
                         case UL_URI:                          dest+=row->item.size;
                                 // tainted, untaint language: uri  
                                 escape(                          remove_crlf(dest_after_origins, dest);
                                         to_char(' ', '+');                          to_char('\n');
                                         encode(need_uri_encode, '%');  
                                 );  
                                 break;  
                         case UL_HEADER:  
                                 // tainted, untaint language: header  
                                 escape(  
                                         encode(need_header_encode, '%');  
                                 );  
                                 break;  
                         case UL_TABLE:   
                                 // tainted, untaint language: table  
                                 escape(  
                                         to_char('\t', ' ');  
                                         to_char('\n', ' ');  
                                         _default;  
                                 );  
                                 break;  
                         case UL_SQL:  
                                 // tainted, untaint language: sql  
                                 // TODO: зависимость от sql сервера  
                                 memset(dest, '?', row->item.size);   
                                 dest+=row->item.size;  
                                 break;  
                         case UL_JS:  
                                 escape(  
                                         to_string('"', "\\\"", 2);  
                                         to_string('\'', "\\'", 2);  
                                         to_string('\n', "\\n", 2);  
                                         to_string('\\', "\\\\", 2);  
                                         to_string('\xFF', "\\\xFF", 2);  
                                         _default;  
                                 );  
                                 break;  
                         case UL_HTML:  
                                 escape(  
                                         to_string('&', "&amp;", 5);  
                                         to_string('>', "&gt;", 4);  
                                         to_string('<', "&lt;",4);  
                                         to_string('"', "&quot;",6);  
                                         to_char('\t', ' ');  
                                         //TODO: XSLT to_string('\'', "&apos;", 6)  
                                         _default;  
                                 );  
                                 break;  
                         case UL_HTML_TYPO: {  
                                 // tainted, untaint language: html-typo  
                                 char *html=(char *)malloc(size()*6/*"&quot;" the longest possible*/+1);  
                                 size_t html_size;  
                                 { // local dest  
                                         char *dest=html;  
                                         escape(  
                                                 to_string('&', "&amp;", 5);  
                                                 to_string('>', "&gt;", 4);  
                                                 to_string('<', "&lt;",4);  
                                                 to_string('"', "&quot;",6);  
                                                 to_char('\t', ' ');  
                                                 // convinient name for typo match "\n"  
                                                 case '\r':   
                                                         *dest++='\\';  *dest++='n'; // \r -> \n  
                                                         if(src[1]=='\n') // \r\n -> remove \n  
                                                                 src++;  
                                                         break;  
                                                 to_string('\n', "\\n", 2);  
                                                 //TODO: XSLT to_string('\'', "&apos;", 6)  
                                                 _default;  
                                         );  
                                         *dest=0;  
                                         html_size=dest-html;  
                                 }  
                                 // typo table replacements  
                                 if(typo_table) {  
                                         const char *src=html;  
                                         do {  
                                                 // there is a row where first column starts 'src'  
                                                 if(Table::Item *item=typo_table->first_that(typo_present, src)) {  
                                                         // get a=>b values  
                                                         const String& a=*static_cast<Array *>(item)->get_string(0);  
                                                         const String& b=*static_cast<Array *>(item)->get_string(1);  
                                                         // empty 'a' check  
                                                         if(a.size()==0) {  
                                                                 pool().set_tag(0); // avoid recursion  
                                                                 THROW(0, 0,  
                                                                         typo_table->origin_string(),  
                                                                         "typo table first column elements must not be empty");  
                                                         }  
                                                         // overflow check:  
                                                         //   b allowed to be max UNTAINT_TIMES_BIGGER then a  
                                                         if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {  
                                                                 pool().set_tag(0); // avoid recursion  
                                                                 THROW(0, 0,  
                                                                         &b,  
                                                                         "is %g times longer then '%s', "  
                                                                         "while maximum, handled by Parser, is %d",  
                                                                                 ((double)b.size())/a.size(),   
                                                                                 a.cstr(),  
                                                                                 UNTAINT_TIMES_BIGGER);  
                                                         }  
   
                                                         // skip 'a' in 'src'  
                                                         src+=a.size();  
                                                         // write 'b' to 'dest'  
                                                         b.store_to(dest);  
                                                         dest+=b.size();  
                                                 } else  
                                                         *dest++=*src++;  
                                         } while(*src);  
                                 } else {  
                                         memcpy(dest, html, html_size);  
                                         dest+=html_size;  
                                 }  
                                 break;  
                                 }  
                         default:  
                                 THROW(0,0,  
                                         this,  
                                         "unknown untaint language #%d of %d piece",   
                                                 static_cast<int>(row->item.lang),  
                                                 i);  
                         }  
                         row++;  
                 }                  }
                 chunk=row->link;                  chunk=row->link;
         } while(chunk);          } while(chunk);
   
 break2:  break2:
         return dest;          *dest=0;
           return result;
 }  }
Removed from v.1.17  
changed lines
  Added in v.1.90

E-mail: