[BACK]Return to untaint.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / main

Diff for /parser3/src/main/untaint.C between versions 1.25 and 1.66

version 1.25, 2001/03/29 08:28:04 version 1.66, 2001/10/08 09:04:08
Line 2 Line 2
         Parser: String class part: untaint mechanizm.          Parser: String class part: untaint mechanizm.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)
   
         Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)          Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)
   
         $Id$          $Id$
 */  */
   
 #include "pa_config_includes.h"  
   
 #include "pa_pool.h"  #include "pa_pool.h"
 #include "pa_string.h"  #include "pa_string.h"
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_exception.h"  #include "pa_exception.h"
 #include "pa_table.h"  #include "pa_table.h"
   #include "pa_globals.h"
   #include "pa_sql_connection.h"
   #include "pa_dictionary.h"
   #include "pa_common.h"
   
 #define escape(action) \  #define escape(action) \
         { \          { \
Line 30 Line 31
                                 char chunk[3]={prefix}; \                                  char chunk[3]={prefix}; \
                                 chunk[1]=hex[((unsigned char)*src)/0x10]; \                                  chunk[1]=hex[((unsigned char)*src)/0x10]; \
                                 chunk[2]=hex[((unsigned char)*src)%0x10]; \                                  chunk[2]=hex[((unsigned char)*src)%0x10]; \
                                 strncpy(dest, chunk, 3);  dest+=3; \                                  memcpy(dest, chunk, 3);  dest+=3; \
                         } else \                          } else \
                                 *dest++=*src; \                                  *dest++=*src; \
                         break                          break
 #define to_char(c)  *dest++=c  #define to_char(c)  *dest++=c
 #define to_string(b, bsize)  \  #define to_string(b, bsize)  \
                 strncpy(dest, b, bsize); \                  memcpy(dest, b, bsize); \
                 dest+=bsize; \                  dest+=bsize; \
   
 inline bool need_file_encode(unsigned char c){  inline bool need_file_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
                 return false;                  return false;
   
     return !strchr("./", c);      return !strchr(
   #ifdef WIN32
                   ":\\~"
   #endif
                   "./()_-", c);
 }  }
 inline bool need_uri_encode(unsigned char c){  inline bool need_uri_encode(unsigned char c){
     if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z'))       if((c>='0') &&(c<='9') ||(c>='A') &&(c<='Z') ||(c>='a') &&(c<='z')) 
Line 51  inline bool need_uri_encode(unsigned cha Line 56  inline bool need_uri_encode(unsigned cha
   
     return !strchr("_-./", c);      return !strchr("_-./", c);
 }  }
 inline bool need_header_encode(unsigned char c){  inline bool need_http_header_encode(unsigned char c){
     if(strchr(" , :", c))      if(strchr(" , :", c))
                 return false;                  return false;
   
         return need_uri_encode(c);          return need_uri_encode(c);
 }  }
   
   //
   
   static const char * String_Untaint_lang_name[]={
           "U", ///< zero value handy for hash lookup @see untaint_lang_name2enum
           "C", ///< clean
           "T",  ///< tainted, untaint language as assigned later 
           // untaint languages. assigned by ^untaint[lang]{...}
           "P",
                   /**<
                           leave language built into string being appended.
                           just a flag, that value not stored
                   */
           "A",     ///< leave all characters intact
           "F", ///< filename
           "H",    ///< text in HTTP response header
           "M",    ///< text in mail header
           "URI",       ///< text in uri
           "T",     ///< ^table:set body
           "SQL",       ///< ^table:sql body
           "JS",        ///< JavaScript code
           "HTML",      ///< HTML code (for editing)
           "UHTML", ///< HTML code with USER chars
   };
   
   
 // String  // String
   
 static bool typo_present(Array::Item *value, const void *info) {  static bool typo_present(Array::Item *value, const void *info) {
Line 65  static bool typo_present(Array::Item *va Line 95  static bool typo_present(Array::Item *va
         const char *src=static_cast<const char *>(info);          const char *src=static_cast<const char *>(info);
   
         int partial;          int partial;
         row->get_string(0)->cmp(src, partial);          row->get_string(0)->cmp(partial, src);
         return           return 
                 partial==0 || // full match                  partial==0 || // full match
                 partial==1; // typo left column starts 'src'                  partial==1; // typo left column starts 'src'
 }  }
   
 /// @todo @b now: optimize whitespaces for all but 'html'  /*
 char *String::store_to(char *dest) const {  
   HTTP-header    = field-name ":" [ field-value ] CRLF
   
          field-name     = token
          field-value    = *( field-content | LWS )
   
          field-content  = <the OCTETs making up the field-value
                           and consisting of either *TEXT or combinations
                           of token, tspecials, and quoted-string>
   
   
   
   word           = token | quoted-string
   
   token          = 1*<any CHAR except CTLs or tspecials>
   
   
   
   tspecials      = "(" | ")" | "<" | ">" | "@"
                         | "," | ";" | ":" | "\" | <">
                         | "/" | "[" | "]" | "?" | "="
                         | "{" | "}" | SP | HT
   
   SP             = <US-ASCII SP, space (32)>
   HT             = <US-ASCII HT, horizontal-tab (9)>
   
   LWS            = [CRLF] 1*( SP | HT )
   TEXT           = <any OCTET except CTLs,
                           but including LWS>
   
   quoted-pair    = "\" CHAR
   
     if(strchr("()<>@,;:\\\"/[]?={} \t", *ptr))
   */
   inline bool need_quote_http_header(const char *ptr, size_t size) {
           for(; size--; ptr++)
                   if(strchr(";\\\"= \t" /* excluded ()<>@, :/ ? []{} */, *ptr))
                           return true;
           return false;
   }
   
   /** @todo maybe additional check "are all pieces are clean?" would be profitable?
           @todo fix potential forigins_mode buf overrun
   */
   size_t String::cstr_bufsize(Untaint_lang lang) const {
           return (lang==UL_AS_IS?size():size()*UNTAINT_TIMES_BIGGER*(forigins_mode?10:1)) +1;
   }
   
   /** @todo fix theoretical \n mem overrun in TYPO replacements
   */
   char *String::store_to(char *dest, Untaint_lang lang, 
                                              SQL_Connection *connection,
                                              const char *charset) const {
         // $MAIN:html-typo table          // $MAIN:html-typo table
         Table *typo_table=0;          Dictionary *user_typo_dict=static_cast<Dictionary *>(pool().tag());
         if(Request *request=pool().request())          Dictionary *typo_dict=user_typo_dict?user_typo_dict:default_typo_dict;
                 typo_table=request->html_typo_table;  
         if(!typo_table)  
                 typo_table=default_typo_table;  
   
           bool whitespace=true;
           bool need_to_close_http_header_quote=false;
         const Chunk *chunk=&head;           const Chunk *chunk=&head; 
         do {          do {
                 const Chunk::Row *row=chunk->rows;                  const Chunk::Row *row=chunk->rows;
                 for(int i=0; i<chunk->count; i++) {                  for(size_t i=0; i<chunk->count; i++, row++) {
                         if(row==append_here)                          if(row==append_here)
                                 goto break2;                                  goto break2;
   
                           Untaint_lang to_lang=lang==UL_UNSPECIFIED?row->item.lang:lang;
   
                           char *dest_before_origins=dest;
   
                           if(forigins_mode) {
   #ifndef NO_STRING_ORIGIN
                                   if(row->item.origin.file)
                                           dest+=sprintf(dest, "%s(%d)",
                                                   row->item.origin.file,
                                                   1+row->item.origin.line);
                                   else
                                           dest+=sprintf(dest, "unknown");
   #endif
                                   dest+=sprintf(dest, "#%s: ",
                                           String_Untaint_lang_name[to_lang]);
                           }
                           char *dest_after_origins=dest;
   
                         // WARNING:                          // WARNING:
                         //      string can grow only UNTAINT_TIMES_BIGGER                          //      string can grow only UNTAINT_TIMES_BIGGER
                         switch(row->item.lang) {                          switch(to_lang) {
                         case UL_NO:                          case UL_CLEAN:
                                 // clean piece                                  // clean piece
                         case UL_YES:                                  { // optimizing whitespace
                                           const char *src=row->item.ptr; 
                                           for(int size=row->item.size; size--; src++)
                                                   switch(*src) {
                                                   case ' ': case '\n': case '\r': case '\t':
                                                           if(!whitespace) {
                                                                   *dest++=*src;
                                                                   whitespace=true;
                                                           }
                                                           break;
                                                   default:
                                                           whitespace=false;
                                                           *dest++=*src;
                                                           break;
                                                   }
                                   }
                                   break;
                           case UL_TAINTED:
                                 // tainted piece, but undefined untaint language                                  // tainted piece, but undefined untaint language
                                 // for VString.as_double of tainted values                                  // for VString.as_double of tainted values
                                 // for ^process{body} evaluation                                  // for ^process{body} evaluation
Line 101  char *String::store_to(char *dest) const Line 217  char *String::store_to(char *dest) const
                                 memcpy(dest, row->item.ptr, row->item.size);                                   memcpy(dest, row->item.ptr, row->item.size); 
                                 dest+=row->item.size;                                  dest+=row->item.size;
                                 break;                                  break;
                         case UL_FILE_NAME:                          case UL_FILE_SPEC:
                                 // tainted, untaint language: file [name]                                  // tainted, untaint language: file [name]
                                 escape(switch(*src) {                                  escape(switch(*src) {
                                         case ' ': to_char('_');  break;                                          case ' ': to_char('_');  break;
                                         encode(need_file_encode, '-');                                          encode(need_file_encode, '+');
                                 });                                  });
                                 break;                                  break;
                         case UL_URI:                          case UL_URI:
Line 115  char *String::store_to(char *dest) const Line 231  char *String::store_to(char *dest) const
                                         encode(need_uri_encode, '%');                                          encode(need_uri_encode, '%');
                                 });                                  });
                                 break;                                  break;
                         case UL_HEADER:                          case UL_HTTP_HEADER:
                                 // tainted, untaint language: header                                  // tainted, untaint language: http-header
                                 escape(switch(*src) {                                  if(need_quote_http_header(row->item.ptr, row->item.size)) {
                                         encode(need_header_encode, '%');                                          *dest++='\"';
                                 });                                          escape(switch(*src) {
                                                   case '\"': to_string("\\\"", 2);  break;
                                                   _default;
                                           });
                                           need_to_close_http_header_quote=true;
                                   } else {
                                           memcpy(dest, row->item.ptr, row->item.size); 
                                           dest+=row->item.size;
                                   }
                                   break;
                           case UL_MAIL_HEADER:
                                   // tainted, untaint language: mail-header
                                   if(charset) {
                                           // Subject: Re: parser3: =?koi8-r?Q?=D3=C5=CD=C9=CE=C1=D2?=
                                           const char *src=row->item.ptr; 
                                           bool to_quoted_printable=false;
                                           for(int size=row->item.size; size--; src++) {
                                                   if(*src & 0x80) {
                                                           if(!to_quoted_printable) {
                                                                   dest+=sprintf(dest, "=?%.15s?Q?", charset);
                                                                   to_quoted_printable=true;
                                                           }
                                                           dest+=sprintf(dest, "=%02X", *src & 0xFF);
                                                   } else {
                                                           *dest++=*src;                                           
                                                   }
                                           }
                                           if(to_quoted_printable) // close
                                                   dest+=sprintf(dest, "?=");
                                   } else {
                                           memcpy(dest, row->item.ptr, row->item.size); 
                                           dest+=row->item.size;
                                   }
                                 break;                                  break;
                         case UL_TABLE:                           case UL_TABLE: 
                                 // tainted, untaint language: table                                  // tainted, untaint language: table
Line 131  char *String::store_to(char *dest) const Line 279  char *String::store_to(char *dest) const
                                 break;                                  break;
                         case UL_SQL:                          case UL_SQL:
                                 // tainted, untaint language: sql                                  // tainted, untaint language: sql
                                 // TODO: зависимость от sql сервера                                  if(connection)
                                 memset(dest, '?', row->item.size);                                           dest+=connection->quote(dest, row->item.ptr, row->item.size);
                                 dest+=row->item.size;                                  else
                                           THROW(0, 0,
                                                   this,
                                                   "untaint in SQL language failed - no connection specified");
                                 break;                                  break;
                         case UL_JS:                          case UL_JS:
                                 escape(switch(*src) {                                  escape(switch(*src) {
Line 145  char *String::store_to(char *dest) const Line 296  char *String::store_to(char *dest) const
                                         _default;                                          _default;
                                 });                                  });
                                 break;                                  break;
                           case UL_XML:
                                   escape(switch(*src) {
                                           case '&': to_string("&amp;", 5);  break;
                                           case '>': to_string("&gt;", 4);  break;
                                           case '<': to_string("&lt;", 4);  break;
                                           case '"': to_string("&quot;", 6);  break;
                                           case '\'': to_string("&apos;", 6);  break;
                                           _default;
                                   });
                                   break;
                         case UL_HTML:                          case UL_HTML:
                                 escape(switch(*src) {                                  escape(switch(*src) {
                                         case '&': to_string("&amp;", 5);  break;                                          case '&': to_string("&amp;", 5);  break;
                                         case '>': to_string("&gt;", 4);  break;                                          case '>': to_string("&gt;", 4);  break;
                                         case '<': to_string("&lt;", 4);  break;                                          case '<': to_string("&lt;", 4);  break;
                                         case '"': to_string("&quot;", 6);  break;                                          case '"': to_string("&quot;", 6);  break;
                                         //TODO: XSLT case '\'': to_string("&apos;", 6);  break;  
                                         _default;                                          _default;
                                 });                                  });
                                 break;                                  break;
                         case UL_HTML_TYPO: {                          case UL_USER_HTML: {
                                 // tainted, untaint language: html-typo                                  // tainted, untaint language: html-typo
                                 char *html_for_typo=(char *)malloc(size()*2/* '\n' -> '\' 'n' */+1);                                  if(!typo_dict) // never, always has default
                                           THROW(0, 0,
                                                   this,
                                                   "untaint to user-html lang failed, no typo table");
   
                                   char *html_for_typo=
                                           (char *)malloc(row->item.size*2/* '\n' -> '\' 'n' */+1);
                                 // note:                                  // note:
                                 //   there still is a possibility that user                                   //   there still is a possibility that user 
                                 //   would not replace \n as she supposed to                                  //   would not replace \n as she supposed to
                                 //   and rather replace \ and n into huge strings                                  //   and rather replace \ and n into huge strings
                                 //   thus causing memory overrun                                  //   thus causing memory overrun
                                 //   this can be dealed by allocating *2 memory, but that's too expensive                                  //   this can be dealed by allocating *2 memory, but that's too expensive
                                 // todo parser4: fix that  
                                 size_t html_for_typo_size;                                  size_t html_for_typo_size;
                                 { // local dest                                  { // local dest
                                         char *dest=html_for_typo;                                          char *dest=html_for_typo;
                                         escape(switch(*src) {                                          escape(switch(*src) {
                                                 // convinient name for typo match "\n"                                                  // convinient name for typo match "\n"
                                                 case '\r':                                                   case '\r': 
                                                         if(typo_table) {                                                          to_string("\\n", 2); // \r -> "\n"
                                                                 *dest++='\\';  *dest++='n'; // \r -> \n                                                          if(size && src[1]=='\n') { // \r\n -> remove \n
                                                                 if(src[1]=='\n') { // \r\n -> remove \n                                                                  size--; src++;
                                                                         size--; src++;  
                                                                 }  
                                                         }                                                          }
                                                         break;                                                          break;
                                                 case '\n':                                                   case '\n': 
                                                         if(typo_table)                                                          to_string("\\n", 2);
                                                                 to_string("\\n", 2);  
                                                         break;                                                          break;
                                                 //TODO: XSLT case '\'': to_string("&apos;", 6);  break;  
                                                 _default;                                                  _default;
                                         });                                          });
                                         *dest=0;                                          *dest=0;
Line 192  char *String::store_to(char *dest) const Line 353  char *String::store_to(char *dest) const
                                 const char *src=html_for_typo;                                  const char *src=html_for_typo;
                                 do {                                  do {
                                         // there is a row where first column starts 'src'                                          // there is a row where first column starts 'src'
                                         if(Table::Item *item=typo_table->first_that(typo_present, src)) {                                          if(Table::Item *item=typo_dict->first_that_starts(src)) {
                                                 // get a=>b values                                                  // get a=>b values
                                                 const String& a=*static_cast<Array *>(item)->get_string(0);                                                  const String& a=*static_cast<Array *>(item)->get_string(0);
                                                 const String& b=*static_cast<Array *>(item)->get_string(1);                                                  const String& b=*static_cast<Array *>(item)->get_string(1);
                                                 // empty 'a' | 'b' checks  
                                                 if(a.size()==0 || b.size()==0) {  
                                                         pool().set_request(0); // avoid recursion  
                                                         THROW(0, 0,   
                                                                 typo_table->origin_string(),   
                                                                 "typo table column elements must not be empty");  
                                                 }  
                                                 // overflow check:                                                  // overflow check:
                                                 //   b allowed to be max UNTAINT_TIMES_BIGGER then a                                                  //   b allowed to be max UNTAINT_TIMES_BIGGER then a
                                                 if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {                                                  if(b.size()>UNTAINT_TIMES_BIGGER*a.size()) {
                                                         pool().set_request(0); // avoid recursion                                                          pool().set_tag(0); // avoid recursion
                                                         THROW(0, 0,                                                           THROW(0, 0, 
                                                                 &b,                                                                   &b, 
                                                                 "is %g times longer then '%s', "                                                                  "is %g times longer then '%s', "
                                                                 "while maximum, handled by Parser, is %d",                                                                   "while maximum, handled by Parser, is %d", 
                                                                 ((double)b.size())/a.size(),                                                                           ((double)b.size())/a.size(), 
                                                                 a.cstr(),                                                                           a.cstr(), 
                                                                 UNTAINT_TIMES_BIGGER);                                                                          UNTAINT_TIMES_BIGGER);
                                                 }                                                  }
                                                                                                   
                                                 // skip 'a' in 'src'                                                  // skip 'a' in 'src'
                                                 src+=a.size();                                                  src+=a.size();
                                                 // write 'b' to 'dest'                                                  // write 'b' to 'dest'
                                                 b.store_to(dest);                                                  b.store_to(dest);
                                                   // skip 'b' in 'dest'
                                                 dest+=b.size();                                                  dest+=b.size();
                                         } else                                          } else
                                                 *dest++=*src++;                                                  *dest++=*src++;
Line 231  char *String::store_to(char *dest) const Line 386  char *String::store_to(char *dest) const
                                         this,                                           this, 
                                         "unknown untaint language #%d of %d piece",                                           "unknown untaint language #%d of %d piece", 
                                                 static_cast<int>(row->item.lang),                                                   static_cast<int>(row->item.lang), 
                                                 i);                                                  i); // never
                                   break; // never
                         }                          }
                         row++;  
                           if((lang==UL_UNSPECIFIED?row->item.lang:lang)!=UL_CLEAN)
                                   whitespace=false;
   
                           if(forigins_mode)
                                   if(dest==dest_after_origins) // never moved==optimized space
                                           dest=dest_before_origins;
                                   else {
                                           remove_crlf(dest_after_origins, dest);
   
                                           to_char('\n');
                                   }
                 }                  }
                 chunk=row->link;                  chunk=row->link;
         } while(chunk);          } while(chunk);
   
           if(need_to_close_http_header_quote)
                   *dest++='\"';
 break2:  break2:
         return dest;          return dest;
 }  }
Removed from v.1.25  
changed lines
  Added in v.1.66

E-mail: