[BACK]Return to string.C CVS log [TXT] [DIR] Up to [parser3project] / parser3 / src / classes

Diff for /parser3/src/classes/string.C between versions 1.219 and 1.237

version 1.219, 2015/09/03 20:47:21 version 1.237, 2018/01/19 16:47:35
Line 1 Line 1
 /** @file  /** @file
         Parser: @b string parser class.          Parser: @b string parser class.
   
         Copyright (c) 2001-2012 Art. Lebedev Studio (http://www.artlebedev.com)          Copyright (c) 2001-2017 Art. Lebedev Studio (http://www.artlebedev.com)
         Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)          Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
 */  */
   
Line 31  public: Line 31  public:
   
 // global variable  // global variable
   
 DECLARE_CLASS_VAR(string, new MString, 0);  DECLARE_CLASS_VAR(string, new MString);
   
 // void class, inherited from string and thus should be inited afterwards  // void class, inherited from string and thus should be inited afterwards
   
Line 42  public: Line 42  public:
   
 // void global variable should be after string global variable  // void global variable should be after string global variable
   
 DECLARE_CLASS_VAR(void, new MVoid, 0);  DECLARE_CLASS_VAR(void, new MVoid);
   
 // defines for statics  // defines for statics
   
Line 53  DECLARE_CLASS_VAR(void, new MVoid, 0); Line 53  DECLARE_CLASS_VAR(void, new MVoid, 0);
   
 #define MODE_APPEND "append"  #define MODE_APPEND "append"
   
   #define UNESCAPE_MODE_JS "js"
   #define UNESCAPE_MODE_URI "uri"
   
 // statics  // statics
   
 static const String match_var_name(MATCH_VAR_NAME);  static const String match_var_name(MATCH_VAR_NAME);
Line 61  static const String match_var_name(MATCH Line 64  static const String match_var_name(MATCH
   
 static void _length(Request& r, MethodParams&) {  static void _length(Request& r, MethodParams&) {
         double result=GET_SELF(r, VString).string().length(r.charsets.source());          double result=GET_SELF(r, VString).string().length(r.charsets.source());
         r.write_no_lang(*new VDouble(result));          r.write(*new VDouble(result));
 }  }
   
 static void _int(Request& r, MethodParams& params) {  static void _int(Request& r, MethodParams& params) {
Line 84  static void _int(Request& r, MethodParam Line 87  static void _int(Request& r, MethodParam
                 }                  }
         }          }
   
         r.write_no_lang(*new VInt(converted));          r.write(*new VInt(converted));
 }  }
   
 static void _double(Request& r, MethodParams& params) {  static void _double(Request& r, MethodParams& params) {
         const String& self_string=GET_SELF(r, VString).string();          const String& self_string=GET_SELF(r, VString).string();
         double converted;  
   
         if(self_string.is_empty()) {          if(self_string.is_empty()) {
                 if(params.count()>0)                  if(params.count()>0)
                         converted=params.as_double(0, "default must be double", r); // (default)                          r.write(*new VDouble(params.as_double(0, "default must be double", r))); // (default)
                 else                  else
                         throw Exception(PARSER_RUNTIME, 0, "unable to convert empty string without default specified");                          throw Exception(PARSER_RUNTIME, 0, "unable to convert empty string without default specified");
         } else {          } else {
                 try {                  try {
                         converted=self_string.as_double();                          r.write(*new VDouble(self_string.as_double()));
                 } catch(...) { // convert problem                  } catch(...) { // convert problem
                         if(params.count()>0)                          if(params.count()>0)
                                 converted=params.as_double(0, "default must be double", r); // (default)                                  r.write(*new VDouble(params.as_double(0, "default must be double", r))); // (default)
                         else                          else
                                 rethrow; // we have a problem when no default                                  rethrow; // we have a problem when no default
                 }                  }
         }          }
   
         r.write_no_lang(*new VDouble(converted));  
 }  }
   
 static void _bool(Request& r, MethodParams& params) {  static void _bool(Request& r, MethodParams& params) {
Line 137  static void _bool(Request& r, MethodPara Line 137  static void _bool(Request& r, MethodPara
                 }                  }
         }          }
   
         r.write_no_lang(VBool::get(converted));          r.write(VBool::get(converted));
 }  }
   
 /*not static*/void _string_format(Request& r, MethodParams& params) {  /*not static*/void _string_format(Request& r, MethodParams& params) {
Line 148  static void _bool(Request& r, MethodPara Line 148  static void _bool(Request& r, MethodPara
   
         const char* buf=format(r.get_self().as_double(), fmt.trim().cstrm());          const char* buf=format(r.get_self().as_double(), fmt.trim().cstrm());
   
         r.write_no_lang(String(buf));          r.write(String(buf));
 }  }
   
 static void _left(Request& r, MethodParams& params) {  static void _left(Request& r, MethodParams& params) {
         ssize_t sn=params.as_int(0, "n must be int", r);          ssize_t sn=params.as_int(0, "n must be int", r);
         const String& string=GET_SELF(r, VString).string();          const String& string=GET_SELF(r, VString).string();
         r.write_assign_lang(sn<0 ? string : string.mid(r.charsets.source(), 0, (size_t)sn));          r.write(sn<0 ? string : string.mid(r.charsets.source(), 0, (size_t)sn));
 }  }
   
 static void _right(Request& r, MethodParams& params) {  static void _right(Request& r, MethodParams& params) {
Line 163  static void _right(Request& r, MethodPar Line 163  static void _right(Request& r, MethodPar
                 size_t n=(size_t)sn;                  size_t n=(size_t)sn;
                 const String& string=GET_SELF(r, VString).string();                  const String& string=GET_SELF(r, VString).string();
                 size_t length=string.length(r.charsets.source());                  size_t length=string.length(r.charsets.source());
                 r.write_assign_lang(n<length ? string.mid(r.charsets.source(), length-n, length, length) : string);                  r.write(n<length ? string.mid(r.charsets.source(), length-n, length, length) : string);
         }          }
 }  }
   
Line 191  static void _mid(Request& r, MethodParam Line 191  static void _mid(Request& r, MethodParam
                 end=length;                  end=length;
         }          }
   
         r.write_assign_lang(string.mid(r.charsets.source(), begin, end, length));          r.write(string.mid(r.charsets.source(), begin, end, length));
 }  }
   
 static void _pos(Request& r, MethodParams& params) {  static void _pos(Request& r, MethodParams& params) {
Line 202  static void _pos(Request& r, MethodParam Line 202  static void _pos(Request& r, MethodParam
         if(params.count()>1){          if(params.count()>1){
                 offset=params.as_int(1, "n must be int", r);                  offset=params.as_int(1, "n must be int", r);
                 if(offset<0)                  if(offset<0)
                         throw Exception(PARSER_RUNTIME,                          throw Exception(PARSER_RUNTIME, 0, "n(%d) must be >=0", offset);
                                 0,   
                                 "n(%d) must be >=0", offset);  
         }          }
   
         r.write_no_lang(*new VInt((int)string.pos(r.charsets.source(), substr.as_string(), (size_t)offset)));          r.write(*new VInt((int)string.pos(r.charsets.source(), substr.as_string(), (size_t)offset)));
 }  }
   
 static void split_list(MethodParams& params, int paramIndex,  static void split_list(MethodParams& params, int paramIndex, const String& string, ArrayString& result) {
                        const String& string,   
                        ArrayString& result) {  
         Value& delim_value=params.as_no_junction(paramIndex, "delimiter must not be code");          Value& delim_value=params.as_no_junction(paramIndex, "delimiter must not be code");
           string.split(result, 0, delim_value.as_string());
         size_t pos_after=0;  
         string.split(result, pos_after, delim_value.as_string());  
 }  }
   
 #define SPLIT_LEFT 0x0001  #define SPLIT_LEFT 0x0001
Line 324  static void split_with_options(Request& Line 318  static void split_with_options(Request&
   
         Table& table=horizontal?split_horizontal(pieces, right):split_vertical(pieces, right, column_name);          Table& table=horizontal?split_horizontal(pieces, right):split_vertical(pieces, right, column_name);
   
         r.write_no_lang(*new VTable(&table));          r.write(*new VTable(&table));
 }  }
 static void _split(Request& r, MethodParams& params) {  static void _split(Request& r, MethodParams& params) {
         split_with_options(r, params, 0 /* maybe-determine from param #2 */);          split_with_options(r, params, 0 /* maybe-determine from param #2 */);
Line 387  static void _match(Request& r, MethodPar Line 381  static void _match(Request& r, MethodPar
   
         if(Value* value=regexp.as(VREGEX_TYPE)){          if(Value* value=regexp.as(VREGEX_TYPE)){
                 if(options && options->is_defined())                  if(options && options->is_defined())
                         throw Exception(PARSER_RUNTIME,                          throw Exception(PARSER_RUNTIME, 0, "you can not specify regex-object and options together");
                                 0,  
                                 "you can not specify regex-object and options together"  
                         );  
                 vregex=static_cast<VRegex*>(value);                  vregex=static_cast<VRegex*>(value);
         } else {          } else {
                 vregex=new VRegex(r.charsets.source(),                  vregex=new VRegex(r.charsets.source(), &regexp.as_string(), (options) ? (&options->as_string()) : 0);
                         &regexp.as_string(),  
                         (options)?(&options->as_string()):0);  
                 vregex->study();                  vregex->study();
                 vrcleaner.vregex=vregex;                  vrcleaner.vregex=vregex;
         }          }
   
         Temp_lang temp_lang(r, String::L_PASS_APPENDED);  
         const String& src=GET_SELF(r, VString).string();          const String& src=GET_SELF(r, VString).string();
         int matches_count=0;          int matches_count=0;
   
         if(params_count<3) { // search          if(params_count<3) { // search
                 Table* table=src.match(vregex,                  Table* table=src.match(vregex, search_action, 0, matches_count);
                         search_action, 0,  
                         matches_count);  
   
                 if(table){                  if(table){
                         r.write_no_lang(*new VTable(table));                          r.write(*new VTable(table));
                 } else {                  } else {
                         r.write_no_lang(*new VInt(matches_count));                          r.write(*new VInt(matches_count));
                 }                  }
   
         } else { // replace          } else { // replace
Line 454  static void _match(Request& r, MethodPar Line 440  static void _match(Request& r, MethodPar
                 if(!matches_count && default_code)                  if(!matches_count && default_code)
                         r.process_write(*default_code);                          r.process_write(*default_code);
                 else                  else
                         r.write_assign_lang(result);                          r.write(result);
         }          }
 }  }
   
Line 462  static void change_case(Request& r, Meth Line 448  static void change_case(Request& r, Meth
                                                 String::Change_case_kind kind) {                                                  String::Change_case_kind kind) {
         const String& src=GET_SELF(r, VString).string();          const String& src=GET_SELF(r, VString).string();
   
         r.write_assign_lang(src.change_case(r.charsets.source(), kind));          r.write(src.change_case(r.charsets.source(), kind));
 }  }
 static void _upper(Request& r, MethodParams& params) {  static void _upper(Request& r, MethodParams& params) {
         change_case(r, params, String::CC_UPPER);          change_case(r, params, String::CC_UPPER);
Line 511  public: Line 497  public:
                         result=new String(str, String::L_TAINTED /* no length as 0x00 can be inside */ );                          result=new String(str, String::L_TAINTED /* no length as 0x00 can be inside */ );
                         return false;                          return false;
                 } catch(...) {                  } catch(...) {
                         error=SQL_Error("exception occured in String_sql_event_handlers::add_row_cell");                          error=SQL_Error("exception occurred in String_sql_event_handlers::add_row_cell");
                         return true;                          return true;
                 }                  }
         }          }
Line 541  const String* sql_result_string(Request& Line 527  const String* sql_result_string(Request&
                         }                          }
                         if(Value* vlimit=options->get(sql_limit_name)) {                          if(Value* vlimit=options->get(sql_limit_name)) {
                                 valid_options++;                                  valid_options++;
                                 limit=(ulong)r.process_to_value(*vlimit).as_double();                                  limit=(ulong)r.process(*vlimit).as_double();
                         }                          }
                         if(Value* voffset=options->get(sql_offset_name)) {                          if(Value* voffset=options->get(sql_offset_name)) {
                                 valid_options++;                                  valid_options++;
                                 offset=(ulong)r.process_to_value(*voffset).as_double();                                  offset=(ulong)r.process(*voffset).as_double();
                         }                          }
                         if((default_code=options->get(sql_default_name))) {                          if((default_code=options->get(sql_default_name))) {
                                 valid_options++;                                  valid_options++;
Line 559  const String* sql_result_string(Request& Line 545  const String* sql_result_string(Request&
         if(bind)          if(bind)
                 placeholders_count=marshal_binds(*bind, placeholders);                  placeholders_count=marshal_binds(*bind, placeholders);
   
         Temp_lang temp_lang(r, String::L_SQL);  
         const String& statement_string=r.process_to_string(statement);          const String& statement_string=r.process_to_string(statement);
         const char* statement_cstr=statement_string.untaint_cstr(r.flang, r.connection());          const char* statement_cstr=statement_string.untaint_cstr(String::L_SQL, r.connection());
   
         String_sql_event_handlers handlers(statement_string, statement_cstr);          String_sql_event_handlers handlers(statement_string, statement_cstr);
   
Line 594  static void _sql(Request& r, MethodParam Line 579  static void _sql(Request& r, MethodParam
                                 "produced no result, but no default option specified");                                  "produced no result, but no default option specified");
         }          }
   
         r.write_assign_lang(*string);          r.write(*string);
 }  }
   
 static void _replace(Request& r, MethodParams& params) {  static void _replace(Request& r, MethodParams& params) {
Line 604  static void _replace(Request& r, MethodP Line 589  static void _replace(Request& r, MethodP
                 // ^string.replace[table]                  // ^string.replace[table]
                 Table* table=params.as_table(0, "param");                  Table* table=params.as_table(0, "param");
                 Dictionary dict(*table);                  Dictionary dict(*table);
                 r.write_assign_lang(src.replace(dict));                  r.write(src.replace(dict));
         } else {          } else {
                 // ^string.replace[from-string;to-string]                  // ^string.replace[from-string;to-string]
                 Dictionary dict(                  Dictionary dict(
                                                 params.as_string(0, "from must be string"),                                                  params.as_string(0, "from must be string"),
                                                 params.as_string(1, "to must be string")                                                  params.as_string(1, "to must be string")
                                         );                                          );
                 r.write_assign_lang(src.replace(dict));                  r.write(src.replace(dict));
         }          }
   
 }  }
Line 626  static void _save(Request& r, MethodPara Line 611  static void _save(Request& r, MethodPara
                         // ^file.save[filespec;$.charset[] $.append(true)]                          // ^file.save[filespec;$.charset[] $.append(true)]
                         int valid_options=0;                          int valid_options=0;
                         if(Value* vcharset_name=options->get(PA_CHARSET_NAME)){                          if(Value* vcharset_name=options->get(PA_CHARSET_NAME)){
                                 asked_charset=&::charsets.get(vcharset_name->as_string().change_case(r.charsets.source(), String::CC_UPPER));                                  asked_charset=&pa_charsets.get(vcharset_name->as_string());
                                 valid_options++;                                  valid_options++;
                         }                          }
                         if(Value* vappend=options->get(MODE_APPEND)){                          if(Value* vappend=options->get(MODE_APPEND)){
Line 660  static void _save(Request& r, MethodPara Line 645  static void _save(Request& r, MethodPara
 static void _normalize(Request& r, MethodParams&) {  static void _normalize(Request& r, MethodParams&) {
         const String& src=GET_SELF(r, VString).string();          const String& src=GET_SELF(r, VString).string();
   
         r.write_assign_lang(src);          r.write(src);
 }  }
   
 static void _trim(Request& r, MethodParams& params) {  static void _trim(Request& r, MethodParams& params) {
Line 693  static void _trim(Request& r, MethodPara Line 678  static void _trim(Request& r, MethodPara
                 }                  }
         }          }
   
         r.write_assign_lang(src.trim(kind, chars, &r.charsets.source()));          r.write(src.trim(kind, chars, &r.charsets.source()));
 }  }
   
 static void _base64(Request& r, MethodParams& params) {  static void _base64(Request& r, MethodParams& params) {
Line 708  static void _base64(Request& r, MethodPa Line 693  static void _base64(Request& r, MethodPa
                         if(HashStringValue* options=params.as_hash(1)) {                          if(HashStringValue* options=params.as_hash(1)) {
                                 int valid_options=0;                                  int valid_options=0;
                                 if(Value* vstrict=options->get(BASE64_STRICT_OPTION_NAME)) {                                  if(Value* vstrict=options->get(BASE64_STRICT_OPTION_NAME)) {
                                         strict=r.process_to_value(*vstrict).as_bool();                                          strict=r.process(*vstrict).as_bool();
                                         valid_options++;                                          valid_options++;
                                 }                                  }
                                 if(valid_options!=options->count())                                  if(valid_options!=options->count())
Line 724  static void _base64(Request& r, MethodPa Line 709  static void _base64(Request& r, MethodPa
   
                         fix_line_breaks(decoded, length);                          fix_line_breaks(decoded, length);
                         if(length)                          if(length)
                                 r.write_assign_lang(*new String(decoded, String::L_TAINTED));                                  r.write(*new String(decoded, String::L_TAINTED));
                 }                  }
         } else {          } else {
                 // encode: ^str.base64[]                  // encode: ^str.base64[]
                 VString& self=GET_SELF(r, VString);                  VString& self=GET_SELF(r, VString);
                 const char* cstr=self.string().cstr();                  const char* cstr=self.string().cstr();
                 const char* encoded=pa_base64_encode(cstr, strlen(cstr));                  const char* encoded=pa_base64_encode(cstr, strlen(cstr));
                 r.write_assign_lang(*new String(encoded, String::L_TAINTED/*once ?param=base64(something) was needed*/));                  r.write(*new String(encoded, String::L_TAINTED/*once ?param=base64(something) was needed*/));
         }          }
 }  }
   
Line 739  static void _idna(Request& r, MethodPara Line 724  static void _idna(Request& r, MethodPara
         if(&r.get_self() == string_class) {          if(&r.get_self() == string_class) {
                 // decode: ^string:idna[encoded]                  // decode: ^string:idna[encoded]
                 const char* cstr=params.count() ? params.as_string(0, PARAMETER_MUST_BE_STRING).cstr() : "";                  const char* cstr=params.count() ? params.as_string(0, PARAMETER_MUST_BE_STRING).cstr() : "";
                 r.write_assign_lang(*new String(pa_idna_decode(cstr, r.charsets.source()), String::L_TAINTED));                  r.write(*new String(pa_idna_decode(cstr, r.charsets.source()), String::L_TAINTED));
         } else {          } else {
                 // encode: ^str.idna[]                  // encode: ^str.idna[]
                 VString& self=GET_SELF(r, VString);                  VString& self=GET_SELF(r, VString);
                 const char* cstr=self.string().cstr();                  const char* cstr=self.string().cstr();
                 r.write_assign_lang(*new String(pa_idna_encode(cstr, r.charsets.source()), String::L_TAINTED));                  r.write(*new String(pa_idna_encode(cstr, r.charsets.source()), String::L_TAINTED));
         }          }
 }  }
   
 static void _escape(Request& r, MethodParams&){  static void _js_escape(Request& r, MethodParams&){
         const String& src=GET_SELF(r, VString).string();          const String& src=GET_SELF(r, VString).string();
         r.write_assign_lang(src.escape(r.charsets.source()));          r.write(src.escape(r.charsets.source()));
 }  }
   
 static void _unescape(Request& r, MethodParams& params){  static void _js_unescape(Request& r, MethodParams& params){
         const String& src=params.as_string(0, PARAMETER_MUST_BE_STRING);          const String& src=params.as_string(0, PARAMETER_MUST_BE_STRING);
         if(const char* result=unescape_chars(src.cstr(), src.length(), &r.charsets.source(), true))          if(const char* result=unescape_chars(src.cstr(), src.length(), &r.charsets.source(), true))
                 r.write_assign_lang(*new String(result, String::L_TAINTED));                  r.write(*new String(result, String::L_TAINTED));
   }
   
   static void _unescape(Request& r, MethodParams& params){
           const String& mode=params.as_string(0, MODE_MUST_NOT_BE_CODE);
           const String& src=params.as_string(1, PARAMETER_MUST_BE_STRING);
   
           Charset* from_charset=&r.charsets.client();
   
           if(params.count() > 2)
                   if(HashStringValue* options=params.as_hash(2)) {
                           int valid_options=0;
                           if(Value* vcharset_name=options->get(PA_CHARSET_NAME)){
                                   from_charset=&pa_charsets.get(vcharset_name->as_string());
                                   valid_options++;
                           }
                           if(valid_options!=options->count())
                                   throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                   }
   
           bool mode_js;
           if(mode==UNESCAPE_MODE_JS){
                   mode_js=true;
           } else if(mode==UNESCAPE_MODE_URI){
                   mode_js=false;
           } else {
                   throw Exception(PARSER_RUNTIME, &mode, "is invalid mode, must be either '" UNESCAPE_MODE_JS "' or '" UNESCAPE_MODE_URI "'");
           }
   
           const char* unescaped=unescape_chars(src.cstr(), src.length(), from_charset, mode_js);
           if(*unescaped){
                   const String* result=new String(Charset::transcode(unescaped, *from_charset, r.charsets.source()), String::L_TAINTED);
                   r.write(*result);
           }
   }
   
   static void _contains(Request& r, MethodParams& params) {
           // empty or whitespace string is hash compatible
           GET_SELF(r, VString).get_element(params.as_string(0, "key must be string"));
           // ignoring result as it allways null
           r.write(VBool::get(false));
 }  }
   
 // constructor  // constructor
Line 794  MString::MString(): Methoded("string") { Line 819  MString::MString(): Methoded("string") {
         // ^string.split[delim][options]          // ^string.split[delim][options]
         // ^string.split[delim][options][column name]          // ^string.split[delim][options][column name]
         add_native_method("split", Method::CT_DYNAMIC, _split, 1, 3);          add_native_method("split", Method::CT_DYNAMIC, _split, 1, 3);
                 // old names for backward compatibility          // old names for backward compatibility
                 // ^string.lsplit[delim]          // ^string.lsplit[delim]
                 add_native_method("lsplit", Method::CT_DYNAMIC, _lsplit, 1, 1);          add_native_method("lsplit", Method::CT_DYNAMIC, _lsplit, 1, 1);
                 // ^string.rsplit[delim]          // ^string.rsplit[delim]
                 add_native_method("rsplit", Method::CT_DYNAMIC, _rsplit, 1, 1);          add_native_method("rsplit", Method::CT_DYNAMIC, _rsplit, 1, 1);
           
         // ^string.match[regexp][options]          // ^string.match[regexp][options]
         // ^string.match[regexp][options]{replacement-code}          // ^string.match[regexp][options]{replacement-code}
         // ^string.match[regexp][options]{replacement-code}{code-if-nothing-is-found}          // ^string.match[regexp][options]{replacement-code}{code-if-nothing-is-found}
Line 837  MString::MString(): Methoded("string") { Line 862  MString::MString(): Methoded("string") {
         add_native_method("idna", Method::CT_ANY, _idna, 0, 1);          add_native_method("idna", Method::CT_ANY, _idna, 0, 1);
   
         // ^string.js-escape[]          // ^string.js-escape[]
         add_native_method("js-escape", Method::CT_DYNAMIC, _escape, 0, 0);          add_native_method("js-escape", Method::CT_DYNAMIC, _js_escape, 0, 0);
   
         // ^string:js-unescape[escaped%uXXXXstring]          // ^string:js-unescape[escaped%uXXXXstring]
         add_native_method("js-unescape", Method::CT_STATIC, _unescape, 1, 1);          add_native_method("js-unescape", Method::CT_STATIC, _js_unescape, 1, 1);
 }         
           // ^string:unescape[js|uri;escaped;$.charset[...]]
           add_native_method("unescape", Method::CT_STATIC, _unescape, 2, 3);
   
           // ^string.contains[key] for hash compatibility
           add_native_method("contains", Method::CT_DYNAMIC, _contains, 1, 1);
   }
Removed from v.1.219  
changed lines
  Added in v.1.237

E-mail: