Annotation of parser3/src/classes/string.C, revision 1.245

1.24      paf         1: /** @file
                      2:        Parser: @b string parser class.
                      3: 
1.234     moko        4:        Copyright (c) 2001-2017 Art. Lebedev Studio (http://www.artlebedev.com)
1.97      paf         5:        Author: Alexandr Petrosian <paf@design.ru> (http://paf.design.ru)
1.113     paf         6: */
1.24      paf         7: 
1.43      paf         8: #include "classes.h"
1.126     paf         9: #include "pa_vmethod_frame.h"
1.241     moko       10: #include "pa_base64.h"
1.126     paf        11: 
1.1       paf        12: #include "pa_request.h"
                     13: #include "pa_vdouble.h"
                     14: #include "pa_vint.h"
1.17      paf        15: #include "pa_vtable.h"
1.25      paf        16: #include "pa_vbool.h"
1.27      paf        17: #include "pa_string.h"
1.53      parser     18: #include "pa_sql_connection.h"
1.71      parser     19: #include "pa_dictionary.h"
1.119     paf        20: #include "pa_vmethod_frame.h"
1.174     misha      21: #include "pa_vregex.h"
1.189     misha      22: #include "pa_charsets.h"
1.1       paf        23: 
1.245   ! moko       24: volatile const char * IDENT_STRING_C="$Id: string.C,v 1.244 2019/12/05 21:35:28 moko Exp $";
1.203     moko       25: 
1.41      paf        26: // class
                     27: 
1.126     paf        28: class MString: public Methoded {
1.41      paf        29: public:
1.126     paf        30:        MString();
1.41      paf        31: };
1.1       paf        32: 
1.126     paf        33: // global variable
                     34: 
1.224     moko       35: DECLARE_CLASS_VAR(string, new MString);
1.126     paf        36: 
1.196     moko       37: // void class, inherited from string and thus should be inited afterwards
                     38: 
                     39: class MVoid: public Methoded {
                     40: public:
                     41:        MVoid();
                     42: };
                     43: 
                     44: // void global variable should be after string global variable
                     45: 
1.224     moko       46: DECLARE_CLASS_VAR(void, new MVoid);
1.196     moko       47: 
1.126     paf        48: // defines for statics
                     49: 
                     50: #define MATCH_VAR_NAME "match"
1.162     misha      51: #define TRIM_START_OPTION "left"
                     52: #define TRIM_END_OPTION "right"
1.133     paf        53: #define TRIM_BOTH_OPTION "both"
1.126     paf        54: 
1.189     misha      55: #define MODE_APPEND "append"
                     56: 
1.220     moko       57: #define UNESCAPE_MODE_JS "js"
                     58: #define UNESCAPE_MODE_URI "uri"
                     59: 
1.126     paf        60: // statics
                     61: 
                     62: static const String match_var_name(MATCH_VAR_NAME);
                     63: 
1.1       paf        64: // methods
                     65: 
1.126     paf        66: static void _length(Request& r, MethodParams&) {
1.163     misha      67:        double result=GET_SELF(r, VString).string().length(r.charsets.source());
1.233     moko       68:        r.write(*new VDouble(result));
1.1       paf        69: }
                     70: 
1.126     paf        71: static void _int(Request& r, MethodParams& params) {
                     72:        const String& self_string=GET_SELF(r, VString).string();
1.72      parser     73:        int converted;
1.206     moko       74: 
                     75:        if(self_string.is_empty()) {
1.144     paf        76:                if(params.count()>0)
                     77:                        converted=params.as_int(0, "default must be int", r); // (default)
1.84      parser     78:                else
1.206     moko       79:                        throw Exception(PARSER_RUNTIME, 0, "unable to convert empty string without default specified");
                     80:        } else {
                     81:                try {
                     82:                        converted=self_string.as_int();
                     83:                } catch(...) { // convert problem
                     84:                        if(params.count()>0)
                     85:                                converted=params.as_int(0, "default must be int", r); // (default)
                     86:                        else
                     87:                                rethrow; // we have a problem when no default
                     88:                }
1.72      parser     89:        }
1.206     moko       90: 
1.233     moko       91:        r.write(*new VInt(converted));
1.1       paf        92: }
                     93: 
1.126     paf        94: static void _double(Request& r, MethodParams& params) {
                     95:        const String& self_string=GET_SELF(r, VString).string();
1.206     moko       96: 
                     97:        if(self_string.is_empty()) {
1.144     paf        98:                if(params.count()>0)
1.233     moko       99:                        r.write(*new VDouble(params.as_double(0, "default must be double", r))); // (default)
1.84      parser    100:                else
1.206     moko      101:                        throw Exception(PARSER_RUNTIME, 0, "unable to convert empty string without default specified");
                    102:        } else {
                    103:                try {
1.233     moko      104:                        r.write(*new VDouble(self_string.as_double()));
1.206     moko      105:                } catch(...) { // convert problem
                    106:                        if(params.count()>0)
1.233     moko      107:                                r.write(*new VDouble(params.as_double(0, "default must be double", r))); // (default)
1.206     moko      108:                        else
                    109:                                rethrow; // we have a problem when no default
                    110:                }
1.72      parser    111:        }
1.1       paf       112: }
                    113: 
1.151     misha     114: static void _bool(Request& r, MethodParams& params) {
                    115:        const String& self_string=GET_SELF(r, VString).string();
                    116:        bool converted;
1.206     moko      117:        const char *str=self_string.cstr();
                    118: 
                    119:        if(self_string.is_empty()) {
                    120:                if(params.count()>0)
                    121:                        converted=params.as_bool(0, "default must be bool", r); // (default)
                    122:                else
                    123:                        throw Exception(PARSER_RUNTIME, 0, "unable to convert empty string without default specified");
1.207     moko      124:        } else if( (str[0]=='T' || str[0]=='t') && (str[1]=='R' || str[1]=='r') && (str[2]=='U' || str[2]=='u') &&
1.206     moko      125:                   (str[3]=='E' || str[3]=='e') && str[4]==0 ) { // "true"
                    126:                converted=true;
1.207     moko      127:        } else if( (str[0]=='F' || str[0]=='f') && (str[1]=='A' || str[1]=='a') && (str[2]=='L' || str[2]=='l') &&
1.206     moko      128:                   (str[3]=='S' || str[3]=='s') && (str[4]=='E' || str[4]=='e') && str[5]==0 ) { // "false"
                    129:                converted=false;
                    130:        } else {
1.158     misha     131:                try {
                    132:                        converted=self_string.as_bool();
1.206     moko      133:                } catch(...) { // convert problem
                    134:                        if(params.count()>0)
                    135:                                converted=params.as_bool(0, "default must be bool", r); // (default)
                    136:                        else
                    137:                                rethrow; // we have a problem when no default
1.158     misha     138:                }
1.151     misha     139:        }
                    140: 
1.233     moko      141:        r.write(VBool::get(converted));
1.151     misha     142: }
                    143: 
1.126     paf       144: /*not static*/void _string_format(Request& r, MethodParams& params) {
1.9       paf       145: 
1.126     paf       146:        Value& fmt_maybe_code=params[0];
1.95      paf       147:        // for some time due to stupid {} in original design
1.99      paf       148:        const String& fmt=r.process_to_string(fmt_maybe_code);
1.9       paf       149: 
1.159     misha     150:        const char* buf=format(r.get_self().as_double(), fmt.trim().cstrm());
1.63      parser    151: 
1.233     moko      152:        r.write(String(buf));
1.9       paf       153: }
1.11      paf       154: 
1.126     paf       155: static void _left(Request& r, MethodParams& params) {
1.244     moko      156:        int sn=params.as_int(0, "n must be int", r);
1.126     paf       157:        const String& string=GET_SELF(r, VString).string();
1.244     moko      158:        r.write(sn<0 ? string : string.mid(r.charsets.source(), 0, sn));
1.15      paf       159: }
                    160: 
1.126     paf       161: static void _right(Request& r, MethodParams& params) {
1.244     moko      162:        int sn=params.as_int(0, "n must be int", r);
1.216     moko      163:        if(sn>0){
1.244     moko      164:                size_t n=sn;
1.216     moko      165:                const String& string=GET_SELF(r, VString).string();
                    166:                size_t length=string.length(r.charsets.source());
1.233     moko      167:                r.write(n<length ? string.mid(r.charsets.source(), length-n, length, length) : string);
1.216     moko      168:        }
1.15      paf       169: }
                    170: 
1.126     paf       171: static void _mid(Request& r, MethodParams& params) {
                    172:        const String& string=GET_SELF(r, VString).string();
1.83      parser    173: 
1.245   ! moko      174:        int begin=params.as_int(0, "p must be int", r);
        !           175:        if(begin<0)
        !           176:                throw Exception(PARSER_RUNTIME, 0,  "p(%d) must be >=0", begin);
1.138     paf       177: 
                    178:        size_t end;
1.164     misha     179:        size_t length=0;
1.245   ! moko      180: 
1.138     paf       181:        if(params.count()>1) {
1.245   ! moko      182:                int n=params.as_int(1, "n must be int", r);
        !           183:                if(n<0)
        !           184:                        throw Exception(PARSER_RUNTIME, 0, "n(%d) must be >=0", n);
        !           185:                end=begin+n;
1.164     misha     186:        } else {
                    187:                length=string.length(r.charsets.source());
                    188:                end=length;
                    189:        }
1.163     misha     190: 
1.233     moko      191:        r.write(string.mid(r.charsets.source(), begin, end, length));
1.15      paf       192: }
                    193: 
1.126     paf       194: static void _pos(Request& r, MethodParams& params) {
                    195:        Value& substr=params.as_no_junction(0, "substr must not be code");
1.16      paf       196:        
1.126     paf       197:        const String& string=GET_SELF(r, VString).string();
1.245   ! moko      198:        int offset=0;
1.165     misha     199:        if(params.count()>1){
                    200:                offset=params.as_int(1, "n must be int", r);
                    201:                if(offset<0)
1.227     moko      202:                        throw Exception(PARSER_RUNTIME, 0, "n(%d) must be >=0", offset);
1.165     misha     203:        }
                    204: 
1.245   ! moko      205:        r.write(*new VInt((int)string.pos(r.charsets.source(), substr.as_string(), offset)));
1.16      paf       206: }
                    207: 
1.227     moko      208: static void split_list(MethodParams& params, int paramIndex, const String& string, ArrayString& result) {
1.126     paf       209:        Value& delim_value=params.as_no_junction(paramIndex, "delimiter must not be code");
1.227     moko      210:        string.split(result, 0, delim_value.as_string());
1.19      paf       211: }
                    212: 
1.118     paf       213: #define SPLIT_LEFT 0x0001
                    214: #define SPLIT_RIGHT 0x0010
                    215: #define SPLIT_HORIZONTAL 0x0100
                    216: #define SPLIT_VERTICAL 0x1000
                    217: 
1.126     paf       218: static int split_options(const String* options) {
1.118     paf       219:     struct Split_option {
1.126     paf       220:                const char* keyL;
                    221:                const char* keyU;
1.118     paf       222:                int setBit;
                    223:                int checkBit;
                    224:     } split_option[]={
                    225:                {"l", "L", SPLIT_LEFT, SPLIT_RIGHT}, // 0xVHRL
                    226:                {"r", "R", SPLIT_RIGHT, SPLIT_LEFT},
                    227:                {"h", "H", SPLIT_HORIZONTAL, SPLIT_VERTICAL},
                    228:                {"v", "V", SPLIT_VERTICAL, SPLIT_HORIZONTAL},
1.130     paf       229:                {0, 0, 0, 0}
1.118     paf       230:     };
                    231: 
                    232:        int result=0;
1.126     paf       233:        if(options) {
1.118     paf       234:                for(Split_option *o=split_option; o->keyL; o++) 
1.126     paf       235:                        if(options->pos(o->keyL)!=STRING_NOT_FOUND 
                    236:                                || (o->keyU && options->pos(o->keyU)!=STRING_NOT_FOUND)) {
1.118     paf       237:                                if(result & o->checkBit)
1.238     moko      238:                                        throw Exception(PARSER_RUNTIME, options, "conflicting split options");
1.118     paf       239:                                result |= o->setBit;
                    240:                        }
                    241:        }
                    242: 
                    243:        return result;
                    244: }
                    245: 
1.156     misha     246: static Table& split_vertical(ArrayString& pieces, bool right, const String* column_name) {
1.126     paf       247:        Table::columns_type columns(new ArrayString);
1.156     misha     248:        *columns+=column_name;
1.19      paf       249: 
1.126     paf       250:        Table& table=*new Table(columns, pieces.count());
1.118     paf       251:        if(right) { // right
1.126     paf       252:                for(int i=pieces.count(); --i>=0; ) {
                    253:                        Table::element_type row(new ArrayString);
                    254:                        *row+=pieces[i];
                    255:                        table+=row;
1.118     paf       256:                }
                    257:        } else { // left
1.126     paf       258:                Array_iterator<const String*> i(pieces);
1.118     paf       259:                while(i.has_next()) {
1.126     paf       260:                        Table::element_type row(new ArrayString);
                    261:                        *row+=i.next();
                    262:                        table+=row;
1.118     paf       263:                }
1.61      parser    264:        }
1.118     paf       265: 
1.126     paf       266:        return table;
1.19      paf       267: }
                    268: 
1.128     paf       269: static Table& split_horizontal(ArrayString& pieces, bool right) {
1.126     paf       270:        Table& table=*new Table(Table::columns_type(0) /* nameless */);
                    271:        Table::element_type row(new ArrayString(pieces.count()));
1.118     paf       272:        if(right) { // right
1.131     paf       273:                for(int i=pieces.count(); --i>=0; )
1.126     paf       274:                        *row+=pieces[i];
1.118     paf       275:        } else { // left
1.126     paf       276:                for(Array_iterator<const String*> i(pieces); i.has_next(); )
                    277:                        *row+=i.next();
1.118     paf       278:        }
1.126     paf       279:        table+=row;
1.118     paf       280: 
1.126     paf       281:        return table;
1.118     paf       282: }
                    283: 
1.238     moko      284: static void split_with_options(Request& r, MethodParams& params, int bits) {
1.126     paf       285:        const String& string=GET_SELF(r, VString).string();
1.176     misha     286:        size_t params_count=params.count();
1.19      paf       287: 
1.126     paf       288:        ArrayString pieces;
1.128     paf       289:        split_list(params, 0, string, pieces);
1.19      paf       290: 
1.118     paf       291:        if(!bits) {
1.126     paf       292:                const String* options=0;
1.176     misha     293:                if(params_count>1)
1.187     misha     294:                        options=&params.as_string(1, OPTIONS_MUST_NOT_BE_CODE);
1.118     paf       295:                bits=split_options(options);
                    296:        }
1.21      paf       297: 
1.118     paf       298:        bool right=(bits & SPLIT_RIGHT) != 0;
                    299:        bool horizontal=(bits & SPLIT_HORIZONTAL) !=0;
1.156     misha     300: 
                    301:        const String* column_name=0;
1.176     misha     302:        if(params_count>2){
1.156     misha     303:                column_name=&params.as_string(2, COLUMN_NAME_MUST_BE_STRING);
1.178     misha     304:                if (horizontal && !column_name->is_empty()) 
1.238     moko      305:                        throw Exception(PARSER_RUNTIME, column_name, "column name can't be specified with horisontal split");
1.156     misha     306:        } 
1.178     misha     307:        if(!column_name || column_name->is_empty())
1.156     misha     308:                column_name=new String("piece");
                    309: 
                    310:        Table& table=horizontal?split_horizontal(pieces, right):split_vertical(pieces, right, column_name);
1.17      paf       311: 
1.233     moko      312:        r.write(*new VTable(&table));
1.118     paf       313: }
1.126     paf       314: static void _split(Request& r, MethodParams& params) {
                    315:        split_with_options(r, params, 0 /* maybe-determine from param #2 */);
1.118     paf       316: }
1.126     paf       317: static void _lsplit(Request& r, MethodParams& params) {
                    318:        split_with_options(r, params, SPLIT_LEFT);
1.118     paf       319: }
1.126     paf       320: static void _rsplit(Request& r, MethodParams& params) {
                    321:        split_with_options(r, params, SPLIT_RIGHT);
1.17      paf       322: }
                    323: 
1.126     paf       324: static void search_action(Table& table, Table::element_type row, int, int, int, int, void *) {
1.28      paf       325:        if(row)
                    326:                table+=row;
1.27      paf       327: }
                    328: 
1.74      parser    329: #ifndef DOXYGEN
1.27      paf       330: struct Replace_action_info {
1.181     misha     331:        Request* request;
                    332:        const String* src;
                    333:        String* dest;
1.126     paf       334:        VTable* vtable;
                    335:        Value* replacement_code;
1.27      paf       336: };
1.74      parser    337: #endif
1.105     paf       338: /// @todo they can do $global[$result] there, getting pointer to later-invalid local var, kill this
1.238     moko      339: static void replace_action(Table& table, ArrayString* row, int prestart, int prefinish, int poststart, int postfinish, void *info) {
1.27      paf       340:        Replace_action_info& ai=*static_cast<Replace_action_info *>(info);
1.31      paf       341:        if(row) { // begin&middle
1.104     paf       342:                // piece from last match['prestart'] to beginning of this match['prefinish']
                    343:                if(prestart!=prefinish)
                    344:                        *ai.dest << ai.src->mid(prestart, prefinish);//ai.dest->APPEND_CONST("-");
1.51      parser    345:                // store found parts in one-record VTable
1.126     paf       346:                if(table.count()) // middle
1.32      paf       347:                        table.put(0, row);
                    348:                else // begin
1.30      paf       349:                        table+=row;
1.181     misha     350: 
1.30      paf       351:                { // execute 'replacement_code' in 'table' context
1.181     misha     352:                        if(ai.replacement_code){
                    353:                                ai.vtable->set_table(table);
                    354:                                *ai.dest << ai.request->process_to_string(*ai.replacement_code);
                    355:                        }
1.29      paf       356:                }
                    357:        } else // end
1.104     paf       358:                *ai.dest << ai.src->mid(poststart, postfinish);
1.27      paf       359: }
                    360: 
1.126     paf       361: static void _match(Request& r, MethodParams& params) {
1.174     misha     362:        size_t params_count=params.count();
                    363: 
1.126     paf       364:        Value& regexp=params.as_no_junction(0, "regexp must not be code");
1.187     misha     365:        Value* options=(params_count>1)?&params.as_no_junction(1, OPTIONS_MUST_NOT_BE_CODE):0;
1.174     misha     366: 
                    367:        VRegex* vregex;
                    368:        VRegexCleaner vrcleaner;
1.126     paf       369: 
1.188     misha     370:        if(Value* value=regexp.as(VREGEX_TYPE)){
1.174     misha     371:                if(options && options->is_defined())
1.237     moko      372:                        throw Exception(PARSER_RUNTIME, 0, "you can not specify regex-object and options together");
1.174     misha     373:                vregex=static_cast<VRegex*>(value);
                    374:        } else {
1.237     moko      375:                vregex=new VRegex(r.charsets.source(), &regexp.as_string(), (options) ? (&options->as_string()) : 0);
1.175     misha     376:                vregex->study();
1.174     misha     377:                vrcleaner.vregex=vregex;
                    378:        }
1.126     paf       379: 
                    380:        const String& src=GET_SELF(r, VString).string();
1.152     misha     381:        int matches_count=0;
1.174     misha     382: 
                    383:        if(params_count<3) { // search
1.237     moko      384:                Table* table=src.match(vregex, search_action, 0, matches_count);
1.174     misha     385: 
1.152     misha     386:                if(table){
1.233     moko      387:                        r.write(*new VTable(table));
1.152     misha     388:                } else {
1.233     moko      389:                        r.write(*new VInt(matches_count));
1.152     misha     390:                }
                    391: 
1.27      paf       392:        } else { // replace
1.181     misha     393: 
                    394:                Value* replacement_code=0;
                    395:                bool is_junction=false;
                    396: 
                    397:                Value* replacement=&params[2];
                    398:                if(replacement->get_junction()){
                    399:                        replacement_code=replacement;
                    400:                        is_junction=true;
                    401:                } else if(replacement->is_string()){
                    402:                        if(replacement->is_defined())
                    403:                                replacement_code=replacement;
                    404:                } else if(!replacement->is_void())
1.238     moko      405:                        throw Exception(PARSER_RUNTIME, 0, "replacement option should be junction or string");
1.106     paf       406: 
1.238     moko      407:                Value* default_code=(params_count==4) ? &params.as_junction(3, "default value must be code") : 0;
1.192     misha     408: 
1.126     paf       409:                String result;
                    410:                VTable* vtable=new VTable;
1.130     paf       411:                Replace_action_info info={
                    412:                        &r,
                    413:                        &src,
                    414:                        &result,
                    415:                        vtable,
1.181     misha     416:                        replacement_code
1.130     paf       417:                };
1.181     misha     418: 
1.191     misha     419:                if(is_junction){
1.211     moko      420:                        Temp_value_element temp(r, *replacement_code->get_junction()->method_frame, match_var_name, vtable);
1.191     misha     421:                        src.match(vregex, replace_action, &info, matches_count);
                    422:                } else {
                    423:                        src.match(vregex, replace_action, &info, matches_count);
                    424:                }
1.181     misha     425: 
1.192     misha     426:                if(!matches_count && default_code)
                    427:                        r.process_write(*default_code);
                    428:                else
1.233     moko      429:                        r.write(result);
1.27      paf       430:        }
1.24      paf       431: }
                    432: 
1.238     moko      433: static void change_case(Request& r, MethodParams&, String::Change_case_kind kind) {
1.126     paf       434:        const String& src=GET_SELF(r, VString).string();
1.49      parser    435: 
1.233     moko      436:        r.write(src.change_case(r.charsets.source(), kind));
1.49      parser    437: }
1.126     paf       438: static void _upper(Request& r, MethodParams& params) {
                    439:        change_case(r, params, String::CC_UPPER);
1.49      parser    440: }
1.126     paf       441: static void _lower(Request& r, MethodParams& params) {
                    442:        change_case(r, params, String::CC_LOWER);
1.49      parser    443: }
                    444: 
1.65      parser    445: #ifndef DOXYGEN
1.126     paf       446: class String_sql_event_handlers: public SQL_Driver_query_event_handlers {
                    447:        bool got_column;
1.65      parser    448: public:
1.126     paf       449:        bool got_cell;
1.208     moko      450:        const String* result;
1.126     paf       451: public:
1.240     moko      452:        String_sql_event_handlers():
1.126     paf       453:                got_column(false),
                    454:                got_cell(false),
1.208     moko      455:                result(&String::Empty) {}
1.65      parser    456: 
1.128     paf       457:        bool add_column(SQL_Error& error, const char* /*str*/, size_t /*length*/) {
1.124     paf       458:                if(got_column) {
1.240     moko      459:                        error=SQL_Error("result must contain exactly one column");
1.124     paf       460:                        return true;
                    461:                }
1.65      parser    462:                got_column=true;
1.124     paf       463:                return false;
1.65      parser    464:        }
1.124     paf       465:        bool before_rows(SQL_Error& /*error*/ ) { /* ignore */ return false; }
                    466:        bool add_row(SQL_Error& /*error*/) { /* ignore */ return false; }
1.210     moko      467:        bool add_row_cell(SQL_Error& error, const char* str, size_t) {
1.124     paf       468:                if(got_cell) {
1.240     moko      469:                        error=SQL_Error("result must not contain more then one row");
1.124     paf       470:                        return true;
                    471:                }
                    472:                try {
                    473:                        got_cell=true;
1.208     moko      474:                        result=new String(str, String::L_TAINTED /* no length as 0x00 can be inside */ );
1.124     paf       475:                        return false;
                    476:                } catch(...) {
1.235     moko      477:                        error=SQL_Error("exception occurred in String_sql_event_handlers::add_row_cell");
1.124     paf       478:                        return true;
                    479:                }
1.65      parser    480:        }
                    481: };
                    482: #endif
1.239     moko      483: 
1.141     paf       484: extern int marshal_binds(HashStringValue& hash, SQL_Driver::Placeholder*& placeholders);
                    485: extern void unmarshal_bind_updates(HashStringValue& hash, int placeholder_count, SQL_Driver::Placeholder* placeholders);
                    486: 
1.204     moko      487: const String* sql_result_string(Request& r, MethodParams& params, Value*& default_code) {
1.126     paf       488:        Value& statement=params.as_junction(0, "statement must be code");
1.53      parser    489: 
1.141     paf       490:        HashStringValue* bind=0;
1.160     misha     491:        ulong limit=SQL_NO_LIMIT;
1.70      parser    492:        ulong offset=0;
1.81      parser    493:        default_code=0;
1.199     misha     494:        if(params.count()>1)
1.205     misha     495:                if(HashStringValue* options=params.as_hash(1, "sql options")) {
1.199     misha     496:                        int valid_options=0;
                    497:                        if(Value* vbind=options->get(sql_bind_name)) {
                    498:                                valid_options++;
                    499:                                bind=vbind->get_hash();
                    500:                        }
                    501:                        if(Value* vlimit=options->get(sql_limit_name)) {
                    502:                                valid_options++;
1.230     moko      503:                                limit=(ulong)r.process(*vlimit).as_double();
1.199     misha     504:                        }
                    505:                        if(Value* voffset=options->get(sql_offset_name)) {
                    506:                                valid_options++;
1.230     moko      507:                                offset=(ulong)r.process(*voffset).as_double();
1.199     misha     508:                        }
                    509:                        if((default_code=options->get(sql_default_name))) {
                    510:                                valid_options++;
                    511:                        }
                    512:                        if(valid_options!=options->count())
                    513:                                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
1.200     misha     514:                }
1.70      parser    515: 
1.141     paf       516:        SQL_Driver::Placeholder* placeholders=0;
                    517:        uint placeholders_count=0;
                    518:        if(bind)
                    519:                placeholders_count=marshal_binds(*bind, placeholders);
                    520: 
1.99      paf       521:        const String& statement_string=r.process_to_string(statement);
1.232     moko      522:        const char* statement_cstr=statement_string.untaint_cstr(String::L_SQL, r.connection());
1.183     misha     523: 
1.240     moko      524:        String_sql_event_handlers handlers;
1.160     misha     525: 
1.240     moko      526:        r.connection()->query(statement_cstr, placeholders_count, placeholders, offset, limit, handlers, statement_string);
1.53      parser    527:        
1.141     paf       528:        if(bind)
                    529:                unmarshal_bind_updates(*bind, placeholders_count, placeholders);
                    530: 
1.65      parser    531:        if(!handlers.got_cell)
                    532:                return 0; // no lines, caller should return second param[default value]
1.62      parser    533: 
1.208     moko      534:        return handlers.result;
1.53      parser    535: }
                    536: 
1.126     paf       537: static void _sql(Request& r, MethodParams& params) {
1.53      parser    538: 
1.126     paf       539:        Value* default_code;
1.204     moko      540:        const String* string=sql_result_string(r, params, default_code);
1.62      parser    541:        if(!string) {
1.81      parser    542:                if(default_code) {
1.99      paf       543:                        string=&r.process_to_string(*default_code);
1.68      parser    544:                } else
1.238     moko      545:                        throw Exception(PARSER_RUNTIME, 0, "produced no result, but no default option specified");
1.62      parser    546:        }
1.100     paf       547: 
1.233     moko      548:        r.write(*string);
1.53      parser    549: }
                    550: 
1.126     paf       551: static void _replace(Request& r, MethodParams& params) {
                    552:        const String& src=GET_SELF(r, VString).string();
1.71      parser    553: 
1.201     misha     554:        if(params.count()==1) {
                    555:                // ^string.replace[table]
1.205     misha     556:                Table* table=params.as_table(0, "param");
1.201     misha     557:                Dictionary dict(*table);
1.233     moko      558:                r.write(src.replace(dict));
1.201     misha     559:        } else {
                    560:                // ^string.replace[from-string;to-string]
1.238     moko      561:                Dictionary dict(params.as_string(0, "from must be string"), params.as_string(1, "to must be string"));
1.233     moko      562:                r.write(src.replace(dict));
1.201     misha     563:        }
1.71      parser    564: 
                    565: }
1.79      parser    566: 
1.126     paf       567: static void _save(Request& r, MethodParams& params) {
1.189     misha     568:        bool do_append=false;
                    569:        Charset* asked_charset=0;
                    570: 
                    571:        size_t file_name_index=0;
1.214     moko      572:        if(params.count()>1) {
1.189     misha     573:                if(HashStringValue* options=params.as_no_junction(1, "second parameter should be string or hash").get_hash()){
1.205     misha     574:                        // ^file.save[filespec;$.charset[] $.append(true)]
1.190     misha     575:                        int valid_options=0;
1.189     misha     576:                        if(Value* vcharset_name=options->get(PA_CHARSET_NAME)){
1.229     moko      577:                                asked_charset=&pa_charsets.get(vcharset_name->as_string());
1.189     misha     578:                                valid_options++;
                    579:                        }
                    580:                        if(Value* vappend=options->get(MODE_APPEND)){
                    581:                                do_append=vappend->as_bool();
                    582:                                valid_options++;
                    583:                        }
                    584:                        if(valid_options != options->count())
1.194     misha     585:                                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
1.189     misha     586:                } else {
1.205     misha     587:                        // ^file.save[append;filespec]
1.189     misha     588:                        const String& mode=params.as_string(0, "mode must be string");
                    589:                        if(mode==MODE_APPEND){
                    590:                                do_append=true;
                    591:                                file_name_index++;
                    592:                        } else
                    593:                                throw Exception(PARSER_RUNTIME,
                    594:                                        &mode,
                    595:                                        "unknown mode, must be 'append'");
                    596:                }
1.214     moko      597:        }
1.79      parser    598: 
1.189     misha     599:        const String& file_name=params.as_string(file_name_index, FILE_NAME_MUST_BE_STRING);
1.126     paf       600:        const String& src=GET_SELF(r, VString).string();
1.79      parser    601: 
1.209     moko      602:        String::Body sbody=src.cstr_to_string_body_untaint(String::L_AS_IS, r.connection(false), &r.charsets);
1.87      paf       603: 
1.79      parser    604:        // write
1.189     misha     605:        file_write(r.charsets, r.absolute(file_name), sbody.cstr(), sbody.length(), true, do_append, asked_charset);
1.79      parser    606: }
                    607: 
1.126     paf       608: static void _normalize(Request& r, MethodParams&) {
                    609:        const String& src=GET_SELF(r, VString).string();
                    610: 
1.233     moko      611:        r.write(src);
1.109     paf       612: }
                    613: 
1.133     paf       614: static void _trim(Request& r, MethodParams& params) {
                    615:        const String& src=GET_SELF(r, VString).string();
                    616: 
                    617:        String::Trim_kind kind=String::TRIM_BOTH;
1.176     misha     618:        size_t params_count=params.count();
1.133     paf       619:        const char* chars=0;
1.176     misha     620:        if(params_count>0) {
                    621:                const String& skind=params.as_string(0, "'where' must be string");
1.214     moko      622:                if(!skind.is_empty()) {
1.162     misha     623:                        if(skind==TRIM_BOTH_OPTION)
                    624:                                kind=String::TRIM_BOTH;
                    625:                        else if(skind==TRIM_START_OPTION || skind=="start")
1.137     paf       626:                                kind=String::TRIM_START;
1.162     misha     627:                        else if(skind==TRIM_END_OPTION || skind=="end")
1.137     paf       628:                                kind=String::TRIM_END;
1.218     moko      629:                        else if(params_count==1)
                    630:                                chars=skind.cstr();
1.137     paf       631:                        else
1.238     moko      632:                                throw Exception(PARSER_RUNTIME, &skind, "'kind' must be one of " TRIM_START_OPTION ", " TRIM_BOTH_OPTION ", " TRIM_END_OPTION);
1.214     moko      633:                }
1.133     paf       634: 
1.176     misha     635:                if(params_count>1) {
1.136     paf       636:                        const String& schars=params.as_string(1, "'chars' must be string");
1.178     misha     637:                        if(!schars.is_empty())
1.137     paf       638:                                chars=schars.cstr();
1.136     paf       639:                }
1.133     paf       640:        }
                    641: 
1.233     moko      642:        r.write(src.trim(kind, chars, &r.charsets.source()));
1.133     paf       643: }
                    644: 
1.241     moko      645: Base64Options base64_encode_options(Request& r, HashStringValue* options) {
                    646:        Base64Options result;
                    647:        if(options) {
                    648:                int valid_options=0;
                    649:                for(HashStringValue::Iterator i(*options); i; i.next()) {
                    650:                        String::Body key=i.key();
                    651:                        Value* value=i.value();
                    652:                        if(key == "pad") {
                    653:                                result.pad=r.process(*value).as_bool();
                    654:                                valid_options++;
                    655:                        } else if(key == "wrap") {
                    656:                                result.wrap=r.process(*value).as_bool();
                    657:                                valid_options++;
                    658:                        } else if(key == "url-safe") {
                    659:                                if(r.process(*value).as_bool())
                    660:                                        result.set_url_safe_abc();
                    661:                                valid_options++;
                    662:                        }
                    663:                }
                    664: 
                    665:                if(valid_options != options->count())
                    666:                        throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                    667:        }
                    668:        return result;
                    669: }
                    670: 
                    671: Base64Options base64_decode_options(Request& r, HashStringValue* options) {
                    672:        Base64Options result;
                    673:        if(options) {
                    674:                int valid_options=0;
                    675:                for(HashStringValue::Iterator i(*options); i; i.next() ) {
                    676:                        String::Body key=i.key();
                    677:                        Value* value=i.value();
                    678:                        if(key == "pad") {
                    679:                                result.pad=r.process(*value).as_bool();
                    680:                                valid_options++;
                    681:                        } else if(key == "strict") {
                    682:                                result.strict=r.process(*value).as_bool();
                    683:                                valid_options++;
                    684:                        } else if(key == "url-safe") {
                    685:                                if(r.process(*value).as_bool())
                    686:                                        result.set_url_safe_abc();
                    687:                                valid_options++;
                    688:                        }
                    689:                }
                    690: 
                    691:                if(valid_options != options->count())
                    692:                        throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                    693:        }
                    694:        return result;
                    695: }
                    696: 
1.146     paf       697: static void _base64(Request& r, MethodParams& params) {
1.219     moko      698:        if(&r.get_self() == string_class) {
1.241     moko      699:                // decode: ^string:base64[encoded[;options]]
1.219     moko      700:                const char* cstr=params.count() ? params.as_string(0, PARAMETER_MUST_BE_STRING).cstr() : "";
1.241     moko      701:                Base64Options options = base64_decode_options(r, params.count() > 1 ? params.as_hash(1) : NULL);
                    702: 
1.169     misha     703:                char* decoded=0;
1.243     moko      704:                size_t length=pa_base64_decode(cstr, strlen(cstr), decoded, options);
1.202     misha     705: 
1.169     misha     706:                if(decoded && length){
1.242     moko      707:                        if(memchr(decoded, 0, length))
                    708:                                throw Exception(PARSER_RUNTIME, 0, "Invalid \\x00 character found while decoding to string. Decode to file instead.");
1.169     misha     709: 
                    710:                        fix_line_breaks(decoded, length);
1.242     moko      711: 
1.179     misha     712:                        if(length)
1.233     moko      713:                                r.write(*new String(decoded, String::L_TAINTED));
1.169     misha     714:                }
1.147     paf       715:        } else {
1.241     moko      716:                // encode: ^str.base64[options]
1.148     paf       717:                VString& self=GET_SELF(r, VString);
                    718:                const char* cstr=self.string().cstr();
1.241     moko      719:                Base64Options options = base64_encode_options(r, params.count() ? params.as_hash(0) : NULL);
                    720:                const char* encoded=pa_base64_encode(cstr, strlen(cstr), options);
                    721:                r.write(*new String(encoded, String::L_TAINTED /*once ?param=base64(something) was needed*/ ));
1.146     paf       722:        }
                    723: }
                    724: 
1.215     moko      725: static void _idna(Request& r, MethodParams& params) {
1.219     moko      726:        if(&r.get_self() == string_class) {
1.215     moko      727:                // decode: ^string:idna[encoded]
1.219     moko      728:                const char* cstr=params.count() ? params.as_string(0, PARAMETER_MUST_BE_STRING).cstr() : "";
1.233     moko      729:                r.write(*new String(pa_idna_decode(cstr, r.charsets.source()), String::L_TAINTED));
1.215     moko      730:        } else {
                    731:                // encode: ^str.idna[]
                    732:                VString& self=GET_SELF(r, VString);
                    733:                const char* cstr=self.string().cstr();
1.233     moko      734:                r.write(*new String(pa_idna_encode(cstr, r.charsets.source()), String::L_TAINTED));
1.215     moko      735:        }
                    736: }
                    737: 
1.220     moko      738: static void _js_escape(Request& r, MethodParams&){
1.167     misha     739:        const String& src=GET_SELF(r, VString).string();
1.233     moko      740:        r.write(src.escape(r.charsets.source()));
1.167     misha     741: }
                    742: 
1.220     moko      743: static void _js_unescape(Request& r, MethodParams& params){
1.167     misha     744:        const String& src=params.as_string(0, PARAMETER_MUST_BE_STRING);
1.193     misha     745:        if(const char* result=unescape_chars(src.cstr(), src.length(), &r.charsets.source(), true))
1.233     moko      746:                r.write(*new String(result, String::L_TAINTED));
1.167     misha     747: }
                    748: 
1.220     moko      749: static void _unescape(Request& r, MethodParams& params){
                    750:        const String& mode=params.as_string(0, MODE_MUST_NOT_BE_CODE);
                    751:        const String& src=params.as_string(1, PARAMETER_MUST_BE_STRING);
                    752: 
                    753:        Charset* from_charset=&r.charsets.client();
                    754: 
                    755:        if(params.count() > 2)
                    756:                if(HashStringValue* options=params.as_hash(2)) {
                    757:                        int valid_options=0;
                    758:                        if(Value* vcharset_name=options->get(PA_CHARSET_NAME)){
1.229     moko      759:                                from_charset=&pa_charsets.get(vcharset_name->as_string());
1.220     moko      760:                                valid_options++;
                    761:                        }
                    762:                        if(valid_options!=options->count())
                    763:                                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                    764:                }
                    765: 
                    766:        bool mode_js;
                    767:        if(mode==UNESCAPE_MODE_JS){
                    768:                mode_js=true;
                    769:        } else if(mode==UNESCAPE_MODE_URI){
                    770:                mode_js=false;
                    771:        } else {
1.228     moko      772:                throw Exception(PARSER_RUNTIME, &mode, "is invalid mode, must be either '" UNESCAPE_MODE_JS "' or '" UNESCAPE_MODE_URI "'");
1.220     moko      773:        }
                    774: 
                    775:        const char* unescaped=unescape_chars(src.cstr(), src.length(), from_charset, mode_js);
                    776:        if(*unescaped){
1.221     moko      777:                const String* result=new String(Charset::transcode(unescaped, *from_charset, r.charsets.source()), String::L_TAINTED);
1.233     moko      778:                r.write(*result);
1.220     moko      779:        }
                    780: }
                    781: 
1.225     moko      782: static void _contains(Request& r, MethodParams& params) {
                    783:        // empty or whitespace string is hash compatible
                    784:        GET_SELF(r, VString).get_element(params.as_string(0, "key must be string"));
                    785:        // ignoring result as it allways null
1.233     moko      786:        r.write(VBool::get(false));
1.225     moko      787: }
                    788: 
1.41      paf       789: // constructor
                    790: 
1.126     paf       791: MString::MString(): Methoded("string") {
1.1       paf       792:        // ^string.length[]
1.41      paf       793:        add_native_method("length", Method::CT_DYNAMIC, _length, 0, 0);
1.6       paf       794:        
1.1       paf       795:        // ^string.int[]
1.72      parser    796:        // ^string.int(default)
                    797:        add_native_method("int", Method::CT_DYNAMIC, _int, 0, 1);
1.1       paf       798:        // ^string.double[]
1.72      parser    799:        // ^string.double(default)
                    800:        add_native_method("double", Method::CT_DYNAMIC, _double, 0, 1);
1.151     misha     801:        // ^void.bool[]
                    802:        // ^void.bool(default)
                    803:        add_native_method("bool", Method::CT_DYNAMIC, _bool, 0, 1);
1.9       paf       804: 
1.165     misha     805:        // ^string.format[format]
1.41      paf       806:        add_native_method("format", Method::CT_DYNAMIC, _string_format, 1, 1);
1.14      paf       807: 
1.15      paf       808:        // ^string.left(n)
1.41      paf       809:        add_native_method("left", Method::CT_DYNAMIC, _left, 1, 1);
1.15      paf       810:        // ^string.right(n)
1.41      paf       811:        add_native_method("right", Method::CT_DYNAMIC, _right, 1, 1);
1.165     misha     812:        // ^string.mid(p)
1.15      paf       813:        // ^string.mid(p;n)
1.82      parser    814:        add_native_method("mid", Method::CT_DYNAMIC, _mid, 1, 2);
1.16      paf       815: 
                    816:        // ^string.pos[substr]
1.165     misha     817:        // ^string.pos[substr](n)
                    818:        add_native_method("pos", Method::CT_DYNAMIC, _pos, 1, 2);
1.17      paf       819: 
1.118     paf       820:        // ^string.split[delim]
                    821:        // ^string.split[delim][options]
1.156     misha     822:        // ^string.split[delim][options][column name]
                    823:        add_native_method("split", Method::CT_DYNAMIC, _split, 1, 3);
1.236     moko      824:        // old names for backward compatibility
                    825:        // ^string.lsplit[delim]
                    826:        add_native_method("lsplit", Method::CT_DYNAMIC, _lsplit, 1, 1);
                    827:        // ^string.rsplit[delim]
                    828:        add_native_method("rsplit", Method::CT_DYNAMIC, _rsplit, 1, 1);
                    829: 
1.32      paf       830:        // ^string.match[regexp][options]
                    831:        // ^string.match[regexp][options]{replacement-code}
1.192     misha     832:        // ^string.match[regexp][options]{replacement-code}{code-if-nothing-is-found}
                    833:        add_native_method("match", Method::CT_DYNAMIC, _match, 1, 4);
1.49      parser    834: 
1.165     misha     835:        // ^string.upper[]
1.49      parser    836:        add_native_method("upper", Method::CT_DYNAMIC, _upper, 0, 0);
1.165     misha     837:        // ^string.lower[]
1.49      parser    838:        add_native_method("lower", Method::CT_DYNAMIC, _lower, 0, 0);
1.53      parser    839: 
1.189     misha     840:        // ^string:sql{query}
                    841:        // ^string:sql{query}[options hash]
1.67      parser    842:        add_native_method("sql", Method::CT_STATIC, _sql, 1, 2);
1.71      parser    843: 
                    844:        // ^string.replace[table]
1.201     misha     845:        add_native_method("replace", Method::CT_DYNAMIC, _replace, 1, 2);
1.79      parser    846: 
1.189     misha     847:        // ^string.save[append][file]
                    848:        // ^string.save[file]
                    849:        // ^string.save[file][$.append(true) $.charset[...]]
1.87      paf       850:        add_native_method("save", Method::CT_DYNAMIC, _save, 1, 2);
1.109     paf       851: 
1.112     paf       852:        // ^string.normalize[]  
                    853:        add_native_method("normalize", Method::CT_DYNAMIC, _normalize, 0, 0);
1.133     paf       854: 
                    855:        // ^string.trim[[start|both|end][;chars]]
                    856:        add_native_method("trim", Method::CT_DYNAMIC, _trim, 0, 2);
1.139     paf       857: 
1.146     paf       858:        // ^string.base64[] << encode
1.215     moko      859:        // ^string:base64[encoded string] << decode
1.202     misha     860:        add_native_method("base64", Method::CT_ANY, _base64, 0, 2);
1.167     misha     861: 
1.215     moko      862:        // ^string.idna[] << encode
                    863:        // ^string:idna[encoded string] << decode
                    864:        add_native_method("idna", Method::CT_ANY, _idna, 0, 1);
                    865: 
1.168     misha     866:        // ^string.js-escape[]
1.220     moko      867:        add_native_method("js-escape", Method::CT_DYNAMIC, _js_escape, 0, 0);
1.189     misha     868: 
1.168     misha     869:        // ^string:js-unescape[escaped%uXXXXstring]
1.220     moko      870:        add_native_method("js-unescape", Method::CT_STATIC, _js_unescape, 1, 1);
                    871: 
                    872:        // ^string:unescape[js|uri;escaped;$.charset[...]]
                    873:        add_native_method("unescape", Method::CT_STATIC, _unescape, 2, 3);
1.225     moko      874: 
                    875:        // ^string.contains[key] for hash compatibility
                    876:        add_native_method("contains", Method::CT_DYNAMIC, _contains, 1, 1);
1.220     moko      877: }

E-mail: