Annotation of parser3/src/classes/array.C, revision 1.17

1.1       moko        1: /** @file
                      2:        Parser: @b array parser class.
                      3: 
                      4:        Copyright (c) 2001-2023 Art. Lebedev Studio (http://www.artlebedev.com)
                      5:        Authors: Konstantin Morshnev <moko@design.ru>, Alexandr Petrosian <paf@design.ru>
                      6: */
                      7: 
                      8: #include "classes.h"
                      9: #include "pa_vmethod_frame.h"
                     10: 
                     11: #include "pa_request.h"
                     12: #include "pa_charsets.h"
                     13: #include "pa_varray.h"
                     14: #include "pa_vvoid.h"
                     15: #include "pa_sql_connection.h"
                     16: #include "pa_vtable.h"
                     17: #include "pa_vbool.h"
                     18: #include "pa_vmethod_frame.h"
                     19: 
1.17    ! moko       20: volatile const char * IDENT_ARRAY_C="$Id: array.C,v 1.16 2024/10/02 17:58:15 moko Exp $";
1.1       moko       21: 
                     22: // class
                     23: 
                     24: class MArray: public Methoded {
                     25: public: // VStateless_class
                     26:        Value* create_new_value(Pool&) { return new VArray; }
                     27: 
                     28: public:
                     29:        MArray();
                     30: };
                     31: 
                     32: // global variable
                     33: 
                     34: DECLARE_CLASS_VAR(array, new MArray);
                     35: 
1.5       moko       36: const char* const PARAM_ARRAY_OR_HASH = "param must be array or hash";
1.7       moko       37: const char* const PARAM_INDEX = "index must be integer";
1.5       moko       38: 
1.1       moko       39: // methods
                     40: 
                     41: static void _create_or_add(Request& r, MethodParams& params) {
                     42:        if(params.count()) {
1.5       moko       43:                Value& vsrc=params.as_no_junction(0, PARAM_ARRAY_OR_HASH);
1.1       moko       44:                VArray& self=GET_SELF(r, VArray);
                     45:                ArrayValue& self_array=self.array();
                     46: 
1.3       moko       47:                if(VArray* src=dynamic_cast<VArray*>(&vsrc)) {
1.6       moko       48:                        if(src==&self)
1.14      moko       49:                                return;
                     50:                        if(self_array.count()){
                     51:                                for(ArrayValue::Iterator i(src->array()); i; i.next()){
                     52:                                        if(i.value())
                     53:                                                self_array.put(i.index(), i.value());
                     54:                                }
                     55:                        } else {
                     56:                                self_array.append(src->array());
                     57:                        }
1.1       moko       58:                } else {
1.15      moko       59:                        HashStringValue* src_hash=vsrc.as_hash("param must be array or");
1.5       moko       60:                        if(!src_hash)
                     61:                                return;
                     62:                        for(HashStringValue::Iterator i(*src_hash); i; i.next()){
1.7       moko       63:                                self_array.put(VArray::index(i.key()), i.value());
1.5       moko       64:                        }
1.1       moko       65:                }
1.4       moko       66:                self.invalidate();
1.1       moko       67:        }
                     68: }
                     69: 
1.6       moko       70: static ArrayValue::Action_options get_action_options(Request& r, MethodParams& params, size_t options_index) {
                     71:        ArrayValue::Action_options result;
                     72:        if(params.count() <= options_index)
                     73:                return result;
                     74: 
                     75:        HashStringValue* options=params.as_hash(options_index);
                     76:        if(!options)
                     77:                return result;
                     78: 
                     79:        result.defined=true;
                     80:        int valid_options=0;
                     81: 
                     82:        if(Value* voffset=options->get(sql_offset_name)) {
                     83:                valid_options++;
1.8       moko       84:                int offset=r.process(*voffset).as_int();
                     85:                result.offset=offset < 0 ? 0 : offset;
1.6       moko       86:        }
                     87:        if(Value* vlimit=options->get(sql_limit_name)) {
                     88:                valid_options++;
1.8       moko       89:                int limit=r.process(*vlimit).as_int();
                     90:                result.limit=limit < 0 ? 0: limit;
1.6       moko       91:        }
                     92: 
                     93:        if(valid_options!=options->count())
                     94:                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                     95: 
                     96:        return result;
                     97: }
                     98: 
                     99: static void _join(Request& r, MethodParams& params) {
1.7       moko      100:        Value& vsrc=params.as_no_junction(0, PARAM_ARRAY_OR_HASH);
1.6       moko      101:        ArrayValue::Action_options o=get_action_options(r, params, 1);
                    102: 
                    103:        VArray& self=GET_SELF(r, VArray);
                    104:        ArrayValue& self_array=self.array();
                    105: 
                    106:        if(VArray* src=dynamic_cast<VArray*>(&vsrc)) {
                    107:                if(src==&self)
                    108:                        throw Exception(PARSER_RUNTIME, 0, "source and destination are the same array");
                    109: 
                    110:                if(o.defined){
                    111:                        for(ArrayValue::Iterator i(src->array()); i; i.next()){
                    112:                                if(i.value()){
                    113:                                        if(o.offset > 0){
                    114:                                                o.offset--;
                    115:                                                continue;
                    116:                                        }
                    117:                                        if(o.limit-- == 0)
                    118:                                                break;
                    119:                                        self_array+=i.value();
                    120:                                }
                    121:                        }
                    122:                } else {
                    123:                        for(ArrayValue::Iterator i(src->array()); i; i.next()){
                    124:                                if(i.value())
                    125:                                        self_array+=i.value();
                    126:                        }
                    127:                }
1.7       moko      128:        } else {
1.15      moko      129:                HashStringValue* src_hash=vsrc.as_hash("param must be array or");
1.7       moko      130:                if(!src_hash)
                    131:                        return;
                    132:                if(o.defined){
                    133:                        for(HashStringValue::Iterator i(*src_hash); i; i.next()){
                    134:                                if(o.offset > 0){
                    135:                                        o.offset--;
                    136:                                        continue;
                    137:                                }
                    138:                                if(o.limit-- == 0)
                    139:                                        break;
                    140:                                self_array+=i.value();
                    141:                        }
                    142:                } else {
                    143:                        for(HashStringValue::Iterator i(*src_hash); i; i.next()){
                    144:                                self_array+=i.value();
                    145:                        }
                    146:                }
                    147:        }
                    148:        self.invalidate();
1.6       moko      149: }
                    150: 
1.11      moko      151: #ifndef DOXYGEN
                    152: 
                    153: #define STRING(str) ((str) ? *new String(str, String::L_TAINTED /* no length as 0x00 can be inside */) : String::Empty)
                    154: 
                    155: class SparseArray_sql_event_handlers: public SQL_Driver_query_event_handlers {
                    156:        bool distinct;
                    157:        ArrayValue& result;
                    158:        Value* row_value;
                    159:        int column_index;
1.12      moko      160:        ArrayString* columns;
1.11      moko      161:        bool one_bool_column;
                    162:        Table2hash_value_type value_type;
                    163:        int columns_count;
                    164: public:
                    165:        Table* empty;
                    166: public:
                    167:        SparseArray_sql_event_handlers(bool adistinct, ArrayValue& aresult, Table2hash_value_type avalue_type):
                    168:                distinct(adistinct),
                    169:                result(aresult),
                    170:                row_value(0),
                    171:                column_index(0),
1.12      moko      172:                columns(new ArrayString),
1.11      moko      173:                one_bool_column(false),
                    174:                value_type(avalue_type),
                    175:                empty(0) {
                    176:        }
                    177: 
                    178:        bool add_column(SQL_Error& error, const char* str, size_t ) {
                    179:                try {
1.12      moko      180:                        if(columns_count){
                    181:                                // another query in multi_statements mode
                    182:                                columns=new ArrayString;
                    183:                                columns_count=0;
                    184:                        }
                    185:                        *columns+=&STRING(str);
1.11      moko      186:                        return false;
                    187:                } catch(...) {
                    188:                        error=SQL_Error("exception occurred in Hash_sql_event_handlers::add_column");
                    189:                        return true;
                    190:                }
                    191:        }
                    192: 
                    193:        bool before_rows(SQL_Error& error) {
1.12      moko      194:                columns_count=columns->count();
                    195:                if(columns_count<1) {
1.11      moko      196:                        error=SQL_Error("no columns");
                    197:                        return true;
                    198:                }
1.12      moko      199:                if(columns_count==1) {
1.11      moko      200:                        one_bool_column=true;
                    201:                } else {
                    202:                        switch(value_type){
                    203:                                case C_STRING: {
1.12      moko      204:                                        if(columns_count>2){
                    205:                                                error=SQL_Error("only 2 columns allowed for $.type[string] and $.sparse(true)");
1.11      moko      206:                                                return true;
                    207:                                        }
                    208:                                        break;
                    209:                                }
                    210:                                case C_TABLE: {
                    211:                                        // create empty table which we'll copy later
1.12      moko      212:                                        empty=new Table(columns);
1.11      moko      213:                                        break;
                    214:                                }
                    215:                        }
                    216:                }
                    217:                return false;
                    218:        }
                    219: 
                    220:        bool add_row(SQL_Error& /*error*/) {
                    221:                column_index=0;
                    222:                return false;
                    223:        }
                    224: 
                    225:        bool add_row_cell(SQL_Error& error, const char *str, size_t ) {
                    226:                try {
1.12      moko      227:                        if(column_index==columns_count){
                    228:                                // should never happen, buggy driver case
                    229:                                error=SQL_Error("columns index exceed the columns count");
                    230:                                return true;
                    231:                        }
                    232: 
1.11      moko      233:                        bool duplicate=false;
                    234:                        if(one_bool_column) {
                    235:                                size_t index=str ? pa_atoui(str) : 0;
                    236:                                duplicate=result.put_dont_replace(index, &VBool::get(true));  // put. existed?
                    237:                        } else if(column_index==0) {
                    238:                                size_t index=str ? pa_atoui(str) : 0;
                    239:                                switch(value_type){
                    240:                                        case C_HASH: {
                    241:                                                VHash* row_vhash=new VHash;
                    242:                                                row_value=row_vhash;
                    243:                                                duplicate=result.put_dont_replace(index, row_vhash); // put. existed?
                    244:                                                break;
                    245:                                        }
                    246:                                        case C_STRING: {
                    247:                                                VString* row_vstring=new VString();
                    248:                                                row_value=row_vstring;
                    249:                                                duplicate=result.put_dont_replace(index, row_vstring);  // put. existed?
                    250:                                                break;
                    251:                                        }
                    252:                                        case C_TABLE: {
                    253:                                                VTable* vtable=(VTable*)result.get(index);
                    254: 
                    255:                                                if(vtable) { // table with this key exist?
                    256:                                                        if(!distinct) {
                    257:                                                                duplicate=true;
                    258:                                                                break;
                    259:                                                        }
                    260:                                                } else {
                    261:                                                        // no? creating table of same structure as source
                    262:                                                        Table::Action_options table_options(0, 0);
                    263:                                                        vtable=new VTable(new Table(*empty, table_options/*no rows, just structure*/));
                    264:                                                        result.put(index, vtable); // put
                    265:                                                }
                    266:                                                ArrayString* row=new ArrayString(columns_count);
                    267:                                                *row+=&STRING(str);
                    268:                                                *vtable->get_table()+=row;
1.12      moko      269:                                                row_value=(Value*)row;
1.11      moko      270:                                                break;
                    271:                                        }
                    272:                                }
                    273:                        } else {
                    274:                                const String& cell=STRING(str);
                    275:                                switch(value_type) {
                    276:                                        case C_HASH: {
1.12      moko      277:                                                row_value->get_hash()->put(*columns->get(column_index), new VString(cell));
1.11      moko      278:                                                break;
                    279:                                        }
                    280:                                        case C_STRING: {
                    281:                                                VString* row_string=(VString*)row_value;
                    282:                                                row_string->set_string(cell);
                    283:                                                break;
                    284:                                        }
                    285:                                        case C_TABLE: {
                    286:                                                ArrayString* row=(ArrayString*)row_value;
                    287:                                                *row+=&cell;
                    288:                                                break;
                    289:                                        }
                    290:                                }
                    291:                        }
                    292: 
                    293:                        if(duplicate & !distinct) {
                    294:                                error=SQL_Error("duplicate key");
                    295:                                return true;
                    296:                        }
                    297: 
                    298:                        column_index++;
                    299:                        return false;
                    300:                } catch(const Exception& e) {
                    301:                        error=SQL_Error(e.type(), e.comment());
                    302:                        return true;
                    303:                } catch(...) {
                    304:                        error=SQL_Error("exception occurred in Hash_sql_event_handlers::add_row_cell");
                    305:                        return true;
                    306:                }
                    307:        }
                    308: };
                    309: 
                    310: class Array_sql_event_handlers: public SQL_Driver_query_event_handlers {
                    311:        ArrayValue& result;
                    312:        Value* row_value;
                    313:        int column_index;
1.12      moko      314:        ArrayString* columns;
1.11      moko      315:        Table2hash_value_type value_type;
                    316:        int columns_count;
                    317: public:
                    318:        Table* empty;
                    319: public:
                    320:        Array_sql_event_handlers(ArrayValue& aresult, Table2hash_value_type avalue_type):
                    321:                result(aresult),
                    322:                row_value(0),
                    323:                column_index(0),
1.12      moko      324:                columns(new ArrayString),
1.11      moko      325:                value_type(avalue_type),
                    326:                empty(0) {
                    327:        }
                    328: 
                    329:        bool add_column(SQL_Error& error, const char* str, size_t ) {
                    330:                try {
1.12      moko      331:                        if(columns_count){
                    332:                                // another query in multi_statements mode
                    333:                                columns=new ArrayString;
                    334:                                columns_count=0;
                    335:                        }
                    336:                        *columns+=&STRING(str);
1.11      moko      337:                        return false;
                    338:                } catch(...) {
                    339:                        error=SQL_Error("exception occurred in Hash_sql_event_handlers::add_column");
                    340:                        return true;
                    341:                }
                    342:        }
                    343: 
                    344:        bool before_rows(SQL_Error& error) {
1.12      moko      345:                columns_count=columns->count();
                    346:                if(columns_count<1) {
1.11      moko      347:                        error=SQL_Error("no columns");
                    348:                        return true;
                    349:                }
                    350:                switch(value_type){
                    351:                        case C_STRING: {
1.12      moko      352:                                if(columns_count>1){
                    353:                                        error=SQL_Error("only one column allowed for $.type[string]");
1.11      moko      354:                                        return true;
                    355:                                }
                    356:                                break;
                    357:                        }
                    358:                        case C_TABLE: {
                    359:                                // create empty table which we'll copy later
1.12      moko      360:                                empty=new Table(columns);
1.11      moko      361:                                break;
                    362:                        }
                    363:                }
                    364:                return false;
                    365:        }
                    366: 
                    367:        bool add_row(SQL_Error& /*error*/) {
                    368:                column_index=0;
                    369:                return false;
                    370:        }
                    371: 
                    372:        bool add_row_cell(SQL_Error& error, const char *str, size_t ) {
                    373:                try {
1.12      moko      374:                        if(column_index==columns_count){
                    375:                                // should never happen, buggy driver case
                    376:                                error=SQL_Error("columns index exceed the columns count");
                    377:                                return true;
                    378:                        }
                    379: 
1.11      moko      380:                        if(column_index==0) {
                    381:                                switch(value_type){
                    382:                                        case C_HASH: {
                    383:                                                VHash* row_vhash=new VHash;
                    384:                                                row_value=row_vhash;
                    385:                                                result+=row_vhash;
                    386:                                                break;
                    387:                                        }
                    388:                                        case C_STRING: {
                    389:                                                VString* row_vstring=new VString();
                    390:                                                row_value=row_vstring;
                    391:                                                result+=row_vstring;
                    392:                                                break;
                    393:                                        }
                    394:                                        case C_TABLE: {
                    395:                                                // creating table of same structure as source
                    396:                                                Table::Action_options table_options(0, 0);
                    397:                                                VTable* vtable=new VTable(new Table(*empty, table_options/*no rows, just structure*/));
                    398:                                                ArrayString* row=new ArrayString(columns_count);
                    399:                                                *vtable->get_table()+=row;
1.12      moko      400:                                                row_value=(Value*)row;
                    401:                                                result+=vtable;
1.11      moko      402:                                                break;
                    403:                                        }
                    404:                                }
                    405:                        }
                    406: 
                    407:                        const String& cell=STRING(str);
                    408:                        switch(value_type) {
                    409:                                case C_HASH: {
1.12      moko      410:                                        row_value->get_hash()->put(*columns->get(column_index), new VString(cell));
1.11      moko      411:                                        break;
                    412:                                }
                    413:                                case C_STRING: {
                    414:                                        VString* row_string=(VString*)row_value;
                    415:                                        row_string->set_string(cell);
                    416:                                        break;
                    417:                                }
                    418:                                case C_TABLE: {
                    419:                                        ArrayString* row=(ArrayString*)row_value;
                    420:                                        *row+=&cell;
                    421:                                        break;
                    422:                                }
                    423:                        }
                    424: 
                    425:                        column_index++;
                    426:                        return false;
                    427:                } catch(const Exception& e) {
                    428:                        error=SQL_Error(e.type(), e.comment());
                    429:                        return true;
                    430:                } catch(...) {
                    431:                        error=SQL_Error("exception occurred in Hash_sql_event_handlers::add_row_cell");
                    432:                        return true;
                    433:                }
                    434:        }
                    435: };
                    436: 
                    437: #endif
                    438: 
                    439: extern Table2hash_value_type get_value_type(Value& vvalue_type);
                    440: extern int marshal_binds(HashStringValue& hash, SQL_Driver::Placeholder*& placeholders);
                    441: extern void unmarshal_bind_updates(HashStringValue& hash, int placeholder_count, SQL_Driver::Placeholder* placeholders);
                    442: 
                    443: static void _sql(Request& r, MethodParams& params) {
                    444:        Value& statement=params.as_junction(0, "statement must be code");
                    445: 
                    446:        HashStringValue* bind=0;
                    447:        ulong limit=SQL_NO_LIMIT;
                    448:        ulong offset=0;
                    449:        bool distinct=false;
                    450:        bool sparse=false;
                    451:        Table2hash_value_type value_type=C_HASH;
                    452:        if(params.count()>1)
                    453:                if(HashStringValue* options=params.as_hash(1, "sql options")) {
                    454:                        int valid_options=0;
1.13      moko      455:                        bool distinct_specified=false;
1.11      moko      456:                        for(HashStringValue::Iterator i(*options); i; i.next() ){
                    457:                                String::Body key=i.key();
                    458:                                Value* value=i.value();
                    459:                                if(key == sql_bind_name) {
                    460:                                        bind=value->get_hash();
                    461:                                        valid_options++;
                    462:                                } else if(key == sql_limit_name) {
                    463:                                        limit=(ulong)r.process(*value).as_double();
                    464:                                        valid_options++;
                    465:                                } else if(key == sql_offset_name) {
                    466:                                        offset=(ulong)r.process(*value).as_double();
                    467:                                        valid_options++;
                    468:                                } else if (key == sql_distinct_name) {
                    469:                                        distinct=r.process(*value).as_bool();
1.13      moko      470:                                        distinct_specified=true;
1.11      moko      471:                                        valid_options++;
                    472:                                } else if (key == sql_value_type_name) {
1.12      moko      473:                                        value_type=get_value_type(r.process(*value));
1.11      moko      474:                                        valid_options++;
                    475:                                } else if (key == "sparse") {
1.12      moko      476:                                        sparse=r.process(*value).as_bool();
1.11      moko      477:                                        valid_options++;
                    478:                                }
                    479:                        }
                    480:                        if(valid_options!=options->count())
                    481:                                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
1.13      moko      482:                        if(distinct_specified && !sparse)
                    483:                                throw Exception(PARSER_RUNTIME, 0, "'distinct' option can only be used when $.sparse(true) is specified");
1.11      moko      484:                }
                    485: 
                    486:        SQL_Driver::Placeholder* placeholders=0;
                    487:        uint placeholders_count=0;
                    488:        if(bind)
                    489:                placeholders_count=marshal_binds(*bind, placeholders);
                    490: 
                    491:        const String& statement_string=r.process_to_string(statement);
                    492:        const char* statement_cstr=statement_string.untaint_cstr(String::L_SQL, r.connection());
                    493: 
                    494:        VArray& self=GET_SELF(r, VArray);
1.17    ! moko      495:        ArrayValue& array=self.array();
1.13      moko      496: 
1.17    ! moko      497:        array.clear(); self.invalidate(); // just in case if called as method
1.11      moko      498: 
                    499:        if(sparse){
1.17    ! moko      500:                SparseArray_sql_event_handlers handlers(distinct, array, value_type);
1.11      moko      501:                r.connection()->query(statement_cstr, placeholders_count, placeholders, offset, limit, handlers, statement_string);
                    502:        } else {
1.17    ! moko      503:                Array_sql_event_handlers handlers(array, value_type);
1.11      moko      504:                r.connection()->query(statement_cstr, placeholders_count, placeholders, offset, limit, handlers, statement_string);
                    505:        }
                    506: 
1.17    ! moko      507:        array.confirm_all_used();
        !           508: 
1.11      moko      509:        if(bind)
                    510:                unmarshal_bind_updates(*bind, placeholders_count, placeholders);
                    511: }
                    512: 
1.1       moko      513: 
1.10      moko      514: static void mid(Request& r, size_t offset=0, size_t limit=ARRAY_OPTION_LIMIT_ALL) {
1.9       moko      515:        ArrayValue& array=GET_SELF(r, VArray).array();
1.10      moko      516:        if(limit>0){
1.9       moko      517:                VArray *result=new VArray;
                    518:                ArrayValue& result_array=result->array();
                    519:                for(ArrayValue::Iterator i(array); i; i.next()){
                    520:                        if(i.value()){
1.10      moko      521:                                if(offset > 0){
                    522:                                        offset--;
1.9       moko      523:                                        continue;
                    524:                                }
1.10      moko      525:                                if(limit-- == 0)
1.9       moko      526:                                        break;
                    527:                                result_array+=i.value();
                    528:                        }
                    529:                }
1.17    ! moko      530:                result_array.confirm_all_used();
1.9       moko      531:                r.write(*result);
                    532:        } else {
                    533:                r.write(*new VArray);
                    534:        }
                    535: }
1.1       moko      536: 
1.9       moko      537: static void _left(Request& r, MethodParams& params) {
                    538:        int sn=params.as_int(0, "n must be int", r);
1.10      moko      539:        mid(r, 0, sn < 0 ? 0 : sn);
1.9       moko      540: }
                    541: 
                    542: static void _right(Request& r, MethodParams& params) {
                    543:        int sn=params.as_int(0, "n must be int", r);
                    544: 
                    545:        if(sn>0){
                    546:                size_t used=GET_SELF(r, VArray).array().used();
                    547:                if(sn<used){
1.10      moko      548:                        mid(r, used-sn, sn);
1.9       moko      549:                } else {
1.10      moko      550:                        mid(r);
1.9       moko      551:                }
                    552:        } else {
1.10      moko      553:                mid(r, 0, 0);
1.9       moko      554:        }
                    555: }
                    556: 
                    557: static void _mid(Request& r, MethodParams& params) {
                    558:        const String& string=GET_SELF(r, VString).string();
                    559: 
                    560:        int begin=params.as_int(0, "p must be int", r);
                    561:        if(begin<0)
                    562:                throw Exception(PARSER_RUNTIME, 0,  "p(%d) must be >=0", begin);
                    563: 
                    564:        size_t end;
                    565:        size_t length=0;
1.1       moko      566: 
1.9       moko      567:        if(params.count()>1) {
                    568:                int n=params.as_int(1, "n must be int", r);
                    569:                if(n<0)
                    570:                        throw Exception(PARSER_RUNTIME, 0, "n(%d) must be >=0", n);
1.10      moko      571:                mid(r, begin, n);
1.9       moko      572:        } else {
1.10      moko      573:                mid(r, begin);
1.9       moko      574:        }
                    575: }
1.1       moko      576: 
                    577: static void _keys(Request& r, MethodParams& params) {
                    578:        const String* keys_column_name;
                    579:        if(params.count()>0)
                    580:                keys_column_name=&params.as_string(0, COLUMN_NAME_MUST_BE_STRING);
                    581:        else 
                    582:                keys_column_name=new String("key");
                    583: 
                    584:        Table::columns_type columns(new ArrayString(1));
                    585:        *columns+=keys_column_name;
                    586:        Table* table=new Table(columns);
                    587: 
                    588:        ArrayValue& array=GET_SELF(r, VArray).array();
                    589:        for(ArrayValue::Iterator i(array); i; i.next()){
                    590:                if(i.value()){
                    591:                        Table::element_type row(new ArrayString(1));
                    592:                        *row+=new String(i.key(), String::L_TAINTED);
                    593:                        *table+=row;
                    594:                }
                    595:        }
                    596: 
                    597:        r.write(*new VTable(table));
                    598: }
                    599: 
1.5       moko      600: static void _count(Request& r, MethodParams& params) {
                    601:        ArrayValue& array=GET_SELF(r, VArray).array();
                    602:        if(params.count()>0){
                    603:                const String& what=params.as_string(0, PARAMETER_MUST_BE_STRING);
                    604:                if(!what.is_empty()){
                    605:                        if(what != "all")
                    606:                                throw Exception(PARSER_RUNTIME, &what, "param must be empty or 'all'");
                    607:                        return r.write(*new VInt(array.count()));
                    608:                }
                    609:        }
                    610:        r.write(*new VInt(array.used()));
1.1       moko      611: }
                    612: 
1.2       moko      613: static void _append(Request& r, MethodParams& params) {
                    614:        VArray& self=GET_SELF(r, VArray);
                    615:        ArrayValue& array=self.array();
                    616: 
                    617:        int count=params.count();
                    618: 
                    619:        for(int i=0; i<count; i++){
                    620:                array+=&r.process(params[i]);
                    621:        }
1.4       moko      622:        self.invalidate();
1.2       moko      623: }
                    624: 
                    625: static void _insert(Request& r, MethodParams& params) {
                    626:        VArray& self=GET_SELF(r, VArray);
                    627:        ArrayValue& array=self.array();
                    628: 
                    629:        int count=params.count();
1.7       moko      630:        size_t index=VArray::index(params.as_int(0, PARAM_INDEX, r));
1.2       moko      631: 
                    632:        for(int i=1; i<count; i++){
1.8       moko      633:                array.insert(index++, &r.process(params[i]));
1.2       moko      634:        }
1.4       moko      635:        self.invalidate();
1.2       moko      636: }
                    637: 
1.1       moko      638: static void _delete(Request& r, MethodParams& params) {
1.7       moko      639:        VArray& self=GET_SELF(r, VArray);
1.1       moko      640:        if(params.count()>0)
1.7       moko      641:                self.array().clear(VArray::index(params.as_int(0, PARAM_INDEX, r)));
1.1       moko      642:        else
1.7       moko      643:                self.array().clear();
                    644:        self.invalidate();
                    645: }
                    646: 
                    647: static void _remove(Request& r, MethodParams& params) {
                    648:        VArray& self=GET_SELF(r, VArray);
                    649:        self.array().remove(VArray::index(params.as_int(0, PARAM_INDEX, r)));
                    650:        self.invalidate();
1.1       moko      651: }
                    652: 
                    653: static void _contains(Request& r, MethodParams& params) {
                    654:        VArray& self=GET_SELF(r, VArray);
1.7       moko      655:        bool result=self.contains(VArray::index(params.as_int(0, PARAM_INDEX, r)));
1.1       moko      656:        r.write(VBool::get(result));
                    657: }
                    658: 
1.5       moko      659: static void _for(Request& r, MethodParams& params) {
                    660:        InCycle temp(r);
                    661: 
1.7       moko      662:        const String* key_var_name=&params.as_string(0, "key-var name must be string");
                    663:        const String* value_var_name=&params.as_string(1, "value-var name must be string");
                    664:        Value* body_code=&params.as_junction(2, "body must be code");
                    665:        Value* delim_maybe_code=params.count()>3 ? &params[3] : 0;
1.5       moko      666:        Value& caller=*r.get_method_frame()->caller();
                    667: 
1.7       moko      668:        if(key_var_name->is_empty()) key_var_name=0;
1.5       moko      669:        if(value_var_name->is_empty()) value_var_name=0;
                    670: 
                    671:        ArrayValue& array=GET_SELF(r, VArray).array();
                    672: 
                    673:        if(delim_maybe_code){ // delimiter set
                    674:                bool need_delim=false;
                    675:                for(ArrayValue::Iterator i(array); i; i.next()){
1.7       moko      676:                        if(key_var_name){
                    677:                                VString* vkey=new VString(*new String(i.key(), String::L_TAINTED));
                    678:                                r.put_element(caller, *key_var_name, vkey);
                    679:                        }
                    680: 
1.5       moko      681:                        if(value_var_name)
                    682:                                r.put_element(caller, *value_var_name, i.value() ? i.value() : VVoid::get());
                    683: 
                    684:                        Value& sv_processed=r.process(*body_code);
                    685:                        TempSkip4Delimiter skip(r);
                    686: 
                    687:                        const String* s_processed=sv_processed.get_string();
                    688:                        if(s_processed && !s_processed->is_empty()) { // we have body
                    689:                                if(need_delim) // need delim & iteration produced string?
                    690:                                        r.write(r.process(*delim_maybe_code));
                    691:                                else
                    692:                                        need_delim=true;
                    693:                        }
                    694: 
                    695:                        r.write(sv_processed);
                    696: 
                    697:                        if(skip.check_break())
                    698:                                break;
                    699:                }
                    700:        } else {
                    701:                for(ArrayValue::Iterator i(array); i; i.next()){
1.7       moko      702:                        if(key_var_name){
                    703:                                VString* vkey=new VString(*new String(i.key(), String::L_TAINTED));
                    704:                                r.put_element(caller, *key_var_name, vkey);
                    705:                        }
                    706: 
1.5       moko      707:                        if(value_var_name)
                    708:                                r.put_element(caller, *value_var_name, i.value() ? i.value() : VVoid::get());
                    709: 
                    710:                        r.process_write(*body_code);
                    711: 
                    712:                        if(r.check_skip_break())
                    713:                                break;
                    714:                }
                    715:        }
                    716: }
                    717: 
1.1       moko      718: static void _foreach(Request& r, MethodParams& params) {
                    719:        InCycle temp(r);
                    720: 
                    721:        const String* key_var_name=&params.as_string(0, "key-var name must be string");
                    722:        const String* value_var_name=&params.as_string(1, "value-var name must be string");
                    723:        Value* body_code=&params.as_junction(2, "body must be code");
1.7       moko      724:        Value* delim_maybe_code=params.count()>3 ? &params[3] : 0;
1.1       moko      725:        Value& caller=*r.get_method_frame()->caller();
                    726: 
                    727:        if(key_var_name->is_empty()) key_var_name=0;
                    728:        if(value_var_name->is_empty()) value_var_name=0;
                    729: 
                    730:        ArrayValue& array=GET_SELF(r, VArray).array();
                    731: 
                    732:        if(delim_maybe_code){ // delimiter set
                    733:                bool need_delim=false;
                    734:                for(ArrayValue::Iterator i(array); i; i.next()){
                    735:                        if(i.value()){
                    736:                                if(key_var_name){
                    737:                                        VString* vkey=new VString(*new String(i.key(), String::L_TAINTED));
                    738:                                        r.put_element(caller, *key_var_name, vkey);
                    739:                                }
                    740: 
                    741:                                if(value_var_name)
                    742:                                        r.put_element(caller, *value_var_name, i.value());
                    743: 
                    744:                                Value& sv_processed=r.process(*body_code);
                    745:                                TempSkip4Delimiter skip(r);
                    746: 
                    747:                                const String* s_processed=sv_processed.get_string();
                    748:                                if(s_processed && !s_processed->is_empty()) { // we have body
                    749:                                        if(need_delim) // need delim & iteration produced string?
                    750:                                                r.write(r.process(*delim_maybe_code));
                    751:                                        else
                    752:                                                need_delim=true;
                    753:                                }
                    754: 
                    755:                                r.write(sv_processed);
                    756: 
                    757:                                if(skip.check_break())
                    758:                                        break;
                    759:                        }
                    760:                }
                    761:        } else {
                    762:                for(ArrayValue::Iterator i(array); i; i.next()){
                    763:                        if(i.value()){
                    764:                                if(key_var_name){
                    765:                                        VString* vkey=new VString(*new String(i.key(), String::L_TAINTED));
                    766:                                        r.put_element(caller, *key_var_name, vkey);
                    767:                                }
                    768: 
                    769:                                if(value_var_name)
                    770:                                        r.put_element(caller, *value_var_name, i.value());
                    771: 
                    772:                                r.process_write(*body_code);
                    773: 
                    774:                                if(r.check_skip_break())
                    775:                                        break;
                    776:                        }
                    777:                }
                    778:        }
                    779: }
                    780: 
                    781: #ifndef DOXYGEN
                    782: struct Array_seq_item : public PA_Allocated {
                    783:        Value *array_data;
                    784:        union {
                    785:                const char *c_str;
                    786:                double d;
                    787:        } value;
                    788: };
                    789: #endif
                    790: 
                    791: static int sort_cmp_string(const void *a, const void *b) {
                    792:        return strcmp(
                    793:                static_cast<const Array_seq_item *>(a)->value.c_str,
                    794:                static_cast<const Array_seq_item *>(b)->value.c_str
                    795:        );
                    796: }
                    797: static int sort_cmp_double(const void *a, const void *b) {
                    798:        double va=static_cast<const Array_seq_item *>(a)->value.d;
                    799:        double vb=static_cast<const Array_seq_item *>(b)->value.d;
                    800:        if(va<vb)
                    801:                return -1;
                    802:        else if(va>vb)
                    803:                return +1;
                    804:        else 
                    805:                return 0;
                    806: }
                    807: 
                    808: static void _sort(Request& r, MethodParams& params){
                    809:        const String& key_var_name=params.as_string(0, "key-var name must be string");
                    810:        const String& value_var_name=params.as_string(1, "value-var name must be string");
                    811:        Value& key_maker=params.as_junction(2, "key-maker must be code");
                    812:        bool reverse=params.count()>3 && params.as_no_junction(3, "order must not be code").as_string()=="desc"; // default=asc
                    813: 
                    814:        const String* key_var=key_var_name.is_empty()? 0 : &key_var_name;
                    815:        const String* value_var=value_var_name.is_empty()? 0 : &value_var_name;
                    816:        VMethodFrame* context=r.get_method_frame()->caller();
                    817: 
                    818:        VArray& self=GET_SELF(r, VArray);
                    819:        ArrayValue& array=self.array();
1.4       moko      820:        int count=array.used(); // not array.count()
1.1       moko      821: 
                    822:        Array_seq_item* seq=new Array_seq_item[count];
                    823:        int pos=0;
                    824:        bool key_values_are_strings=true;
                    825: 
                    826:        for(ArrayValue::Iterator i(array); i; i.next() ){
                    827:                if(i.value()){
                    828:                        if(key_var)
                    829:                                r.put_element(*context, *key_var, new VString(*new String(i.key(), String::L_TAINTED)));
                    830:                        if(value_var)
                    831:                                r.put_element(*context, *value_var, i.value());
                    832: 
                    833:                        Value& value=r.process(key_maker);
                    834:                        if(pos==0) // determining key values type by first one
                    835:                                key_values_are_strings=value.is_string();
                    836: 
                    837:                        seq[pos].array_data=i.value();
                    838:                        if(key_values_are_strings)
                    839:                                seq[pos++].value.c_str=value.as_string().cstr();
                    840:                        else
                    841:                                seq[pos++].value.d=value.as_expr_result().as_double();
                    842:                }
                    843:        }
                    844: 
                    845:        // @todo: handle this elsewhere
                    846:        if(r.charsets.source().NAME()=="KOI8-R" && key_values_are_strings)
                    847:                for(pos=0; pos<count; pos++)
                    848:                        if(*seq[pos].value.c_str)
                    849:                                seq[pos].value.c_str=Charset::transcode(seq[pos].value.c_str, r.charsets.source(), pa_UTF8_charset).cstr();
                    850: 
                    851:        // sort keys
                    852:        qsort(seq, count, sizeof(Array_seq_item), key_values_are_strings ? sort_cmp_string : sort_cmp_double);
                    853: 
                    854:        // reorder array as required in 'seq'
                    855:        array.clear();
                    856:        if(reverse)
                    857:                for(pos=count-1; pos>=0; pos--)
                    858:                        array+=seq[pos].array_data;
                    859:        else
                    860:                for(pos=0; pos<count; pos++)
                    861:                        array+=seq[pos].array_data;
                    862: 
1.17    ! moko      863:        self.invalidate();
1.1       moko      864:        delete[] seq;
                    865: }
                    866: 
1.5       moko      867: enum AtResultType {
                    868:        AtResultTypeValue = 0,
                    869:        AtResultTypeKey = 1,
                    870:        AtResultTypeHash = 2
                    871: };
                    872: 
1.16      moko      873: static Value& SingleElementHash(String::Body akey, Value* avalue) {
1.5       moko      874:        Value& result=*new VHash;
                    875:        result.put_element(*new String(akey, String::L_TAINTED), avalue);
                    876:        return result;
                    877: }
                    878: 
1.1       moko      879: static void _at(Request& r, MethodParams& params) {
                    880:        VArray& self=GET_SELF(r, VArray);
                    881:        ArrayValue& array=self.array();
1.5       moko      882:        size_t count=array.used(); // not array.count()
1.1       moko      883: 
                    884:        int pos=0;
                    885: 
                    886:        AtResultType result_type=AtResultTypeValue;
                    887:        if(params.count() > 1) {
                    888:                const String& stype=params.as_string(1, "type must be string");
                    889:                if(stype == "key")
                    890:                        result_type=AtResultTypeKey;
                    891:                else if(stype == "hash")
                    892:                        result_type=AtResultTypeHash;
                    893:                else if(stype != "value")
                    894:                        throw Exception(PARSER_RUNTIME, &stype, "type must be 'key', 'value' or 'hash'");
                    895:        }
                    896: 
                    897:        Value& vwhence=params[0];
                    898:        if(vwhence.is_string()) {
                    899:                const String& swhence=*vwhence.get_string();
                    900:                if(swhence == "last")
                    901:                        pos=count-1;
                    902:                else if(swhence != "first")
                    903:                        throw Exception(PARSER_RUNTIME, &swhence, "whence must be 'first', 'last' or expression");
                    904:        } else {
                    905:                pos=r.process(vwhence).as_int();
                    906:                if(pos < 0)
                    907:                        pos+=count;
                    908:        }
                    909: 
                    910:        if(count && pos >= 0 && (size_t)pos < count){
                    911:                switch(result_type) {
                    912:                        case AtResultTypeKey:
                    913:                                {
                    914:                                        for(ArrayValue::Iterator i(array); i; i.next() ){
                    915:                                                if(i.value() && !(pos--)){
                    916:                                                        r.write(*new VString(*new String(i.key(), String::L_TAINTED)));
                    917:                                                        break;
                    918:                                                }
                    919:                                        }
                    920:                                        break;
                    921:                                }
                    922:                        case AtResultTypeValue:
                    923:                                {
                    924:                                        for(ArrayValue::Iterator i(array); i; i.next() )
                    925:                                                if(i.value() &&!(pos--)){
                    926:                                                        r.write(*i.value());
                    927:                                                        break;
                    928:                                                }
                    929:                                        break;
                    930:                                }
                    931:                        case AtResultTypeHash:
                    932:                                {
                    933:                                        for(ArrayValue::Iterator i(array); i; i.next() )
                    934:                                                if(i.value() &&!(pos--)){
                    935:                                                        r.write(SingleElementHash(i.key(), i.value()));
                    936:                                                        break;
                    937:                                                }
                    938:                                        break;
                    939:                                }
                    940:                }
                    941:        }
                    942: }
                    943: 
                    944: 
                    945: extern String table_reverse_name;
                    946: 
                    947: static void _select(Request& r, MethodParams& params) {
                    948:        InCycle temp(r);
                    949:        const String* key_var_name=&params.as_string(0, "key-var name must be string");
                    950:        const String* value_var_name=&params.as_string(1, "value-var name must be string");
                    951:        Value& vcondition=params.as_expression(2, "condition must be number, bool or expression");
                    952: 
                    953:        if(key_var_name->is_empty()) key_var_name=0;
                    954:        if(value_var_name->is_empty()) value_var_name=0;
                    955: 
                    956:        ArrayValue& source_array=GET_SELF(r, VArray).array();
                    957:        Value& caller=*r.get_method_frame()->caller();
                    958: 
                    959:        int limit=source_array.count();
                    960:        bool reverse=false;
                    961: 
                    962:        if(params.count()>3)
                    963:                if(HashStringValue* options=params.as_hash(3)) {
                    964:                        int valid_options=0;
                    965:                        if(Value* vlimit=options->get(sql_limit_name)) {
                    966:                                valid_options++;
                    967:                                limit=r.process(*vlimit).as_int();
                    968:                        }
                    969:                        if(Value* vreverse=options->get(table_reverse_name)) {
                    970:                                valid_options++;
                    971:                                reverse=r.process(*vreverse).as_bool();
                    972:                        }
                    973:                        if(valid_options!=options->count())
                    974:                                throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
                    975:                }
                    976: 
                    977:        VArray *result=new VArray;
                    978:        ArrayValue& result_array=result->array();
                    979: 
                    980:        if(limit>0){
                    981:                if(reverse){
                    982:                        for(ArrayValue::ReverseIterator i(source_array); i; ){
1.5       moko      983:                                if(Value *value=i.prev()){ // here for correct i.key()
                    984:                                        if(key_var_name)
                    985:                                                r.put_element(caller, *key_var_name, new VString(*new String(i.key(), String::L_TAINTED)));
                    986:                                        if(value_var_name)
                    987:                                                r.put_element(caller, *value_var_name, value);
1.1       moko      988: 
1.5       moko      989:                                        bool condition=r.process(vcondition).as_bool();
1.1       moko      990: 
1.5       moko      991:                                        if(r.check_skip_break())
                    992:                                                break;
1.1       moko      993: 
1.5       moko      994:                                        if(condition){
                    995:                                                result_array+=value;
                    996:                                                if(!--limit)
                    997:                                                        break;
                    998:                                        }
1.1       moko      999:                                }
                   1000:                        }
                   1001:                } else {
                   1002:                        for(ArrayValue::Iterator i(source_array); i; i.next() ){
1.5       moko     1003:                                if(Value *value=i.value()){
1.1       moko     1004:                                        if(key_var_name)
                   1005:                                                r.put_element(caller, *key_var_name, new VString(*new String(i.key(), String::L_TAINTED)));
                   1006:                                        if(value_var_name)
                   1007:                                                r.put_element(caller, *value_var_name, value);
                   1008: 
                   1009:                                        bool condition=r.process(vcondition).as_bool();
                   1010: 
                   1011:                                        if(r.check_skip_break())
                   1012:                                                break;
                   1013: 
                   1014:                                        if(condition){
                   1015:                                                result_array+=value;
                   1016:                                                if(!--limit)
                   1017:                                                        break;
                   1018:                                        }
                   1019:                                }
                   1020:                        }
                   1021:                }
                   1022:        }
                   1023: 
1.17    ! moko     1024:        result_array.confirm_all_used();
1.1       moko     1025:        r.write(*result);
                   1026: }
                   1027: 
                   1028: static void _reverse(Request& r, MethodParams& params) {
1.5       moko     1029:        ArrayValue& source_array=GET_SELF(r, VArray).array();
1.1       moko     1030: 
1.5       moko     1031:        VArray& result=*new VArray(source_array.count());
1.1       moko     1032:        ArrayValue& result_array=result.array();
                   1033: 
1.4       moko     1034:        for(ArrayValue::ReverseIterator i(source_array); i; ){
                   1035:                result_array+=i.prev();
1.1       moko     1036:        }
                   1037: 
                   1038:        r.write(result);
                   1039: }
                   1040: 
                   1041: 
                   1042: // constructor
                   1043: 
                   1044: MArray::MArray(): Methoded(VARRAY_TYPE) {
                   1045: 
                   1046:        // ^array::create[[copy_from]]
                   1047:        add_native_method("create", Method::CT_DYNAMIC, _create_or_add, 0, 1);
                   1048:        // ^array.add[add_from]
                   1049:        add_native_method("add", Method::CT_DYNAMIC, _create_or_add, 1, 1);
1.6       moko     1050:        // ^array.join[join_from[;options]]
                   1051:        add_native_method("join", Method::CT_DYNAMIC, _join, 1, 2);
1.1       moko     1052: 
1.9       moko     1053:        // ^array.left(n)
                   1054:        add_native_method("left", Method::CT_DYNAMIC, _left, 1, 1);
                   1055:        // ^array.right(n)
                   1056:        add_native_method("right", Method::CT_DYNAMIC, _right, 1, 1);
                   1057:        // ^array.mid(p)
                   1058:        // ^array.mid(p;n)
                   1059:        add_native_method("mid", Method::CT_DYNAMIC, _mid, 1, 2);
1.1       moko     1060: 
1.8       moko     1061:        // ^array::new[value;value]
                   1062:        add_native_method("new", Method::CT_DYNAMIC, _append, 0, 10000);
1.2       moko     1063:        // ^array.append[value;value]
                   1064:        add_native_method("append", Method::CT_DYNAMIC, _append, 1, 10000);
                   1065:        // ^array.insert[index;value...]
                   1066:        add_native_method("insert", Method::CT_DYNAMIC, _insert, 2, 10000);
                   1067: 
                   1068:        // ^array.delete[index]
1.1       moko     1069:        add_native_method("delete", Method::CT_DYNAMIC, _delete, 0, 1);
1.7       moko     1070:        // ^array.remove[index]
                   1071:        add_native_method("remove", Method::CT_DYNAMIC, _remove, 1, 1);
1.1       moko     1072: 
1.2       moko     1073:        // ^array.contains[index]
1.1       moko     1074:        add_native_method("contains", Method::CT_DYNAMIC, _contains, 1, 1);
                   1075: 
                   1076:        // ^array::sql[query][options array]
                   1077:        add_native_method("sql", Method::CT_DYNAMIC, _sql, 1, 2);
                   1078: 
                   1079:        // ^array._keys[[column name]]
                   1080:        add_native_method("_keys", Method::CT_DYNAMIC, _keys, 0, 1);
                   1081: 
1.5       moko     1082:        // ^array._count[[all]]
                   1083:        add_native_method("_count", Method::CT_DYNAMIC, _count, 0, 1);
1.1       moko     1084: 
1.7       moko     1085:        // ^array.for[index;value]{code}[delim]
                   1086:        add_native_method("for", Method::CT_DYNAMIC, _for, 3, 3+1);
1.2       moko     1087:        // ^array.foreach[index;value]{code}[delim]
1.7       moko     1088:        add_native_method("foreach", Method::CT_DYNAMIC, _foreach, 3, 3+1);
1.1       moko     1089: 
1.2       moko     1090:        // ^array.sort[index;value]{string-key-maker}[[asc|desc]]
                   1091:        // ^array.sort[index;value](numeric-key-maker)[[asc|desc]]
1.1       moko     1092:        add_native_method("sort", Method::CT_DYNAMIC, _sort, 3, 4);
                   1093: 
1.2       moko     1094:        // ^array.select[index;value](bool-condition)[options hash]
1.1       moko     1095:        add_native_method("select", Method::CT_DYNAMIC, _select, 3, 4);
                   1096: 
                   1097:        // ^array.reverse[]
                   1098:        add_native_method("reverse", Method::CT_DYNAMIC, _reverse, 0, 0);
                   1099: 
1.2       moko     1100:        // ^array._at[first|last[;'key'|'value'|'hash']]
                   1101:        // ^array._at([-+]offset)[['key'|'value'|'hash']]
1.1       moko     1102:        add_native_method("_at", Method::CT_DYNAMIC, _at, 1, 2);
                   1103: 
                   1104: #ifdef FEATURE_GET_ELEMENT4CALL
                   1105:        // aliases without "_"
                   1106:        add_native_method("keys", Method::CT_DYNAMIC, _keys, 0, 1);
1.14      moko     1107:        add_native_method("count", Method::CT_DYNAMIC, _count, 0, 1);
1.1       moko     1108:        add_native_method("at", Method::CT_DYNAMIC, _at, 1, 2);
                   1109: #endif
                   1110: 
                   1111: }

E-mail: