Annotation of parser3/src/types/pa_vmemcached.C, revision 1.27

1.1       moko        1: /** @file
                      2:        Parser: memcached class.
                      3: 
1.26      moko        4:        Copyright (c) 2001-2026 Art. Lebedev Studio (https://www.artlebedev.com)
1.1       moko        5:        Authors:
                      6:                Ivan Poluyanov <ivan-poluyanov@yandex.ru>
                      7:                Artem Stepanov <timofei1394@thesecure.in>
                      8: */
                      9: 
                     10: #include "pa_vmemcached.h"
                     11: #include "pa_value.h"
                     12: #include "pa_vstring.h"
1.2       moko       13: #include "pa_vhash.h"
1.1       moko       14: #include "pa_vvoid.h"
                     15: 
1.27    ! moko       16: volatile const char * IDENT_PA_VMEMCACHED_C="$Id: pa_vmemcached.C,v 1.26 2026/04/25 13:38:46 moko Exp $" IDENT_PA_VMEMCACHED_H;
1.1       moko       17: 
1.14      moko       18: const char *memcached_library="libmemcached" LT_MODULE_EXT;
1.1       moko       19: 
1.8       moko       20: // support functions
                     21: 
                     22: static void error(const char *step, memcached_st* m, memcached_return rc) {
1.1       moko       23:        const char* str=f_memcached_strerror(m, rc);
                     24:        throw Exception("memcached", 0, "%s error: %s (%d)", step, str ? str : "<unknown>", rc);
                     25: }
                     26: 
1.2       moko       27: inline void check(const char *action, memcached_st* m, memcached_return rc) {
1.1       moko       28:        if(rc==MEMCACHED_SUCCESS)
                     29:                return;
1.2       moko       30:        error(action, m, rc);
1.1       moko       31: }
                     32: 
1.12      moko       33: inline void check(const char *action, memcached_st* m, memcached_return rc, memcached_return ok) {
                     34:        if(rc==MEMCACHED_SUCCESS || rc==ok)
                     35:                return;
                     36:        error(action, m, rc);
                     37: }
                     38: 
1.6       moko       39: inline void check_key(const String& akey) {
                     40:        if(akey.is_empty())
                     41:                throw Exception("memcached", 0, "key must not be empty");
                     42:        if(akey.length() > MEMCACHED_MAX_KEY)
                     43:                throw Exception("memcached", &akey, "key length %d exceeds limit (%d bytes)", akey.length(), MEMCACHED_MAX_KEY);
                     44: }
                     45: 
1.8       moko       46: // serialization helpers
                     47: 
                     48: #define SERIALIZED_STRING 256
                     49: 
                     50: struct Serialization_data{
                     51:     unsigned int flags;
                     52:     const char *ptr;
                     53:     size_t length;
                     54: 
                     55:     Serialization_data() : flags(0), ptr(0), length(0){}
                     56:     Serialization_data(unsigned int aflags) : flags(aflags), ptr(0), length(0){}
                     57:     Serialization_data(unsigned int aflags, const char *aptr, size_t alength) : flags(aflags), ptr(aptr), length(alength){}
                     58: };
                     59: 
                     60: static void serialize_string(const String &str, Serialization_data &data){
                     61:        if(str.is_empty()){
                     62:                data = Serialization_data(SERIALIZED_STRING);
                     63:                return;
                     64:        }
                     65:        
                     66:        if (str.is_not_just_lang()){
                     67:                String::Cm cm = str.serialize(0);
                     68:                data = Serialization_data(SERIALIZED_STRING, cm.str, cm.length);
                     69:        } else {
                     70:                data = Serialization_data(SERIALIZED_STRING + (unsigned int)str.just_lang(), str.cstr(), str.length());
                     71:        }
                     72: }
                     73: 
                     74: static VString *deserialize_string(Serialization_data &data){
                     75:        String *result;
                     76: 
                     77:        if(data.flags==SERIALIZED_STRING){
                     78:                result = new String();
                     79:                if (data.length>0 && !result->deserialize(0, (void *)data.ptr, data.length))
                     80:                        return NULL;
                     81:        } else {
                     82:                // we can't use length from memcached as there can be '\0' inside
                     83:                String::Language lang=(String::Language)(data.flags-SERIALIZED_STRING);
                     84:                result = new String(data.ptr, lang);
                     85:        }
                     86: 
                     87:        return new VString(*result);
                     88: }
                     89: 
                     90: static Value &deserialize(Serialization_data &data){
                     91:        Value *result=NULL;
                     92:        
                     93:        if(data.flags>=SERIALIZED_STRING && data.flags<(SERIALIZED_STRING+256)){
                     94:                // String->deserialize uses passed string
1.9       moko       95:                if(data.length>0)
                     96:                        data.ptr=pa_strdup(data.ptr, data.length);
1.8       moko       97:                result=deserialize_string(data);
                     98:        }
                     99: 
                    100:        if (!result)
                    101:                throw Exception(PARSER_RUNTIME, 0, "unable to deserialize data id %d, size %d", data.flags, data.length);
                    102: 
                    103:        return *result;
                    104: }
                    105: 
                    106: // VMemcached
                    107: 
1.10      moko      108: static void load_memcached(const char *library){
1.1       moko      109:        const char *memcached_status = memcached_load(library);
                    110: 
                    111:        if(memcached_status)
                    112:                throw Exception("memcached", 0, "failed to load memcached library %s: %s", library, memcached_status);
1.10      moko      113: }
                    114: 
1.16      moko      115: void VMemcached::open(const String& options_string, time_t attl, bool connect){
1.10      moko      116:        load_memcached(memcached_library);
                    117:        
                    118:        if(f_memcached==NULL)
                    119:                throw Exception("memcached", 0, "options hash requires libmemcached version 0.49 or later");
                    120:        
                    121:        if(options_string.is_empty())
                    122:                throw Exception("memcached", 0, "options hash must not be empty");
                    123:        
                    124:        fttl=attl;
1.27    ! moko      125:        if(fm) f_memcached_free(fm); // ^m.open[] of an opened object
1.10      moko      126:        fm=f_memcached(options_string.cstr(), options_string.length());
1.16      moko      127:        if (connect)
                    128:                check("connect", fm, f_memcached_version(fm), MEMCACHED_NOT_SUPPORTED);
1.10      moko      129: }
1.1       moko      130: 
1.10      moko      131: void VMemcached::open_parse(const String& connect_string, time_t attl){
                    132:        load_memcached(memcached_library);
                    133:        
1.1       moko      134:        if(connect_string.is_empty())
1.10      moko      135:                throw Exception("memcached", 0, "connect string must not be empty");
                    136:        
1.2       moko      137:        fttl=attl;
1.27    ! moko      138:        if(fm) f_memcached_free(fm); // ^m.open[] of an opened object
1.1       moko      139:        fm=f_memcached_create(NULL);
                    140:        memcached_server_st* fservers = f_memcached_servers_parse(connect_string.cstr());
                    141:        check("server_push", fm, f_memcached_server_push(fm, fservers));
1.12      moko      142:        check("connect", fm, f_memcached_version(fm), MEMCACHED_NOT_SUPPORTED);
1.1       moko      143: }
                    144: 
1.6       moko      145: void VMemcached::flush(time_t attl) {
1.2       moko      146:        check("flush", fm, f_memcached_flush(fm, attl));
                    147: }
                    148: 
1.13      moko      149: void VMemcached::quit() {
                    150:        f_memcached_quit(fm);
                    151: }
                    152: 
1.6       moko      153: void VMemcached::remove(const String& aname) {
                    154:        check_key(aname);
1.12      moko      155:        check("delete", fm, f_memcached_delete(fm, aname.cstr(), aname.length(), (time_t)0), MEMCACHED_NOTFOUND);
1.1       moko      156: }
                    157: 
                    158: Value* VMemcached::get_element(const String& aname) {
                    159:        if(Value *result=VStateless_object::get_element(aname))
                    160:                return result;
                    161: 
1.6       moko      162:        check_key(aname);
1.1       moko      163: 
                    164:        memcached_return rc;
1.5       moko      165:        Serialization_data data;
                    166:        data.ptr=f_memcached_get(fm, aname.cstr(), aname.length(), &data.length, &data.flags, &rc);
1.1       moko      167: 
1.5       moko      168:        if(rc==MEMCACHED_SUCCESS){
1.8       moko      169:                return &deserialize(data);
1.5       moko      170:        }
1.4       moko      171:        
1.2       moko      172:        if(rc==MEMCACHED_NOTFOUND)
1.11      moko      173:                return VVoid::get();
1.1       moko      174: 
                    175:        error("get", fm, rc);
                    176:        return 0; // calm down compiler
                    177: }
                    178: 
1.2       moko      179: Value &VMemcached::mget(ArrayString& akeys) {
                    180:        VHash &hresult = *new VHash();
                    181:        
                    182:        size_t kl = akeys.count();
                    183:        
                    184:        if(kl==0)
                    185:                return hresult;
                    186:        
1.20      moko      187:        const char **keys = new(PointerGC) const char *[kl];
                    188:        size_t *key_lengths = new(PointerFreeGC) size_t[kl];
1.2       moko      189:        
1.6       moko      190:        for(size_t i=0; i<kl; i++){
                    191:                const String &skey = *(akeys[i]);
                    192:                check_key(skey);
                    193:                keys[i] = skey.cstr();
                    194:                key_lengths[i] = skey.length();
1.2       moko      195:        }
                    196:        
1.3       moko      197:        check("mget", fm, f_memcached_mget(fm, keys, key_lengths, kl));
1.2       moko      198:        
1.7       moko      199:        // memcached_fetch_result calls memcached_result_create and memcached_result_free, we don't need to do this.
                    200:        memcached_result_st *results=0;
1.4       moko      201:        memcached_return rc;
                    202:        
1.7       moko      203:        while((results=f_memcached_fetch_result(fm, results, &rc)) && (rc == MEMCACHED_SUCCESS)){
1.4       moko      204:                const char *hkey = pa_strdup(f_memcached_result_key_value(results), f_memcached_result_key_length(results));
1.8       moko      205:                Serialization_data data(f_memcached_result_flags(results), f_memcached_result_value(results), f_memcached_result_length(results));
1.5       moko      206: 
1.8       moko      207:                hresult.hash().put(hkey, &deserialize(data));
1.2       moko      208:        }
1.4       moko      209: 
                    210:        if (rc != MEMCACHED_END && rc != MEMCACHED_NOTFOUND)
                    211:                error("mget", fm, rc);
1.2       moko      212:        
1.20      moko      213:        operator delete[](keys);
                    214:        operator delete[](key_lengths);
1.3       moko      215:        
1.2       moko      216:        return hresult;
                    217: }
1.1       moko      218: 
1.11      moko      219: static inline time_t serialize_value(time_t ttl, const String& aname, Value* avalue, Serialization_data &data){
1.1       moko      220: 
                    221:        if(HashStringValue* hash=avalue->get_hash()) {
1.11      moko      222:                int valid_options=1;
                    223:                if(Value* ttl_value=hash->get(expires_name)){
1.1       moko      224:                        ttl=ttl_value->as_int();
1.11      moko      225:                        valid_options++;
                    226:                }
                    227:                if(avalue=hash->get(value_name)){
                    228:                        if(avalue->get_junction())
1.1       moko      229:                                throw Exception("memcached", 0, VALUE_NAME " must not be code");
                    230:                } else
1.2       moko      231:                        throw Exception("memcached", &aname, "value hash must contain ." VALUE_NAME);
1.11      moko      232:                        
                    233:                if(valid_options!=hash->count())
                    234:                        throw Exception(PARSER_RUNTIME, 0, CALLED_WITH_INVALID_OPTION);
1.1       moko      235:        }
                    236: 
1.8       moko      237:        if(avalue->is_string()){
                    238:                serialize_string(*avalue->get_string(), data);
                    239:        } else {
1.23      moko      240:                throw Exception("memcached", &aname, "%s serialization is not supported yet", avalue->type());
1.8       moko      241:        }
1.1       moko      242: 
1.11      moko      243:        return ttl;
                    244: }
                    245: 
                    246: bool VMemcached::add(const String& aname, Value* avalue){
                    247:        check_key(aname);
                    248: 
                    249:        Serialization_data data;
                    250:        time_t ttl=serialize_value(fttl, aname, avalue, data);
                    251: 
                    252:        memcached_return rc=f_memcached_add(fm, aname.cstr(), aname.length(), data.ptr, data.length, ttl, data.flags);
                    253: 
                    254:        if(rc == MEMCACHED_NOTSTORED)
                    255:                return false;
                    256: 
                    257:        if(rc != MEMCACHED_SUCCESS)
                    258:                error("add", fm, rc);
                    259: 
                    260:        return true;
                    261: }
                    262: 
1.15      moko      263: const VJunction* VMemcached::put_element(const String& aname, Value* avalue){
1.11      moko      264:        check_key(aname);
                    265: 
                    266:        Serialization_data data;
                    267:        time_t ttl=serialize_value(fttl, aname, avalue, data);
                    268: 
                    269:        check("set", fm, f_memcached_set(fm, aname.cstr(), aname.length(), data.ptr, data.length, ttl, data.flags));
1.1       moko      270: 
1.21      moko      271:        return 0;
1.1       moko      272: }
                    273: 

E-mail: