Annotation of parser3/src/main/pa_common.C, revision 1.68

1.15      paf         1: /** @file
1.16      paf         2:        Parser: commonly functions.
                      3: 
1.8       paf         4:        Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)
1.68    ! parser      5:        Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)
1.16      paf         6: 
1.68    ! parser      7:        $Id:  $
1.1       paf         8: */
                      9: 
                     10: #include "pa_common.h"
1.2       paf        11: #include "pa_types.h"
1.4       paf        12: #include "pa_exception.h"
1.14      paf        13: #include "pa_pool.h"
                     14: #include "pa_globals.h"
                     15: #include "pa_value.h"
                     16: #include "pa_hash.h"
                     17: #include "pa_string.h"
1.1       paf        18: 
1.47      paf        19: #ifndef WIN32
                     20: #      ifndef _O_TEXT
                     21: #              define _O_TEXT 0
                     22: #      endif
                     23: #      ifndef _O_BINARY
                     24: #              define _O_BINARY 0
                     25: #      endif
                     26: #endif
                     27: 
1.22      paf        28: #if _MSC_VER
1.1       paf        29: 
                     30: int __vsnprintf(char *b, size_t s, const char *f, va_list l) {
                     31:        int r=_vsnprintf(b, --s, f, l);
                     32:        b[s]=0;
                     33:        return r;
                     34: }
                     35: int __snprintf(char *b, size_t s, const char *f, ...) {
                     36:        va_list l;
                     37:     va_start(l, f);
                     38:     int r=__vsnprintf(b, s, f, l);
                     39:     va_end(l);
                     40:        return r;
                     41: }
                     42: 
                     43: #endif
1.2       paf        44: 
1.18      paf        45: 
1.28      paf        46: char *file_read_text(Pool& pool, const String& file_spec, bool fail_on_read_problem) {
1.34      paf        47:        void *result;
                     48:        size_t size;
1.35      paf        49:        return file_read(pool, file_spec, result, size, true, 
                     50:                fail_on_read_problem)?(char *)result:0;
1.34      paf        51: }
                     52: bool file_read(Pool& pool, const String& file_spec, 
1.44      paf        53:                           void*& data, size_t& read_size, bool as_text,
                     54:                           bool fail_on_read_problem,
                     55:                           size_t offset, size_t limit) {
1.64      parser     56:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.62      parser     57: //printf("file_read(%s)\n", fname);
1.33      paf        58:        int f;
1.2       paf        59:     struct stat finfo;
1.33      paf        60: 
                     61:        // first open, next stat:
1.45      paf        62:        // directory update of NTFS hard links performed on open.
1.33      paf        63:        // ex: 
                     64:        //   a.html:^test[] and b.html hardlink to a.html
                     65:        //   user inserts ! before ^test in a.html
                     66:        //   directory entry of b.html in NTFS not updated at once,
1.35      paf        67:        //   they delay update till open, so we would receive "!^test[" string
                     68:        //   if would do stat, next open.
1.34      paf        69:     if(
                     70:                (f=open(fname, O_RDONLY|(as_text?_O_TEXT:_O_BINARY)))>=0 && 
                     71:                stat(fname, &finfo)==0) {
1.2       paf        72:                /*if(exclusive)
                     73:                        flock(f, LOCK_EX);*/
1.44      paf        74:                size_t max_size=limit?min(offset+limit, finfo.st_size)-offset:finfo.st_size;
1.47      paf        75:                if(!max_size) { // eof
                     76:                        data=0;
                     77:                        read_size=0;
1.59      parser     78:                } else {
                     79:                        data=pool.malloc(max_size+(as_text?1:0));
                     80:                        if(offset)
                     81:                                lseek(f, offset, SEEK_SET);
                     82:                        read_size=read(f, data, max_size);
1.47      paf        83:                }
1.2       paf        84:                /*if(exclusive)
                     85:                        flock(f, LOCK_UN);*/
                     86:                close(f);
1.59      parser     87:                if(!max_size) // eof
                     88:                        return true;
1.32      paf        89: 
1.44      paf        90:                if(read_size>=0 && read_size<=max_size) {
1.34      paf        91:                        if(as_text)
1.46      paf        92:                                ((char*&)data)[read_size]=0;
1.34      paf        93:                } else
1.33      paf        94:                        PTHROW(0, 0, 
                     95:                                &file_spec, 
1.44      paf        96:                                "read failed: actually read %d bytes count not in [0..%lu] valid range", 
                     97:                                        read_size, (unsigned long)max_size); //never
1.32      paf        98:                
1.34      paf        99:                return true;//prepare_config(result, remove_empty_lines);
1.2       paf       100:     }
1.4       paf       101:        if(fail_on_read_problem)
1.33      paf       102:                PTHROW(0, 0, 
                    103:                        &file_spec, 
1.54      parser    104:                        "read failed: %s (%d), actual filename '%s'", 
                    105:                                strerror(errno), errno, fname);
1.34      paf       106:     return false;
1.8       paf       107: }
                    108: 
1.63      parser    109: static void create_dir_for_file(const String& file_spec) {
                    110:        size_t pos_after=1;
                    111:        int pos_before;
                    112:        while((pos_before=file_spec.pos("/", 1, pos_after))>=0) {
1.64      parser    113:                mkdir(file_spec.mid(0, pos_before).cstr(String::UL_FILE_SPEC), 0775);
1.63      parser    114:                pos_after=pos_before+1;
                    115:        }
                    116: }
                    117: 
1.18      paf       118: void file_write(Pool& pool, 
1.28      paf       119:                                const String& file_spec, 
1.34      paf       120:                                const void *data, size_t size, 
1.33      paf       121:                                bool as_text/*, 
1.20      paf       122:                                bool exclusive*/) {
1.64      parser    123:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.28      paf       124:        int f;
1.50      paf       125:        if(access(fname, W_OK)!=0) {/*no*/
1.63      parser    126:                create_dir_for_file(file_spec);
1.50      paf       127: 
1.33      paf       128:                if((f=open(fname, O_WRONLY|O_CREAT|_O_BINARY, 0666))>0)
1.28      paf       129:                        close(f);
                    130:        }
                    131:        if(access(fname, R_OK|W_OK)==0) {
1.34      paf       132:                int mode=O_RDWR|(as_text?_O_TEXT:_O_BINARY)
1.18      paf       133: #ifdef WIN32
1.28      paf       134:                        |O_TRUNC
1.18      paf       135: #endif
1.28      paf       136:                ;
1.33      paf       137:                if((f=open(fname, mode, 0666))>=0) {
1.28      paf       138:                        /*if(exclusive)
                    139:                                flock(f, LOCK_EX);*/
                    140:                        
1.33      paf       141:                        if(size) write(f, data, size);
1.18      paf       142: #ifndef WIN32
1.33      paf       143:                        ftruncate(f, size);
1.18      paf       144: #endif
1.28      paf       145:                        /*if(exclusive)
                    146:                                flock(f, LOCK_UN);*/
                    147:                        close(f);
                    148:                        return;
1.18      paf       149:                }
                    150:        }
1.33      paf       151:        PTHROW(0, 0, 
                    152:                &file_spec, 
1.54      parser    153:                "write failed: %s (%d), actual filename '%s'", 
                    154:                        strerror(errno), errno, fname);
1.30      paf       155: }
                    156: 
1.63      parser    157: // throws nothing! [this is required in file_move & file_delete]
1.50      paf       158: static void rmdir(const String& file_spec, size_t pos_after) {
                    159:        int pos_before;
                    160:        if((pos_before=file_spec.pos("/", 1, pos_after))>=0)
                    161:                rmdir(file_spec, pos_before+1);
                    162:        
1.64      parser    163:        rmdir(file_spec.mid(0, pos_after-1/* / */).cstr(String::UL_FILE_SPEC));
1.50      paf       164: }
1.30      paf       165: void file_delete(Pool& pool, const String& file_spec) {
1.64      parser    166:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.54      parser    167:        if(unlink(fname)!=0)
1.33      paf       168:                PTHROW(0, 0, 
                    169:                        &file_spec, 
1.54      parser    170:                        "unlink failed: %s (%d), actual filename '%s'", 
                    171:                                strerror(errno), errno, fname);
1.50      paf       172: 
                    173:        rmdir(file_spec, 1);
1.60      parser    174: }
                    175: void file_move(Pool& pool, const String& old_spec, const String& new_spec) {
1.64      parser    176:        const char *old_spec_cstr=old_spec.cstr(String::UL_FILE_SPEC);
                    177:        const char *new_spec_cstr=new_spec.cstr(String::UL_FILE_SPEC);
1.63      parser    178:        
                    179:        create_dir_for_file(new_spec);
                    180: 
1.60      parser    181:        if(rename(old_spec_cstr, new_spec_cstr)!=0)
                    182:                PTHROW(0, 0, 
                    183:                        &old_spec, 
                    184:                        "rename failed: %s (%d), actual filename '%s' to '%s'", 
                    185:                                strerror(errno), errno, old_spec_cstr, new_spec_cstr);
1.63      parser    186: 
                    187:        rmdir(old_spec, 1);
1.31      paf       188: }
                    189: 
1.51      paf       190: 
                    191: static bool entry_readable(const String& file_spec, bool need_dir) {
1.64      parser    192:     const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.51      paf       193:        struct stat finfo;
                    194:        if(access(fname, R_OK)==0 && stat(fname, &finfo)==0) {
                    195:                bool is_dir=(bool)(finfo.st_mode&S_IFDIR);
                    196:                return is_dir==need_dir;
                    197:        }
                    198:        return false;
                    199: }
1.31      paf       200: bool file_readable(const String& file_spec) {
1.51      paf       201:        return entry_readable(file_spec, false);
                    202: }
                    203: bool dir_readable(const String& file_spec) {
                    204:        return entry_readable(file_spec, true);
1.65      parser    205: }
                    206: String *file_readable(const String& path, const String& name) {
                    207:        String *result=new(path.pool()) String(path);
                    208:        *result << "/";
                    209:        *result << name;
                    210:        return file_readable(*result)?result:0;
1.43      paf       211: }
                    212: bool file_executable(const String& file_spec) {
1.64      parser    213:     return access(file_spec.cstr(String::UL_FILE_SPEC), X_OK)==0;
1.44      paf       214: }
                    215: 
1.64      parser    216: bool file_stat(const String& file_spec, 
1.58      parser    217:                           size_t& rsize, 
                    218:                           time_t& ratime,
                    219:                           time_t& rmtime,
1.64      parser    220:                           time_t& rctime,
                    221:                           bool fail_on_read_problem) {
1.44      paf       222:        Pool& pool=file_spec.pool();
1.64      parser    223:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.44      paf       224:     struct stat finfo;
                    225:        if(stat(fname, &finfo)!=0)
1.64      parser    226:                if(fail_on_read_problem)
1.67      parser    227:                        PTHROW(0, 0, 
                    228:                                &file_spec, 
                    229:                                "getting file size failed: %s (%d), real filename '%s'", 
                    230:                                        strerror(errno), errno, fname);
1.64      parser    231:                else
                    232:                        return false;
1.58      parser    233:        rsize=finfo.st_size;
                    234:        ratime=finfo.st_atime;
                    235:        rmtime=finfo.st_mtime;
                    236:        rctime=finfo.st_ctime;
1.64      parser    237:        return true;
1.18      paf       238: }
                    239: 
1.8       paf       240: char *getrow(char **row_ref, char delim) {
                    241:     char *result=*row_ref;
                    242:     if(result) {
                    243:                *row_ref=strchr(result, delim);
                    244:                if(*row_ref) 
                    245:                        *((*row_ref)++)=0; 
                    246:                else if(!*result) 
                    247:                        return 0;
                    248:     }
                    249:     return result;
                    250: }
                    251: 
1.23      paf       252: char *lsplit(char *string, char delim) {
                    253:     if(string) {
                    254:                char *v=strchr(string, delim);
1.8       paf       255:                if(v) {
                    256:                        *v=0;
                    257:                        return v+1;
                    258:                }
                    259:     }
                    260:     return 0;
                    261: }
                    262: 
                    263: char *lsplit(char **string_ref, char delim) {
                    264:     char *result=*string_ref;
                    265:        char *next=lsplit(*string_ref, delim);
                    266:     *string_ref=next;
                    267:     return result;
1.9       paf       268: }
                    269: 
                    270: char *rsplit(char *string, char delim) {
1.18      paf       271:     if(string) {
1.9       paf       272:                char *v=strrchr(string, delim);
1.18      paf       273:                if(v) {
1.9       paf       274:                        *v=0;
                    275:                        return v+1;
                    276:                }
                    277:     }
                    278:     return NULL;       
1.10      paf       279: }
                    280: 
1.37      paf       281: /// @todo less stupid type detection
1.10      paf       282: char *format(Pool& pool, double value, char *fmt) {
                    283:        char *result=(char *)pool.malloc(MAX_NUMBER);
                    284:        if(fmt)
                    285:                if(strpbrk(fmt, "diouxX"))
                    286:                        if(strpbrk(fmt, "ouxX"))
1.33      paf       287:                                snprintf(result, MAX_NUMBER, fmt, (uint)value );
1.10      paf       288:                        else
1.33      paf       289:                                snprintf(result, MAX_NUMBER, fmt, (int)value );
1.10      paf       290:                else
                    291:                        snprintf(result, MAX_NUMBER, fmt, value);
                    292:        else
1.33      paf       293:                snprintf(result, MAX_NUMBER, "%d", (int)value);
1.10      paf       294:        
                    295:        return result;
1.12      paf       296: }
                    297: 
1.36      paf       298: size_t stdout_write(const void *buf, size_t size) {
1.12      paf       299: #ifdef WIN32
                    300:        do{
                    301:                int chunk_written=fwrite(buf, 1, min(8*0x400, size), stdout);
                    302:                if(chunk_written<=0)
                    303:                        break;
                    304:                size-=chunk_written;
1.36      paf       305:                buf=((const char*)buf)+chunk_written;
1.12      paf       306:        } while(size>0);
                    307: 
                    308:        return size;
                    309: #else
1.13      paf       310:        return fwrite(buf, 1, size, stdout);
1.12      paf       311: #endif
1.2       paf       312: }
1.14      paf       313: 
                    314: const char *unescape_chars(Pool& pool, const char *cp, int len) {
                    315:        char *s=(char *)pool.malloc(len + 1);
                    316:        enum EscapeState {
1.33      paf       317:                EscapeRest, 
                    318:                EscapeFirst, 
1.14      paf       319:                EscapeSecond
                    320:        } escapeState=EscapeRest;
                    321:        int escapedValue=0;
                    322:        int srcPos=0;
                    323:        int dstPos=0;
                    324:        while(srcPos < len) {
                    325:                int ch=cp[srcPos];
                    326:                switch(escapeState) {
                    327:                        case EscapeRest:
                    328:                        if(ch=='%') {
                    329:                                escapeState=EscapeFirst;
                    330:                        } else if(ch=='+') {
                    331:                                s[dstPos++]=' ';
                    332:                        } else {
                    333:                                s[dstPos++]=ch; 
                    334:                        }
                    335:                        break;
                    336:                        case EscapeFirst:
                    337:                        escapedValue=hex_value[ch] << 4;        
                    338:                        escapeState=EscapeSecond;
                    339:                        break;
                    340:                        case EscapeSecond:
                    341:                        escapedValue +=hex_value[ch];
                    342:                        s[dstPos++]=escapedValue;
                    343:                        escapeState=EscapeRest;
                    344:                        break;
                    345:                }
                    346:                srcPos++;
                    347:        }
                    348:        s[dstPos]=0;
                    349:        return s;
                    350: }
                    351: 
1.52      paf       352: /// used by attributed_meaning_to_string / append_attribute_subattribute
1.40      paf       353: struct Attributed_meaning_info {
1.52      paf       354:        String *header; // header line being constructed
                    355:        String::Untaint_lang lang; // language in which to append to that line
1.40      paf       356: };
1.17      paf       357: static void append_attribute_subattribute(const Hash::Key& akey, Hash::Val *avalue, 
1.14      paf       358:                                                                                  void *info) {
                    359:        if(akey==VALUE_NAME)
                    360:                return;
                    361: 
1.40      paf       362:        Attributed_meaning_info& ami=*static_cast<Attributed_meaning_info *>(info);
                    363: 
1.14      paf       364:        // ...; charset=windows1251
1.48      paf       365:        *ami.header << "; ";
1.40      paf       366:        ami.header->append(akey, ami.lang, true);
1.48      paf       367:        *ami.header << "=";
                    368:        ami.header->append(static_cast<Value *>(avalue)->as_string(), ami.lang, true);
1.14      paf       369: }
1.49      paf       370: const String& attributed_meaning_to_string(Value& meaning, 
                    371:                                                                                   String::Untaint_lang lang) {
1.20      paf       372:        String &result=*new(meaning.pool()) String(meaning.pool());
                    373:        if(Hash *hash=meaning.get_hash()) {
1.14      paf       374:                // $value(value) $subattribute(subattribute value)
                    375:                if(Value *value=static_cast<Value *>(hash->get(*value_name)))
1.40      paf       376:                        result.append(value->as_string(), lang, true);
1.14      paf       377: 
1.40      paf       378:                Attributed_meaning_info attributed_meaning_info={
1.52      paf       379:                        &result,
                    380:                        lang
1.40      paf       381:                };
                    382:                hash->for_each(append_attribute_subattribute, &attributed_meaning_info);
1.14      paf       383:        } else // result value
1.40      paf       384:                result.append(meaning.as_string(), lang, true);
1.14      paf       385: 
                    386:        return result;
1.24      paf       387: }
                    388: 
                    389: #ifdef WIN32
                    390: void back_slashes_to_slashes(char *s) {
                    391:        if(s)
                    392:                for(; *s; s++)
                    393:                        if(*s=='\\')
                    394:                                *s='/';
                    395: }
1.42      paf       396: /*
                    397: void slashes_to_back_slashes(char *s) {
                    398:        if(s)
                    399:                for(; *s; s++)
                    400:                        if(*s=='/')
                    401:                                *s='\\';
                    402: }
                    403: */
1.24      paf       404: #endif
1.41      paf       405: 
                    406: bool StrEqNc(const char *s1, const char *s2, bool strict) {
                    407:        while(true) {
                    408:                if(!(*s1)) {
                    409:                        if(!(*s2))
                    410:                                return true;
                    411:                        else
                    412:                                return !strict;
                    413:                } else if(!(*s2))
                    414:                        return !strict;
                    415:                if(isalpha(*s1)) {
                    416:                        if(tolower(*s1) !=tolower(*s2))
                    417:                                return false;
                    418:                } else if((*s1) !=(*s2))
                    419:                        return false;
                    420:                s1++;
                    421:                s2++;
                    422:        }
1.48      paf       423: }
                    424: 
                    425: char *unquote(char*& current, char stop_at) {
                    426:        char *result=current;
                    427:        char *dest=current;
                    428:        // skip leading WS
                    429:        while(*current==' ' || *current=='\t')
                    430:                current++;
                    431:        if(!*current)
                    432:                return current=0;
                    433: 
                    434:        bool quoted=*current=='"';
                    435:        if(quoted)
                    436:                current++;
                    437: 
                    438:        for(; *current; ) {
                    439:                if(quoted)
                    440:                        switch(*current) {
                    441:                        case '\\': // "...\c
                    442:                                if(current[1])
                    443:                                        current++;
                    444:                                break;
                    445:                        case '"':
                    446:                                current++;
                    447:                                goto break2;
                    448:                        }
                    449:                else
                    450:                        if(*current==stop_at)
                    451:                                break;
                    452: 
                    453:                *dest++=*current++;
                    454:        }
                    455: break2:
                    456:        if(*current)
                    457:                current++; // skip 'stop_at'
                    458:        *dest=0;
                    459:        return result;
1.57      parser    460: }
                    461: 
                    462: static int isLeap(int year) {
                    463:     return !(
                    464:              (year % 4) || ((year % 400) && !(year % 100))
                    465:             );
                    466: }
                    467: 
                    468: int getMonthDays(int year, int month) {
                    469:     int monthDays[]={
                    470:         31,
                    471:         isLeap(year) ? 29 : 28,
                    472:         31,
                    473:         30,
                    474:         31,
                    475:         30,
                    476:         31,
                    477:         31,
                    478:         30,
                    479:         31,
                    480:         30,
                    481:         31
                    482:     };
                    483:     return monthDays[month];
1.41      paf       484: }

E-mail: