Annotation of parser3/src/main/pa_common.C, revision 1.81

1.15      paf         1: /** @file
1.16      paf         2:        Parser: commonly functions.
                      3: 
1.8       paf         4:        Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)
1.68      parser      5:        Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)
1.16      paf         6: 
1.81    ! paf         7:        $Id: pa_common.C,v 1.80 2001/10/31 14:01:45 paf Exp $
1.1       paf         8: */
                      9: 
                     10: #include "pa_common.h"
1.2       paf        11: #include "pa_types.h"
1.4       paf        12: #include "pa_exception.h"
1.14      paf        13: #include "pa_pool.h"
                     14: #include "pa_globals.h"
                     15: #include "pa_value.h"
                     16: #include "pa_hash.h"
                     17: #include "pa_string.h"
1.1       paf        18: 
1.81    ! paf        19: #ifndef WIN32
1.47      paf        20: #      ifndef _O_TEXT
                     21: #              define _O_TEXT 0
                     22: #      endif
                     23: #      ifndef _O_BINARY
                     24: #              define _O_BINARY 0
                     25: #      endif
                     26: #endif
                     27: 
1.80      paf        28: #ifndef O_TRUNC
                     29: #      define O_TRUNC 0
                     30: #endif
                     31: 
1.22      paf        32: #if _MSC_VER
1.1       paf        33: 
                     34: int __vsnprintf(char *b, size_t s, const char *f, va_list l) {
                     35:        int r=_vsnprintf(b, --s, f, l);
                     36:        b[s]=0;
                     37:        return r;
                     38: }
                     39: int __snprintf(char *b, size_t s, const char *f, ...) {
                     40:        va_list l;
                     41:     va_start(l, f);
                     42:     int r=__vsnprintf(b, s, f, l);
                     43:     va_end(l);
                     44:        return r;
                     45: }
                     46: 
                     47: #endif
1.2       paf        48: 
1.79      paf        49: void fix_line_breaks(char *cstr, size_t& size) {
                     50:        char *dest=cstr;
1.72      parser     51:        // fix DOS: \r\n -> \n
                     52:        // fix Macintosh: \r -> \n
1.79      paf        53:        char *bol=cstr;
1.72      parser     54:        while(char *eol=strchr(bol, '\r')) {
                     55:                size_t len=eol-bol;
                     56:                if(dest!=bol)
                     57:                        memcpy(dest, bol, len);
                     58:                dest+=len;
                     59:                *dest++='\n';
                     60: 
                     61:                if(eol[1]=='\n') { // \r,\n = DOS
                     62:                        bol=eol+2;
                     63:                        size--;
                     64:                } else // \r,not \n = Macintosh
                     65:                        bol=eol+1;
                     66:        }
                     67:        // last piece without \r, including terminating 0
                     68:        if(dest!=bol)
                     69:                strcpy(dest, bol);
                     70: }
1.18      paf        71: 
1.28      paf        72: char *file_read_text(Pool& pool, const String& file_spec, bool fail_on_read_problem) {
1.72      parser     73:        void *result;  size_t size;
                     74:        return file_read(pool, file_spec, result, size, true, fail_on_read_problem)?(char *)result:0;
1.34      paf        75: }
                     76: bool file_read(Pool& pool, const String& file_spec, 
1.44      paf        77:                           void*& data, size_t& read_size, bool as_text,
                     78:                           bool fail_on_read_problem,
                     79:                           size_t offset, size_t limit) {
1.64      parser     80:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.62      parser     81: //printf("file_read(%s)\n", fname);
1.33      paf        82:        int f;
1.2       paf        83:     struct stat finfo;
1.33      paf        84: 
                     85:        // first open, next stat:
1.45      paf        86:        // directory update of NTFS hard links performed on open.
1.33      paf        87:        // ex: 
                     88:        //   a.html:^test[] and b.html hardlink to a.html
                     89:        //   user inserts ! before ^test in a.html
                     90:        //   directory entry of b.html in NTFS not updated at once,
1.35      paf        91:        //   they delay update till open, so we would receive "!^test[" string
                     92:        //   if would do stat, next open.
1.34      paf        93:     if(
1.72      parser     94:                (f=open(fname, O_RDONLY|(as_text?_O_BINARY/*_O_TEXT*/:_O_BINARY)))>=0 && 
1.34      paf        95:                stat(fname, &finfo)==0) {
1.2       paf        96:                /*if(exclusive)
                     97:                        flock(f, LOCK_EX);*/
1.44      paf        98:                size_t max_size=limit?min(offset+limit, finfo.st_size)-offset:finfo.st_size;
1.47      paf        99:                if(!max_size) { // eof
                    100:                        data=0;
                    101:                        read_size=0;
1.59      parser    102:                } else {
1.78      paf       103:                        data=pool.malloc(max_size+(as_text?1:0), 3);
1.59      parser    104:                        if(offset)
                    105:                                lseek(f, offset, SEEK_SET);
                    106:                        read_size=read(f, data, max_size);
1.47      paf       107:                }
1.2       paf       108:                /*if(exclusive)
                    109:                        flock(f, LOCK_UN);*/
                    110:                close(f);
1.59      parser    111:                if(!max_size) // eof
                    112:                        return true;
1.32      paf       113: 
1.44      paf       114:                if(read_size>=0 && read_size<=max_size) {
1.34      paf       115:                        if(as_text)
1.46      paf       116:                                ((char*&)data)[read_size]=0;
1.34      paf       117:                } else
1.73      parser    118:                        throw Exception(0, 0, 
1.33      paf       119:                                &file_spec, 
1.44      paf       120:                                "read failed: actually read %d bytes count not in [0..%lu] valid range", 
                    121:                                        read_size, (unsigned long)max_size); //never
1.32      paf       122:                
1.72      parser    123:                if(as_text)
                    124:                        fix_line_breaks((char *)data, read_size);
                    125:                return true;
1.2       paf       126:     }
1.4       paf       127:        if(fail_on_read_problem)
1.73      parser    128:                throw Exception(0, 0, 
1.33      paf       129:                        &file_spec, 
1.54      parser    130:                        "read failed: %s (%d), actual filename '%s'", 
                    131:                                strerror(errno), errno, fname);
1.34      paf       132:     return false;
1.8       paf       133: }
                    134: 
1.63      parser    135: static void create_dir_for_file(const String& file_spec) {
                    136:        size_t pos_after=1;
                    137:        int pos_before;
                    138:        while((pos_before=file_spec.pos("/", 1, pos_after))>=0) {
1.64      parser    139:                mkdir(file_spec.mid(0, pos_before).cstr(String::UL_FILE_SPEC), 0775);
1.63      parser    140:                pos_after=pos_before+1;
                    141:        }
                    142: }
                    143: 
1.18      paf       144: void file_write(Pool& pool, 
1.28      paf       145:                                const String& file_spec, 
1.34      paf       146:                                const void *data, size_t size, 
1.80      paf       147:                                bool as_text,
                    148:                                bool do_append/*, 
1.20      paf       149:                                bool exclusive*/) {
1.64      parser    150:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.28      paf       151:        int f;
1.80      paf       152:        if(access(fname, W_OK)!=0) // no
1.63      parser    153:                create_dir_for_file(file_spec);
1.50      paf       154: 
1.80      paf       155:        if((f=open(fname, 
                    156:                O_CREAT|O_RDWR
                    157:                |(as_text?_O_TEXT:_O_BINARY)
                    158:                |(do_append?O_APPEND:O_TRUNC), 0666))>=0) {
                    159:                /*if(exclusive)
                    160:                        flock(f, LOCK_EX);*/
                    161:                
                    162:                if(size) write(f, data, size);
                    163: #if O_TRUNC==0
                    164:                ftruncate(f, size);
1.18      paf       165: #endif
1.80      paf       166:                /*if(exclusive)
                    167:                        flock(f, LOCK_UN);*/
                    168:                close(f);
                    169:        } else
                    170:                throw Exception(0, 0, 
                    171:                        &file_spec, 
                    172:                        "write failed: %s (%d), actual filename '%s'", 
                    173:                                strerror(errno), errno, fname);
1.30      paf       174: }
                    175: 
1.63      parser    176: // throws nothing! [this is required in file_move & file_delete]
1.50      paf       177: static void rmdir(const String& file_spec, size_t pos_after) {
                    178:        int pos_before;
                    179:        if((pos_before=file_spec.pos("/", 1, pos_after))>=0)
                    180:                rmdir(file_spec, pos_before+1);
                    181:        
1.64      parser    182:        rmdir(file_spec.mid(0, pos_after-1/* / */).cstr(String::UL_FILE_SPEC));
1.50      paf       183: }
1.30      paf       184: void file_delete(Pool& pool, const String& file_spec) {
1.64      parser    185:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.54      parser    186:        if(unlink(fname)!=0)
1.73      parser    187:                throw Exception(0, 0, 
1.33      paf       188:                        &file_spec, 
1.54      parser    189:                        "unlink failed: %s (%d), actual filename '%s'", 
                    190:                                strerror(errno), errno, fname);
1.50      paf       191: 
                    192:        rmdir(file_spec, 1);
1.60      parser    193: }
                    194: void file_move(Pool& pool, const String& old_spec, const String& new_spec) {
1.64      parser    195:        const char *old_spec_cstr=old_spec.cstr(String::UL_FILE_SPEC);
                    196:        const char *new_spec_cstr=new_spec.cstr(String::UL_FILE_SPEC);
1.63      parser    197:        
                    198:        create_dir_for_file(new_spec);
                    199: 
1.60      parser    200:        if(rename(old_spec_cstr, new_spec_cstr)!=0)
1.73      parser    201:                throw Exception(0, 0, 
1.60      parser    202:                        &old_spec, 
                    203:                        "rename failed: %s (%d), actual filename '%s' to '%s'", 
                    204:                                strerror(errno), errno, old_spec_cstr, new_spec_cstr);
1.63      parser    205: 
                    206:        rmdir(old_spec, 1);
1.31      paf       207: }
                    208: 
1.51      paf       209: 
                    210: static bool entry_readable(const String& file_spec, bool need_dir) {
1.64      parser    211:     const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.51      paf       212:        struct stat finfo;
                    213:        if(access(fname, R_OK)==0 && stat(fname, &finfo)==0) {
1.73      parser    214:                bool is_dir=finfo.st_mode&S_IFDIR != 0;
1.51      paf       215:                return is_dir==need_dir;
                    216:        }
                    217:        return false;
                    218: }
1.31      paf       219: bool file_readable(const String& file_spec) {
1.51      paf       220:        return entry_readable(file_spec, false);
                    221: }
                    222: bool dir_readable(const String& file_spec) {
                    223:        return entry_readable(file_spec, true);
1.65      parser    224: }
                    225: String *file_readable(const String& path, const String& name) {
                    226:        String *result=new(path.pool()) String(path);
                    227:        *result << "/";
                    228:        *result << name;
                    229:        return file_readable(*result)?result:0;
1.43      paf       230: }
                    231: bool file_executable(const String& file_spec) {
1.64      parser    232:     return access(file_spec.cstr(String::UL_FILE_SPEC), X_OK)==0;
1.44      paf       233: }
                    234: 
1.64      parser    235: bool file_stat(const String& file_spec, 
1.58      parser    236:                           size_t& rsize, 
                    237:                           time_t& ratime,
                    238:                           time_t& rmtime,
1.64      parser    239:                           time_t& rctime,
                    240:                           bool fail_on_read_problem) {
1.44      paf       241:        Pool& pool=file_spec.pool();
1.64      parser    242:        const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
1.44      paf       243:     struct stat finfo;
                    244:        if(stat(fname, &finfo)!=0)
1.64      parser    245:                if(fail_on_read_problem)
1.73      parser    246:                        throw Exception(0, 0, 
1.67      parser    247:                                &file_spec, 
                    248:                                "getting file size failed: %s (%d), real filename '%s'", 
                    249:                                        strerror(errno), errno, fname);
1.64      parser    250:                else
                    251:                        return false;
1.58      parser    252:        rsize=finfo.st_size;
                    253:        ratime=finfo.st_atime;
                    254:        rmtime=finfo.st_mtime;
                    255:        rctime=finfo.st_ctime;
1.64      parser    256:        return true;
1.18      paf       257: }
                    258: 
1.8       paf       259: char *getrow(char **row_ref, char delim) {
                    260:     char *result=*row_ref;
                    261:     if(result) {
                    262:                *row_ref=strchr(result, delim);
                    263:                if(*row_ref) 
                    264:                        *((*row_ref)++)=0; 
                    265:                else if(!*result) 
                    266:                        return 0;
                    267:     }
                    268:     return result;
                    269: }
                    270: 
1.23      paf       271: char *lsplit(char *string, char delim) {
                    272:     if(string) {
                    273:                char *v=strchr(string, delim);
1.8       paf       274:                if(v) {
                    275:                        *v=0;
                    276:                        return v+1;
                    277:                }
                    278:     }
                    279:     return 0;
                    280: }
                    281: 
                    282: char *lsplit(char **string_ref, char delim) {
                    283:     char *result=*string_ref;
                    284:        char *next=lsplit(*string_ref, delim);
                    285:     *string_ref=next;
                    286:     return result;
1.9       paf       287: }
                    288: 
                    289: char *rsplit(char *string, char delim) {
1.18      paf       290:     if(string) {
1.9       paf       291:                char *v=strrchr(string, delim);
1.18      paf       292:                if(v) {
1.9       paf       293:                        *v=0;
                    294:                        return v+1;
                    295:                }
                    296:     }
                    297:     return NULL;       
1.10      paf       298: }
                    299: 
1.37      paf       300: /// @todo less stupid type detection
1.10      paf       301: char *format(Pool& pool, double value, char *fmt) {
1.78      paf       302:        char *result=(char *)pool.malloc(MAX_NUMBER, 4);
1.10      paf       303:        if(fmt)
                    304:                if(strpbrk(fmt, "diouxX"))
                    305:                        if(strpbrk(fmt, "ouxX"))
1.33      paf       306:                                snprintf(result, MAX_NUMBER, fmt, (uint)value );
1.10      paf       307:                        else
1.33      paf       308:                                snprintf(result, MAX_NUMBER, fmt, (int)value );
1.10      paf       309:                else
                    310:                        snprintf(result, MAX_NUMBER, fmt, value);
                    311:        else
1.33      paf       312:                snprintf(result, MAX_NUMBER, "%d", (int)value);
1.10      paf       313:        
                    314:        return result;
1.12      paf       315: }
                    316: 
1.36      paf       317: size_t stdout_write(const void *buf, size_t size) {
1.12      paf       318: #ifdef WIN32
                    319:        do{
                    320:                int chunk_written=fwrite(buf, 1, min(8*0x400, size), stdout);
                    321:                if(chunk_written<=0)
                    322:                        break;
                    323:                size-=chunk_written;
1.36      paf       324:                buf=((const char*)buf)+chunk_written;
1.12      paf       325:        } while(size>0);
                    326: 
                    327:        return size;
                    328: #else
1.13      paf       329:        return fwrite(buf, 1, size, stdout);
1.12      paf       330: #endif
1.2       paf       331: }
1.14      paf       332: 
1.77      parser    333: char *unescape_chars(Pool& pool, const char *cp, int len) {
1.78      paf       334:        char *s=(char *)pool.malloc(len + 1, 5);
1.14      paf       335:        enum EscapeState {
1.33      paf       336:                EscapeRest, 
                    337:                EscapeFirst, 
1.14      paf       338:                EscapeSecond
                    339:        } escapeState=EscapeRest;
                    340:        int escapedValue=0;
                    341:        int srcPos=0;
                    342:        int dstPos=0;
                    343:        while(srcPos < len) {
                    344:                int ch=cp[srcPos];
                    345:                switch(escapeState) {
                    346:                        case EscapeRest:
                    347:                        if(ch=='%') {
                    348:                                escapeState=EscapeFirst;
                    349:                        } else if(ch=='+') {
                    350:                                s[dstPos++]=' ';
                    351:                        } else {
                    352:                                s[dstPos++]=ch; 
                    353:                        }
                    354:                        break;
                    355:                        case EscapeFirst:
                    356:                        escapedValue=hex_value[ch] << 4;        
                    357:                        escapeState=EscapeSecond;
                    358:                        break;
                    359:                        case EscapeSecond:
                    360:                        escapedValue +=hex_value[ch];
                    361:                        s[dstPos++]=escapedValue;
                    362:                        escapeState=EscapeRest;
                    363:                        break;
                    364:                }
                    365:                srcPos++;
                    366:        }
                    367:        s[dstPos]=0;
                    368:        return s;
                    369: }
                    370: 
1.52      paf       371: /// used by attributed_meaning_to_string / append_attribute_subattribute
1.40      paf       372: struct Attributed_meaning_info {
1.52      paf       373:        String *header; // header line being constructed
                    374:        String::Untaint_lang lang; // language in which to append to that line
1.40      paf       375: };
1.17      paf       376: static void append_attribute_subattribute(const Hash::Key& akey, Hash::Val *avalue, 
1.14      paf       377:                                                                                  void *info) {
                    378:        if(akey==VALUE_NAME)
                    379:                return;
                    380: 
1.40      paf       381:        Attributed_meaning_info& ami=*static_cast<Attributed_meaning_info *>(info);
                    382: 
1.14      paf       383:        // ...; charset=windows1251
1.48      paf       384:        *ami.header << "; ";
1.70      parser    385:        ami.header->append(akey, ami.lang);
1.48      paf       386:        *ami.header << "=";
1.70      parser    387:        ami.header->append(static_cast<Value *>(avalue)->as_string(), ami.lang);
1.14      paf       388: }
1.49      paf       389: const String& attributed_meaning_to_string(Value& meaning, 
                    390:                                                                                   String::Untaint_lang lang) {
1.20      paf       391:        String &result=*new(meaning.pool()) String(meaning.pool());
1.75      parser    392:        if(Hash *hash=meaning.get_hash(0)) {
1.14      paf       393:                // $value(value) $subattribute(subattribute value)
                    394:                if(Value *value=static_cast<Value *>(hash->get(*value_name)))
1.40      paf       395:                        result.append(value->as_string(), lang, true);
1.14      paf       396: 
1.40      paf       397:                Attributed_meaning_info attributed_meaning_info={
1.52      paf       398:                        &result,
                    399:                        lang
1.40      paf       400:                };
                    401:                hash->for_each(append_attribute_subattribute, &attributed_meaning_info);
1.14      paf       402:        } else // result value
1.40      paf       403:                result.append(meaning.as_string(), lang, true);
1.14      paf       404: 
                    405:        return result;
1.24      paf       406: }
                    407: 
                    408: #ifdef WIN32
                    409: void back_slashes_to_slashes(char *s) {
                    410:        if(s)
                    411:                for(; *s; s++)
                    412:                        if(*s=='\\')
                    413:                                *s='/';
                    414: }
1.42      paf       415: /*
                    416: void slashes_to_back_slashes(char *s) {
                    417:        if(s)
                    418:                for(; *s; s++)
                    419:                        if(*s=='/')
                    420:                                *s='\\';
                    421: }
                    422: */
1.24      paf       423: #endif
1.41      paf       424: 
                    425: bool StrEqNc(const char *s1, const char *s2, bool strict) {
                    426:        while(true) {
                    427:                if(!(*s1)) {
                    428:                        if(!(*s2))
                    429:                                return true;
                    430:                        else
                    431:                                return !strict;
                    432:                } else if(!(*s2))
                    433:                        return !strict;
                    434:                if(isalpha(*s1)) {
                    435:                        if(tolower(*s1) !=tolower(*s2))
                    436:                                return false;
                    437:                } else if((*s1) !=(*s2))
                    438:                        return false;
                    439:                s1++;
                    440:                s2++;
                    441:        }
1.57      parser    442: }
                    443: 
                    444: static int isLeap(int year) {
                    445:     return !(
                    446:              (year % 4) || ((year % 400) && !(year % 100))
                    447:             );
                    448: }
                    449: 
                    450: int getMonthDays(int year, int month) {
                    451:     int monthDays[]={
                    452:         31,
                    453:         isLeap(year) ? 29 : 28,
                    454:         31,
                    455:         30,
                    456:         31,
                    457:         30,
                    458:         31,
                    459:         31,
                    460:         30,
                    461:         31,
                    462:         30,
                    463:         31
                    464:     };
                    465:     return monthDays[month];
1.41      paf       466: }
1.69      parser    467: 
                    468: void remove_crlf(char *start, char *end) {
                    469:        for(char *p=start; p<end; p++)
                    470:                switch(*p) {
                    471:                        case '\n': *p='|'; break;
                    472:                        case '\r': *p=' '; break;
                    473:                }
1.74      parser    474: }

E-mail: