Diff for /parser3/src/main/pa_common.C between versions 1.18 and 1.72

version 1.18, 2001/03/19 20:07:38 version 1.72, 2001/10/16 07:51:07
Line 2 Line 2
         Parser: commonly functions.          Parser: commonly functions.
   
         Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)          Copyright(c) 2001 ArtLebedev Group(http://www.artlebedev.com)
   
         Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)          Author: Alexander Petrosyan <paf@design.ru>(http://design.ru/paf)
   
         $Id$          $Id$
 */  */
   
 #ifdef HAVE_CONFIG_H  
 #       include "pa_config.h"  
 #endif  
   
 #include <fcntl.h>  
 #include <sys/types.h>  
 #include <sys/stat.h>  
 #include <io.h>  
 #include <stdio.h>  
 #include <string.h>  
   
 #include "pa_common.h"  #include "pa_common.h"
 #include "pa_types.h"  #include "pa_types.h"
 #include "pa_exception.h"  #include "pa_exception.h"
Line 28 Line 16
 #include "pa_hash.h"  #include "pa_hash.h"
 #include "pa_string.h"  #include "pa_string.h"
   
 #ifdef WIN32  #ifndef WIN32
   #       ifndef _O_TEXT
   #               define _O_TEXT 0
   #       endif
   #       ifndef _O_BINARY
   #               define _O_BINARY 0
   #       endif
   #endif
   
   #if _MSC_VER
   
 int __vsnprintf(char *b, size_t s, const char *f, va_list l) {  int __vsnprintf(char *b, size_t s, const char *f, va_list l) {
         int r=_vsnprintf(b, --s, f, l);          int r=_vsnprintf(b, --s, f, l);
Line 45  int __snprintf(char *b, size_t s, const Line 42  int __snprintf(char *b, size_t s, const
   
 #endif  #endif
   
   // under WIN32 "t" mode fixes DOS chars OK, can't say that about other systems/ line break styles
 #ifdef WIN32  static void fix_line_breaks(char *src, size_t& size) {
           char *dest=src;
 void flock(int fd, int operation) {          // fix DOS: \r\n -> \n
         lseek(fd, 0, SEEK_SET);          // fix Macintosh: \r -> \n
         while(_locking(fd, operation, 1)!=0);          char *bol=src;
         lseek(fd, 0, SEEK_SET);          while(char *eol=strchr(bol, '\r')) {
 }                  size_t len=eol-bol;
                   if(dest!=bol)
 #endif                          memcpy(dest, bol, len);
                   dest+=len;
 /// @todo define it                  *dest++='\n';
 #ifdef SUN  
                   if(eol[1]=='\n') { // \r,\n = DOS
 void flock(int fd, int operation) {                          bol=eol+2;
         lseek(fd, 0, SEEK_SET);                          size--;
         lockf(fd, operation, 1);                  } else // \r,not \n = Macintosh
         lseek(fd, 0, SEEK_SET);                          bol=eol+1;
 }          }
 #endif          // last piece without \r, including terminating 0
           if(dest!=bol)
 void lock(FILE *f, long position) {                  strcpy(dest, bol);
         flock(fileno(f), LOCK_EX);  }
 }  
 void unlock(FILE *f) {  char *file_read_text(Pool& pool, const String& file_spec, bool fail_on_read_problem) {
         flock(fileno(f), LOCK_UN);          void *result;  size_t size;
 }          return file_read(pool, file_spec, result, size, true, fail_on_read_problem)?(char *)result:0;
   }
   bool file_read(Pool& pool, const String& file_spec, 
 char *file_read(Pool& pool, const char *fname, bool fail_on_read_problem) {                             void*& data, size_t& read_size, bool as_text,
     int f;                             bool fail_on_read_problem,
                              size_t offset, size_t limit) {
           const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
   //printf("file_read(%s)\n", fname);
           int f;
     struct stat finfo;      struct stat finfo;
     if(fname && !stat(fname,&finfo) &&(f=open(fname,O_RDONLY  
 #ifdef WIN32          // first open, next stat:
                 |O_TEXT          // directory update of NTFS hard links performed on open.
 #endif          // ex: 
                 ))>=0) {          //   a.html:^test[] and b.html hardlink to a.html
           //   user inserts ! before ^test in a.html
           //   directory entry of b.html in NTFS not updated at once,
           //   they delay update till open, so we would receive "!^test[" string
           //   if would do stat, next open.
       if(
                   (f=open(fname, O_RDONLY|(as_text?_O_BINARY/*_O_TEXT*/:_O_BINARY)))>=0 && 
                   stat(fname, &finfo)==0) {
                 /*if(exclusive)                  /*if(exclusive)
                         flock(f, LOCK_EX);*/                          flock(f, LOCK_EX);*/
                   size_t max_size=limit?min(offset+limit, finfo.st_size)-offset:finfo.st_size;
                 char *result=(char *)pool.malloc(finfo.st_size+1);                  if(!max_size) { // eof
                 int read_size=read(f,result,finfo.st_size);                          data=0;
                 if(read_size>=0 && read_size<=finfo.st_size)                           read_size=0;
                         result[read_size]='\0';                  } else {
                           data=pool.malloc(max_size+(as_text?1:0));
                           if(offset)
                                   lseek(f, offset, SEEK_SET);
                           read_size=read(f, data, max_size);
                   }
                 /*if(exclusive)                  /*if(exclusive)
                         flock(f, LOCK_UN);*/                          flock(f, LOCK_UN);*/
                 close(f);                  close(f);
                 return result;//prepare_config(result, remove_empty_lines);                  if(!max_size) // eof
                           return true;
   
                   if(read_size>=0 && read_size<=max_size) {
                           if(as_text)
                                   ((char*&)data)[read_size]=0;
                   } else
                           PTHROW(0, 0, 
                                   &file_spec, 
                                   "read failed: actually read %d bytes count not in [0..%lu] valid range", 
                                           read_size, (unsigned long)max_size); //never
                   
                   if(as_text)
                           fix_line_breaks((char *)data, read_size);
                   return true;
     }      }
         if(fail_on_read_problem)          if(fail_on_read_problem)
                 PTHROW(0,0,                  PTHROW(0, 0, 
                         0,                          &file_spec, 
                         "use: can not read '%s' file", fname);                          "read failed: %s (%d), actual filename '%s'", 
     return 0;                                  strerror(errno), errno, fname);
       return false;
   }
   
   static void create_dir_for_file(const String& file_spec) {
           size_t pos_after=1;
           int pos_before;
           while((pos_before=file_spec.pos("/", 1, pos_after))>=0) {
                   mkdir(file_spec.mid(0, pos_before).cstr(String::UL_FILE_SPEC), 0775);
                   pos_after=pos_before+1;
           }
 }  }
   
 void file_write(Pool& pool,   void file_write(Pool& pool, 
                                 const char *fname,                                   const String& file_spec, 
                                 const char *data, size_t size,                                   const void *data, size_t size, 
                                 bool exclusive) {                                  bool as_text/*, 
         if(fname) {                                  bool exclusive*/) {
                 int f;          const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
                 if(access(fname, F_OK)!=0) {/*no*/          int f;
                         if((f=open(fname,O_WRONLY|O_CREAT|_O_BINARY,0666))>0)          if(access(fname, W_OK)!=0) {/*no*/
                                 close(f);                  create_dir_for_file(file_spec);
                 }  
                 if(access(fname, R_OK|W_OK)==0) {                  if((f=open(fname, O_WRONLY|O_CREAT|_O_BINARY, 0666))>0)
                         if((f=open(fname,O_RDWR|_O_BINARY                          close(f);
           }
           if(access(fname, R_OK|W_OK)==0) {
                   int mode=O_RDWR|(as_text?_O_TEXT:_O_BINARY)
 #ifdef WIN32  #ifdef WIN32
                                 |O_TRUNC                          |O_TRUNC
 #endif  #endif
                                 ,0666))>=0) {                  ;
                                 if(exclusive)                  if((f=open(fname, mode, 0666))>=0) {
                                         flock(f, LOCK_EX);                          /*if(exclusive)
                                                                   flock(f, LOCK_EX);*/
                                 if(size) write(f,data,size);                          
                           if(size) write(f, data, size);
 #ifndef WIN32  #ifndef WIN32
                                 ftruncate(f,size);                          ftruncate(f, size);
 #endif  #endif
                                 if(exclusive)                          /*if(exclusive)
                                         flock(f, LOCK_UN);                                  flock(f, LOCK_UN);*/
                                 close(f);                          close(f);
                                 return;                          return;
                         }  
                 }                  }
         }          }
         if(fname)          PTHROW(0, 0, 
                 PTHROW(0, 0,                  &file_spec, 
                         0,                  "write failed: %s (%d), actual filename '%s'", 
                         "file_write('%s'): %s (#%d)",                           strerror(errno), errno, fname);
                                 fname, strerror(errno), errno);  }
         else  
                 PTHROW(0, 0,  // throws nothing! [this is required in file_move & file_delete]
                         0,  static void rmdir(const String& file_spec, size_t pos_after) {
                         "file_write: no filename specified");          int pos_before;
           if((pos_before=file_spec.pos("/", 1, pos_after))>=0)
                   rmdir(file_spec, pos_before+1);
           
           rmdir(file_spec.mid(0, pos_after-1/* / */).cstr(String::UL_FILE_SPEC));
   }
   void file_delete(Pool& pool, const String& file_spec) {
           const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
           if(unlink(fname)!=0)
                   PTHROW(0, 0, 
                           &file_spec, 
                           "unlink failed: %s (%d), actual filename '%s'", 
                                   strerror(errno), errno, fname);
   
           rmdir(file_spec, 1);
   }
   void file_move(Pool& pool, const String& old_spec, const String& new_spec) {
           const char *old_spec_cstr=old_spec.cstr(String::UL_FILE_SPEC);
           const char *new_spec_cstr=new_spec.cstr(String::UL_FILE_SPEC);
           
           create_dir_for_file(new_spec);
   
           if(rename(old_spec_cstr, new_spec_cstr)!=0)
                   PTHROW(0, 0, 
                           &old_spec, 
                           "rename failed: %s (%d), actual filename '%s' to '%s'", 
                                   strerror(errno), errno, old_spec_cstr, new_spec_cstr);
   
           rmdir(old_spec, 1);
   }
   
   
   static bool entry_readable(const String& file_spec, bool need_dir) {
       const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
           struct stat finfo;
           if(access(fname, R_OK)==0 && stat(fname, &finfo)==0) {
                   bool is_dir=(bool)(finfo.st_mode&S_IFDIR);
                   return is_dir==need_dir;
           }
           return false;
   }
   bool file_readable(const String& file_spec) {
           return entry_readable(file_spec, false);
   }
   bool dir_readable(const String& file_spec) {
           return entry_readable(file_spec, true);
   }
   String *file_readable(const String& path, const String& name) {
           String *result=new(path.pool()) String(path);
           *result << "/";
           *result << name;
           return file_readable(*result)?result:0;
   }
   bool file_executable(const String& file_spec) {
       return access(file_spec.cstr(String::UL_FILE_SPEC), X_OK)==0;
   }
   
   bool file_stat(const String& file_spec, 
                              size_t& rsize, 
                              time_t& ratime,
                              time_t& rmtime,
                              time_t& rctime,
                              bool fail_on_read_problem) {
           Pool& pool=file_spec.pool();
           const char *fname=file_spec.cstr(String::UL_FILE_SPEC);
       struct stat finfo;
           if(stat(fname, &finfo)!=0)
                   if(fail_on_read_problem)
                           PTHROW(0, 0, 
                                   &file_spec, 
                                   "getting file size failed: %s (%d), real filename '%s'", 
                                           strerror(errno), errno, fname);
                   else
                           return false;
           rsize=finfo.st_size;
           ratime=finfo.st_atime;
           rmtime=finfo.st_mtime;
           rctime=finfo.st_ctime;
           return true;
 }  }
   
 char *getrow(char **row_ref, char delim) {  char *getrow(char **row_ref, char delim) {
Line 154  char *getrow(char **row_ref, char delim) Line 272  char *getrow(char **row_ref, char delim)
     return result;      return result;
 }  }
   
 char *lsplit(char *string_ref, char delim) {  char *lsplit(char *string, char delim) {
     if(string_ref) {      if(string) {
                 char *v=strchr(string_ref, delim);                  char *v=strchr(string, delim);
                 if(v) {                  if(v) {
                         *v=0;                          *v=0;
                         return v+1;                          return v+1;
Line 183  char *rsplit(char *string, char delim) { Line 301  char *rsplit(char *string, char delim) {
     return NULL;              return NULL;        
 }  }
   
   /// @todo less stupid type detection
 char *format(Pool& pool, double value, char *fmt) {  char *format(Pool& pool, double value, char *fmt) {
         char *result=(char *)pool.malloc(MAX_NUMBER);          char *result=(char *)pool.malloc(MAX_NUMBER);
         if(fmt)          if(fmt)
                 if(strpbrk(fmt, "diouxX"))                  if(strpbrk(fmt, "diouxX"))
                         if(strpbrk(fmt, "ouxX"))                          if(strpbrk(fmt, "ouxX"))
                                 snprintf(result, MAX_NUMBER, fmt,(uint)value );                                  snprintf(result, MAX_NUMBER, fmt, (uint)value );
                         else                          else
                                 snprintf(result, MAX_NUMBER, fmt,(int)value );                                  snprintf(result, MAX_NUMBER, fmt, (int)value );
                 else                  else
                         snprintf(result, MAX_NUMBER, fmt, value);                          snprintf(result, MAX_NUMBER, fmt, value);
         else          else
                 snprintf(result, MAX_NUMBER, "%d",(int)value);                  snprintf(result, MAX_NUMBER, "%d", (int)value);
                   
         return result;          return result;
 }  }
   
 size_t stdout_write(const char *buf, size_t size) {  size_t stdout_write(const void *buf, size_t size) {
 #ifdef WIN32  #ifdef WIN32
         do{          do{
                 int chunk_written=fwrite(buf, 1, min(8*0x400, size), stdout);                  int chunk_written=fwrite(buf, 1, min(8*0x400, size), stdout);
                 if(chunk_written<=0)                  if(chunk_written<=0)
                         break;                          break;
                 size-=chunk_written;                  size-=chunk_written;
                 buf+=chunk_written;                  buf=((const char*)buf)+chunk_written;
         } while(size>0);          } while(size>0);
   
         return size;          return size;
Line 218  size_t stdout_write(const char *buf, siz Line 337  size_t stdout_write(const char *buf, siz
 const char *unescape_chars(Pool& pool, const char *cp, int len) {  const char *unescape_chars(Pool& pool, const char *cp, int len) {
         char *s=(char *)pool.malloc(len + 1);          char *s=(char *)pool.malloc(len + 1);
         enum EscapeState {          enum EscapeState {
                 EscapeRest,                  EscapeRest, 
                 EscapeFirst,                  EscapeFirst, 
                 EscapeSecond                  EscapeSecond
         } escapeState=EscapeRest;          } escapeState=EscapeRest;
         int escapedValue=0;          int escapedValue=0;
Line 253  const char *unescape_chars(Pool& pool, c Line 372  const char *unescape_chars(Pool& pool, c
         return s;          return s;
 }  }
   
   /// used by attributed_meaning_to_string / append_attribute_subattribute
   struct Attributed_meaning_info {
           String *header; // header line being constructed
           String::Untaint_lang lang; // language in which to append to that line
   };
 static void append_attribute_subattribute(const Hash::Key& akey, Hash::Val *avalue,   static void append_attribute_subattribute(const Hash::Key& akey, Hash::Val *avalue, 
                                                                                   void *info) {                                                                                    void *info) {
         if(akey==VALUE_NAME)          if(akey==VALUE_NAME)
                 return;                  return;
   
           Attributed_meaning_info& ami=*static_cast<Attributed_meaning_info *>(info);
   
         // ...; charset=windows1251          // ...; charset=windows1251
         String *string=static_cast<String *>(info);          *ami.header << "; ";
         string->APPEND_CONST("; ");          ami.header->append(akey, ami.lang);
         string->append(akey, String::Untaint_lang::HEADER, true);          *ami.header << "=";
         string->APPEND_CONST("=");          ami.header->append(static_cast<Value *>(avalue)->as_string(), ami.lang);
         string->append(static_cast<Value *>(avalue)->as_string(),   }
                 String::Untaint_lang::HEADER, true);  const String& attributed_meaning_to_string(Value& meaning, 
 }                                                                                     String::Untaint_lang lang) {
 const String& attributed_meaning_string(Value *meaning) {          String &result=*new(meaning.pool()) String(meaning.pool());
         String &result=*new(meaning->pool()) String(meaning->pool());          if(Hash *hash=meaning.get_hash()) {
         if(Hash *hash=meaning->get_hash()) {  
                 // $value(value) $subattribute(subattribute value)                  // $value(value) $subattribute(subattribute value)
                 if(Value *value=static_cast<Value *>(hash->get(*value_name)))                  if(Value *value=static_cast<Value *>(hash->get(*value_name)))
                         result.append(value->as_string(), String::Untaint_lang::HEADER, true);                          result.append(value->as_string(), lang, true);
   
                 hash->foreach(append_attribute_subattribute, &result);                  Attributed_meaning_info attributed_meaning_info={
                           &result,
                           lang
                   };
                   hash->for_each(append_attribute_subattribute, &attributed_meaning_info);
         } else // result value          } else // result value
                 result.append(meaning->as_string(), String::Untaint_lang::HEADER, true);                  result.append(meaning.as_string(), lang, true);
   
         return result;          return result;
   }
   
   #ifdef WIN32
   void back_slashes_to_slashes(char *s) {
           if(s)
                   for(; *s; s++)
                           if(*s=='\\')
                                   *s='/';
   }
   /*
   void slashes_to_back_slashes(char *s) {
           if(s)
                   for(; *s; s++)
                           if(*s=='/')
                                   *s='\\';
   }
   */
   #endif
   
   bool StrEqNc(const char *s1, const char *s2, bool strict) {
           while(true) {
                   if(!(*s1)) {
                           if(!(*s2))
                                   return true;
                           else
                                   return !strict;
                   } else if(!(*s2))
                           return !strict;
                   if(isalpha(*s1)) {
                           if(tolower(*s1) !=tolower(*s2))
                                   return false;
                   } else if((*s1) !=(*s2))
                           return false;
                   s1++;
                   s2++;
           }
   }
   
   static int isLeap(int year) {
       return !(
                (year % 4) || ((year % 400) && !(year % 100))
               );
   }
   
   int getMonthDays(int year, int month) {
       int monthDays[]={
           31,
           isLeap(year) ? 29 : 28,
           31,
           30,
           31,
           30,
           31,
           31,
           30,
           31,
           30,
           31
       };
       return monthDays[month];
   }
   
   void remove_crlf(char *start, char *end) {
           for(char *p=start; p<end; p++)
                   switch(*p) {
                           case '\n': *p='|'; break;
                           case '\r': *p=' '; break;
                   }
 }  }
   

Removed from v.1.18  
changed lines
  Added in v.1.72


E-mail: