Reverted postgresql upgrade function.
[carnet-upgrade.git] / src / functions.sh
index 7474d5e..9c81fc8 100644 (file)
@@ -28,14 +28,14 @@ log() {
 # find first free uid/gid in range
 # find_id passwd 100 999
 find_id() {
-  local db first last ids
+  local i db first last ids
   db=$1
   first=$2
   last=$3
   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
   for i in $(seq $first $last)
   do
-    if ! echo $ids |grep -q $i; then
+    if ! echo $ids | grep -q $i; then
       echo $i
       return 0
     fi
@@ -130,14 +130,16 @@ dist_upgrade () {
 
 remove_bloat() {
   local to_remove add_this i j n text to_show cmd tmpfile installed
-  local update_selections pkgs_to_deselect oldifs
+  local update_selections pkgs_to_deselect pkgs_to_remove oldifs pkglist
   text="$msg_remove_bloat"
 
   [ "$DEBUG" ] && set -x
   n=0
+  pkglist=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
+  COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' > $pkglist
   for i in $(echo "$bloats" | sed 's/          */      /g'| awk -F'    ' '{print $2}')
   do
-    if pkg $i; then
+    if grep -q "^$i$" $pkglist; then
       installed="$installed $i"
       add_this="$(echo "$bloats" | egrep "     .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
       if ! echo "$to_show" | grep -q "$add_this"; then
@@ -146,7 +148,9 @@ remove_bloat() {
       fi
     fi
   done
+  [ "$DEBUG" ] || rm -f $pkglist
   [ -z "$to_show" ] && return 0
+  test $n -gt 8 && n=8
   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
   cmd="dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
   [ "$DEBUG" ] && set +x
@@ -198,7 +202,7 @@ run_post_upgrade() {
 ###
 
 run_actions() {
-  local line lineno lineno2 f n name action testmsg
+  local line lineno lineno2 f n name action checkmsg check
   [ "$DEBUG" ] && set -vx
   name="$1"
   f="$2"
@@ -222,16 +226,16 @@ run_actions() {
       lineno2=$(($lineno2+1))
       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
     done
-    test=$(echo "$line" | sed 's/              */      /g'| awk -F'    ' '{print $1}')
+    check=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $1}')
     action=$(echo "$line" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
-    testmsg=""
-    [ "$test" != "true" ] && testmsg="if '$test'"
-    if eval $test; then
-      log "$(printf 'action %02d' $lineno) starting: '${action}' $testmsg "
+    checkmsg=""
+    [ "$check" != "true" ] && checkmsg="if '$check'"
+    if eval $check; then
+      log "$(printf 'action %02d' $lineno) starting: '${action}' $checkmsg "
       eval $action
-      log "$(printf 'action %02d' $lineno) finished: '${action}' $testmsg"
+      log "$(printf 'action %02d' $lineno) finished: '${action}' $checkmsg"
     else
-      log "$(printf 'action %02d' $lineno) skipping: '${action}' $testmsg"
+      log "$(printf 'action %02d' $lineno) skipping: '${action}' $checkmsg"
     fi
     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
   done
@@ -263,13 +267,15 @@ check_upgrade () {
 
   if [ "$upgrade" ]; then
     notice "
-Prije prelaska na Debian Etch potrebno je napraviti upgrade ovih paketa:
+Prije prelaska na Debian Etch potrebno je napraviti nadogradnju ovih paketa:
   $upgrade
 
 Pokrenite:
-  'apt-get dist-upgrade'
+  # apt-get update
+  # apt-get dist-upgrade
 ili:
-  'apt-get install${upgrade}'
+  # apt-get update
+  # apt-get install${upgrade}
   
 Nakon toga ponovno pozovite ovu skriptu."
     log "carnet-upgrade aborted, upgrade of$upgrade needed."
@@ -277,8 +283,25 @@ Nakon toga ponovno pozovite ovu skriptu."
   fi
 }
 
+# if apache is installed make sure it's version 2
+check_apache_version () {
+
+  if pkg apache-cn && ! pkg apache2-cn; then
+    notice "
+Prije prelaska na Debian Etch potrebno je napraviti nadogradnju sa Apache 1.3 na Apache 2.0.
+
+Pokrenite:
+  # apt-get update
+  # apt-get install apache2-cn
+  
+Nakon toga ponovno pozovite ovu skriptu."
+    log "carnet-upgrade aborted, upgrade to apache2-cn needed."
+    exit 1
+  fi
+}
+
 upgrade () {
-  local to_install packages
+  local i to_install packages
   case "$1" in
     first)
       packages="$packages_first"
@@ -290,7 +313,7 @@ upgrade () {
     return 1
   esac
 
-  for i in $packages
+  for i in $(echo $packages)
   do
     pkg $i && to_install="$to_install $i"
   done
@@ -313,11 +336,11 @@ create_sources_list () {
 
         # backup old version
         if [ -f $sl -a ! -f $sl.$backup_ext ]; then
-            cp $sl $sl.$backup_ext
+            cp -av $sl $sl.$backup_ext
         fi
 
         # install new version
-        cp $sl_new $sl
+        cp -av $sl_new $sl
         notice "Novi sadrzaj datoteke /etc/apt/sources.list:
 
 `cat /etc/apt/sources.list`"
@@ -349,25 +372,36 @@ add_group_proc () {
   fi
 }
 
-# backup_slapd_db
+# backup ldap database
 backup_slapd_db () {
   local ldap_backup=/var/backups/slapcat.$backup_ext
+  local old_umask result
 
   if [ ! -f $ldap_backup ]; then
     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
 
     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
       /etc/init.d/slapd stop || true
-      if slapcat -l $ldap_backup; then
+      old_umask=`umask`
+      umask 0077 # protect the backup file
+      slapcat -l $ldap_backup
+      result=$?
+      umask $old_umask
+      /etc/init.d/slapd start || true
+
+      if [ "$result" -eq 0 ]; then
         log "$ldap_backup created"
         notice "Napravljen backup slapd baze u $ldap_backup."
+      else
+        log "$ldap_backup was not created"
+        notice "Backup slapd baze u $ldap_backup nije uspio."
+        exit 1
       fi
-      /etc/init.d/slapd start || true
     fi
 
     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
   else
-    log "slapd backup already at $ldap_backup, skipping"
+    log "slapd backup already at $ldap_backup, skipping."
     notice "Backup slapd baze u $ldap_backup vec postoji!"
   fi
 }
@@ -375,12 +409,21 @@ backup_slapd_db () {
 # backup etc direktorija
 backup_etc_dir () {
   local etc_backup=/var/backups/etc.$backup_ext.tar.gz
+  local old_umask
 
   if [ ! -f $etc_backup ]; then
+    old_umask=`umask`
+    umask 0077 # protect the backup file
+
     if tar cfz $etc_backup /etc 2> /dev/null; then
       log "$etc_backup created"
       notice "Napravljen backup /etc direktorija u $etc_backup."
+    else
+      log "$etc_backup was not created"
+      notice "Backup /etc direktorija u $etc_backup nije uspio."
+      exit 1
     fi
+    umask $old_umask
   else
     log "/etc backup already present in $etc_backup, skipping."
     notice "Backup /etc direktorija u $etc_backup vec postoji!"
@@ -396,9 +439,9 @@ fix_etc_default_raid2 () {
 
     if ! cmp -s /etc/default/raid2.$backup_ext.$$ /etc/default/raid2; then
       log "Fixed /etc/default/raid2 AUTOSTART option."
-      mv /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
+      mv -v /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
     else
-      rm /etc/default/raid2.$backup_ext.$$
+      rm -v /etc/default/raid2.$backup_ext.$$
     fi
   fi
 }
@@ -407,61 +450,71 @@ fix_etc_default_raid2 () {
 # installed already)
 restore_config () {
   local file file_backup file_orig
-  local pkg=$1 ver=$2
-  shift 2
+  local old_umask
 
-  # check package version
-  pkg $pkg lt $ver || return 0
+  # create new files safely
+  old_umask=`umask`
+  umask 0077
 
   # restore package files
   for file in $*; do
     file_orig=/usr/share/carnet-upgrade/files/$file
     file_backup=$file.$backup_ext
 
+    # is config there
+    if [ ! -e $file ]; then
+        continue
+    fi 
+
+    # is restore needed
     if cmp $file_orig $file >/dev/null; then
-        continue # original file is already in place
+        continue
     fi
 
-    if [ -e $file -a ! -e $file_backup ]; then
-      # backup file
-      mv $file $file_backup
+    # backup and restore
+    if [ ! -e $file_backup ]; then
+      log "Restoring config file $file"
+
+      # backup local changes
+      mv -v $file $file_backup
 
-      # install original
-      log Restoring config file $file
-      cp $file_orig $file
+      # restore original
+      cp -av $file_orig $file
+      chown --reference $file_backup $file
+      chmod --reference $file_backup $file
     fi
   done
+
+  umask $old_umask
 }
 
 # restore modified config to their package defaults
 # so the upgrade doesn't complain so much
 restore_configs () {
-  restore_config base-files 4 /etc/issue /etc/issue.net
-  restore_config bind9 1:9.3.4 /etc/bind/named.conf.options
-  restore_config dovecot-common 1.0 /etc/dovecot/dovecot.conf
-  restore_config libapache-mod-php4 6:4.4.4 /etc/php4/apache/php.ini
-  restore_config libpam-modules 0.79 /etc/security/limits.conf
-  restore_config login 1:4.0.18.1 /etc/pam.d/login
-  restore_config mysql-server 5.0.3 /etc/init.d/mysql \
+  local config_backup
+
+  pkg base-files lt 4 && restore_config /etc/issue /etc/issue.net
+  pkg bind9 lt 1:9.3.4 && restore_config /etc/bind/named.conf.options
+  pkg libpam-modules lt 0.79 && restore_config /etc/security/limits.conf
+  pkg login lt 1:4.0.18.1 && restore_config /etc/pam.d/login
+  pkg mysql-server lt 5.0.3 && restore_config /etc/init.d/mysql \
                                     /etc/logrotate.d/mysql-server \
                                     /etc/mysql/my.cnf
-  restore_config ntp 1:4.2.2 /etc/ntp.conf
-  restore_config ntpdate 1:4.2.2 /etc/default/ntpdate
-  restore_config oidentd 2.0.8 /etc/default/oidentd
-  restore_config php4-cgi 6:4.4.4 /etc/php4/cgi/php.ini
-  restore_config php4-cli 6:4.4.4 /etc/php4/cli/php.ini
-  restore_config postgrey 1.27 /etc/default/postgrey \
+  pkg ntp lt 1:4.2.2 && restore_config /etc/ntp.conf
+  pkg ntpdate lt 1:4.2.2 && restore_config /etc/default/ntpdate
+  pkg oidentd lt 2.0.8 && restore_config /etc/default/oidentd
+  pkg postgrey lt 1.27 && restore_config /etc/default/postgrey \
                                /etc/postgrey/whitelist_clients
-  restore_config procps 1:3.2.7 /etc/sysctl.conf
-  restore_config sasl2-bin 2.1.22 /etc/default/saslauthd
-  restore_config slapd 2.3.30 /etc/default/slapd /etc/init.d/slapd
-  restore_config squirrelmail 2:1.4.9a /etc/squirrelmail/apache.conf
-  restore_config vsftpd 2.0.5 /etc/vsftpd.conf
-  restore_config xinetd 1:2.3.14 /etc/xinetd.conf
+  pkg procps lt 1:3.2.7 && restore_config /etc/sysctl.conf
+  pkg sasl2-bin lt 2.1.22 && restore_config /etc/default/saslauthd
+  pkg slapd lt 2.3.30 && restore_config /etc/default/slapd /etc/init.d/slapd
+  pkg squirrelmail lt 2:1.4.9a && restore_config /etc/squirrelmail/apache.conf
+  pkg vsftpd lt 2.0.5 && restore_config /etc/vsftpd.conf
+  pkg xinetd lt 1:2.3.14 && restore_config /etc/xinetd.conf
 
   # orphaned config file - no owner
   if pkg logcheck-database lt 1.2.54; then
-      rm -f /etc/logcheck/ignore.d.server/imap
+      rm -vf /etc/logcheck/ignore.d.server/imap
   fi
 
   # aide switched to ucf, move old configs aside
@@ -471,18 +524,59 @@ restore_configs () {
                   /etc/default/aide;
       do
           if [ ! -e "$file.$backup_ext" ]; then
-              mv "$file" "$file.$backup_ext"
+              mv -v "$file" "$file.$backup_ext"
           fi
 
-          rm -f "$file"
+          rm -vf "$file"
       done
   fi
+
+  # register cn changes in ucf managed files
+  for config in /etc/apache/modules.conf \
+                /etc/clamav/clamd.conf \
+                /etc/clamav/freshclam.conf \
+                /etc/php4/apache2/php.ini \
+                /etc/php4/apache/php.ini \
+                /etc/php4/cgi/php.ini \
+                /etc/php4/cli/php.ini
+  do 
+      config_backup=$config.$backup_ext
+      if [ -e $config -a ! -e $config_backup ]; then
+          log "Saving config file $config"
+          cp -av $config $config_backup
+          ucf $config_backup $config
+      fi
+  done
+}
+
+# temporary disable listchanges packages to reduce clutter during upgrade
+apt_listchanges () {
+  local file command=$1
+
+  for file in /etc/apt/apt.conf.d/20listchanges \
+              /etc/apt/apt.conf.d/20listchanges-cn
+  do
+      case $command in
+           disable)
+               if [ -f $file ]; then
+                   dpkg-divert --local --rename --divert $file.$backup_ext \
+                               --add $file || true
+               fi
+               ;;
+
+           enable)
+               if [ -f $file.$backup_ext ]; then
+                   dpkg-divert --remove $file || true
+               fi
+               ;;
+     esac
+  done
 }
 
 # make a silent installation of carnet and srce keyrings
 install_keyrings () {
   pkgadd carnet-keyring srce-keyring
-  pkgadd dpkg apt debconf
+  pkgadd dpkg apt debconf python-apt
 
   dpkg-reconfigure carnet-keyring srce-keyring
   update
@@ -503,57 +597,46 @@ upgrade_libc () {
   DEBIAN_FRONTEND=noninteractive pkgadd libc6
 }
 
-# upgrade apache -> apache2
-upgrade_apache () {
-
-  # bugfix for apache2-cn postinst
-  mkdir -p /etc/apache2
-  touch /etc/apache2/httpd.conf
-
-  # register cn changes in modules.conf
-  modules_conf=/etc/apache/modules.conf
-  if [ ! -e "$modules_conf.$backup_ext" ]; then
-      cp "$modules_conf" "$modules_conf.$backup_ext"
-      ucf $modules_conf $modules_conf
-  fi
+# upgrade apache2 to etch
+upgrade_apache2 () {
+  local package packages
 
-  # temporary remove packages conflicting with apache2
-  delpkg=""
-  for p in aosi-aai aosi-www-aai \
-           php4-cn php4-odbc php4-xslt \
-           squirrelmail-cn; do
+  # php-suhosin-cn causes removal of applications on dist-upgrade
+  # because of php5 only dependencies
+  pkgrm php-suhosin-cn
 
-     # remember installed packages
-     if pkg $p; then
-         delpkg="$delpkg $p"
-     fi
+  for package in \
+      libapache2-mod-php4 \
+      php4-cli \
+      php4-cgi \
+      php4-cn \
+      apache2-cn \
+      php4-odbc \
+      php4-suhosin
+  do
+      if pkg $package; then
+          packages="$packages $package"
+      fi
   done
 
-  # remove problematic stuff
-  if [ "$delpkg" ]; then
-      eval apt-get --yes remove $delpkg
-  fi
-
-  # remove old apache
-  pkgrm apache apache-common
-
-  # install new packages
-  eval pkgadd apache2-cn apache2-mpm-prefork \
-              php4-cn libapache2-mod-php4 \
-              $delpkg
+  for package in $(echo $packages); do
+      pkgadd $package
+  done
 }
 
 upgrade_amavis () {
+  local conf
+
   # remove init script diversion
   if [ -L /etc/init.d/amavis -a -f /etc/init.d/amavis.amavisd-new ]; then
-    rm -f /etc/init.d/amavis
+    rm -vf /etc/init.d/amavis
     dpkg-divert --quiet --remove /etc/init.d/amavis
   fi
 
   # move old config aside
-  local conf=/etc/amavis/amavisd.conf
+  conf=/etc/amavis/amavisd.conf
   if [ -e $conf -a ! -e $conf.$backup_ext ]; then
-    mv $conf $conf.$backup_ext
+    mv -v $conf $conf.$backup_ext
   fi
 
   # install new packages
@@ -570,11 +653,79 @@ upgrade_amavis () {
 
 # fix openldap-aai postinst user handling
 upgrade_openldap () {
-  #pkgrm openldap-cn # deprecated
-  apt-get -y$s install openldap-aai || true # postinst fails
-  chown -R openldap:openldap /var/lib/ldap  # fix slapd
-  /etc/init.d/slapd restart
-  dpkg --configure -a # try postinst again
+  pkg openldap-aai lt 2.3 || return 0
+
+  # slapd postinst fails if move_old_database is false
+  echo 'slapd slapd/move_old_database boolean true' | debconf-set-selections 
+  pkgadd slapd
+
+  # openldap-aai postinst fails here because of database permissions
+  if ! apt-get -y install openldap-aai; then
+    chown -R openldap:openldap /var/lib/ldap  # fix slapd
+    /etc/init.d/slapd restart
+
+    # try openldap-aai postinst again (also re-enables slurpd)
+    dpkg --configure -a
+  fi
+}
+
+# fix postgresql deinstallation during upgrade
+upgrade_postgresql () {
+  if check_services show 2>&1 | grep -qw postgresql; then
+     apt-get install -y postgresql || apt-get -yf install
+  fi
+}
+
+# upgrade the MTA
+upgrade_postfix () {
+  pkgadd postfix-cn
+
+  if pkg postgrey; then
+     pkgrm postgrey # not used by postfix-cn anymore
+  fi
+}
+
+get_variable () {
+  local name=$1 file=$2 val
+
+  if [ -f "$file" ]; then
+     val=$(sed -n "/^[[:space:]]*$name[[:space:]]*=/s/[[:space:]]*//gp" $file)
+     val=${val#*=}
+  fi
+
+  echo $val
+}
+
+# preserve mail location on upgrade
+upgrade_dovecot () {
+  local default_mail_env mail_location
+
+  # check if already upgraded
+  if ! pkg dovecot-common lt 1.0; then
+      return
+  fi
+
+  # save old mail location
+  default_mail_env=$(get_variable default_mail_env /etc/dovecot/dovecot.conf)
+
+  # silently upgrade package
+  restore_config /etc/dovecot/dovecot.conf
+  pkgadd dovecot-cn
+
+  # insert old mail location
+  mail_location=$(get_variable mail_location /etc/dovecot/dovecot.conf)
+  if [ "$default_mail_env" -a ! "$mail_location" ]; then
+      check_and_sed '^#mail_location[[:space:]]*=' \
+                   "s|#mail_location[[:space:]]*=.*|mail_location = $default_mail_env|" /etc/dovecot/dovecot.conf || return 0
+
+      if [ -x /etc/init.d/dovecot ]; then
+          if [ -x /usr/sbin/invoke-rc.d ]; then
+              /usr/sbin/invoke-rc.d dovecot restart
+          else
+              /etc/init.d/dovecot restart
+          fi
+      fi
+  fi
 }
 
 # fix /etc/dpkg/dpkg.cfg