Always try to restore apache configs.
[carnet-upgrade.git] / src / functions.sh
1 # last update: 2005-07-03
2 # Ivan 'ico' Rako <irako@srce.hr>
3 # Zoran 'jelly' Dzelajlija <jelly@srce.hr>
4
5 notice () {
6   dialog --backtitle "$title" --msgbox "$*" 18 75
7 }
8
9 first_warning () {
10   dialog --backtitle "$title" --yesno "$msg_first_warning" 18 75
11 }
12
13 pkg() {
14   local version
15   dpkg -l "$1" 2> /dev/null | egrep -q "^.i" || return 1
16   [ -z "$2" ] && return 0
17   version=$(dpkg -s "$1" | awk '/^Version:/ {print $2}')
18   dpkg --compare-versions "$version" "$2" "$3" 2>&1 > /dev/null
19 }
20
21 log() {
22   logfile=${logfile:=/var/log/carnet-upgrade.log}
23   touch $logfile
24   echo "$(date +'%Y-%m-%d %H:%M:%S') $*" >> $logfile
25   echo "CN: $*"
26 }
27
28 # find first free uid/gid in range
29 # find_id passwd 100 999
30 find_id() {
31   local db first last ids
32   db=$1
33   first=$2
34   last=$3
35   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
36   for i in $(seq $first $last)
37   do
38     if ! echo $ids | grep -q $i; then
39       echo $i
40       return 0
41     fi
42   done
43   return 1
44 }
45
46 # safe in-place s///
47 check_and_sed() {
48   [ "$DEBIAN_SCRIPT_DEBUG" ] && set -vx
49   local s sedcmd ret i
50   s="$1"
51   shift
52   sedcmd="$1"
53   shift
54   ret=2
55   for i in $*
56   do
57     [ -e "$i" ]        || continue
58     egrep -q "$s" "$i" || continue
59     [ -h "$i" ]        && i=$(readlink -f "$i")
60     sed "$sedcmd" "$i" > "$i.dpkg-tmp"
61     chown --reference "$i" "$i.dpkg-tmp"
62     chmod --reference "$i" "$i.dpkg-tmp"
63     mv "$i.dpkg-tmp" "$i"
64     ret=0
65   done
66   if [ "$ret" -eq 0 ]; then
67     log "Done \"$sedcmd\" to $*"
68   fi
69   return $ret
70 }
71
72 #
73 # Update uid for user from reserved system range (0-99) to dynamic system
74 # range (100-999).  Optionally update ownerships of given directories.
75 # $0 user [directory ...]
76 #
77 check_and_update_ugid() {
78   local user newgid newuid
79   user=$1
80   if [ "$(getent passwd $user | awk -F: '$3 >= 100 {print "ok"; exit 0}')" ]; then
81     return 0
82   fi
83   shift
84   newgid=$(find_id group 100 999)
85   newuid=$(find_id passwd 100 999)
86   # other directories/files
87   chown -R $newuid:$newgid $*
88   groupmod -g $newgid $user
89   usermod -u $newuid -g $newgid $user
90   log "Fixed $user user uid/gid."
91 }
92
93 pkgadd () {
94   [ -n "$*" ] || return 0
95   log "Installing $* ..."
96   apt-get -y$s install $* || {
97     dpkg --configure -a
98     apt-get -yf install
99     apt-get -y$s install $*
100   }
101 }
102
103 pkgrm () {
104   [ -n "$*" ] || return 0
105   log "Removing $* ..."
106   apt-get -y$s --purge remove $* || {
107     dpkg --configure -a
108     apt-get -yf install
109     apt-get -y$s --purge remove $*
110   }
111 }
112
113 update() {
114   log "Running apt-get update ..."
115   apt-get -y$s update || {
116     apt-get -yf install
117     apt-get -y$s update
118   }
119   apt-get autoclean
120   apt-get -dy$s dist-upgrade
121 }
122
123 dist_upgrade () {
124   log "Running dist-upgrade ..."
125   apt-get -y$s dist-upgrade || {
126     dpkg --configure -a
127     apt-get -y$s dist-upgrade
128   }
129 }
130
131 remove_bloat() {
132   local to_remove add_this i j n text to_show cmd tmpfile installed
133   local update_selections pkgs_to_deselect oldifs
134   text="$msg_remove_bloat"
135
136   [ "$DEBUG" ] && set -x
137   n=0
138   for i in $(echo "$bloats" | sed 's/           */      /g'| awk -F'    ' '{print $2}')
139   do
140     if pkg $i; then
141       installed="$installed $i"
142       add_this="$(echo "$bloats" | egrep "      .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
143       if ! echo "$to_show" | grep -q "$add_this"; then
144         to_show="$to_show \"$add_this\" \"\" on"
145         n=$(($n+1))
146       fi
147     fi
148   done
149   [ -z "$to_show" ] && return 0
150   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
151   cmd="dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
152   [ "$DEBUG" ] && set +x
153     eval $cmd 2> $tmpfile
154   [ "$DEBUG" ] && set -x
155   to_remove="$(cat $tmpfile | sed 's/\"\ \"/    /g; s/\"\ *//g; s/\\//g')"
156   [ "$DEBUG" ] || rm -f $tmpfile 
157   [ "$DEBUG" ] && echo "DEBUG: to_remove=$to_remove" 1>&2
158   oldifs="$IFS"
159   IFS=" " # tab
160   for i in $(echo "$to_remove")
161   do
162     IFS="$oldifs"
163     for j in $(echo "$bloats" | grep "^$i" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
164     do
165       # hopefully this will tell apt not to reinstall them at upgrade time
166       update_selections="${update_selections}
167         $j      deinstall"
168       pkgs_to_deselect="$pkgs_to_deselect $j"
169       # only remove those that really are installed
170       if echo "$installed" | grep -q "$j"; then
171         pkgs_to_remove="$pkgs_to_remove $j"
172       fi
173     done
174   done
175   [ "$DEBUG" ] && echo "DEBUG: pkgs_to_remove=$pkgs_to_remove" 1>&2
176   # Finally, remove those
177   if [ -n "$update_selections" ]; then
178     echo "$update_selections" | dpkg --set-selections
179     log "Deselected:${pkgs_to_deselect}"
180   fi
181   eval pkgrm $pkgs_to_remove
182 }
183
184 post_upgrade() {
185   touch "$post_upgrade_queuetab"
186   if ! grep -q "true    $*" "$post_upgrade_queuetab"; then
187     echo "true  $*" >> "$post_upgrade_queuetab"
188   fi
189 }
190
191 run_post_upgrade() {
192   if [ -f "$post_upgrade_queuetab" ]; then
193     run_actions post_upgrade "$post_upgrade_queuetab"
194     mv "$post_upgrade_queuetab" "${post_upgrade_queuetab}.done.$(date '+%Y-%m-%d.%H:%M:%S')"
195   fi      
196 }
197
198 ###
199
200 run_actions() {
201   local line lineno lineno2 f n name action testmsg
202   [ "$DEBUG" ] && set -vx
203   name="$1"
204   f="$2"
205   [ -f "$f" ] ||   return 2 # no such file
206   n=$(wc -l "$f" | awk '{print $1}')
207   [ "$n" -lt 1 ] && return 1 # no lines to process
208   log "run_actions ($name) started, processing $n lines from \"$f\"."
209   log "-----"
210   lineno=0
211   lineno2=0
212   while [ "$lineno" -lt "$n" ]
213   do
214     lineno=$(($lineno+1))
215     lineno2=$lineno
216     line=$(head -$lineno "$f" | tail -1)
217     if echo $line | grep -q '^#'; then  # comment
218       continue
219     fi
220     while echo "$line" | egrep -q '\\$' # continuation
221     do
222       lineno2=$(($lineno2+1))
223       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
224     done
225     test=$(echo "$line" | sed 's/               */      /g'| awk -F'    ' '{print $1}')
226     action=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $2}')
227     testmsg=""
228     [ "$test" != "true" ] && testmsg="if '$test'"
229     if eval $test; then
230       log "$(printf 'action %02d' $lineno) starting: '${action}' $testmsg "
231       eval $action
232       log "$(printf 'action %02d' $lineno) finished: '${action}' $testmsg"
233     else
234       log "$(printf 'action %02d' $lineno) skipping: '${action}' $testmsg"
235     fi
236     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
237   done
238   log "run_actions ($1) finished"
239   log "-----"
240 }
241
242 # funkcija vraca popis paketa koje treba upgradeati
243 what_upgrade () {
244   local IFSOLD name version package
245
246   for package in `echo "$needed_versions" | awk '{print $1}'| grep -v ^$`; do
247     IFSOLD="$IFS"
248     IFS="       " # tab
249     read name version <<-EOPTS
250         $(echo "$needed_versions" | sed 's/             */      /g' | grep ^$package)
251         EOPTS
252     IFS="$IFSOLD"
253     if pkg "$name" lt "$version"; then
254         echo -n " $name"
255     fi
256   done
257 }
258
259 # funkcija za ispis paketa koje treba upgradeati
260 check_upgrade () {
261   local upgrade
262   upgrade="`what_upgrade`"
263
264   if [ "$upgrade" ]; then
265     notice "
266 Prije prelaska na Debian Etch potrebno je napraviti nadogradnju ovih paketa:
267   $upgrade
268
269 Pokrenite:
270   'apt-get dist-upgrade'
271 ili:
272   'apt-get install${upgrade}'
273   
274 Nakon toga ponovno pozovite ovu skriptu."
275     log "carnet-upgrade aborted, upgrade of$upgrade needed."
276     exit 1
277   fi
278 }
279
280 # if apache is installed make sure it's version 2
281 check_apache_version () {
282
283   if ! pkg apache2-cn && pkg apache-cn; then
284     notice "
285 Prije prelaska na Debian Etch potrebno je napraviti nadogradnju sa apache 1.3
286 na apache 2.0.
287
288 Pokrenite:
289   'apt-get install apache2-cn'
290   
291 Nakon toga ponovno pozovite ovu skriptu."
292     log "carnet-upgrade aborted, upgrade to apache2-cn needed."
293     exit 1
294   fi
295 }
296
297 upgrade () {
298   local to_install packages
299   case "$1" in
300     first)
301       packages="$packages_first"
302     ;;
303     second)
304       packages="$packages_second"
305     ;;
306     *)
307     return 1
308   esac
309
310   for i in $packages
311   do
312     pkg $i && to_install="$to_install $i"
313   done
314
315   if [ -n "$to_install" ];then
316     eval pkgadd $to_install
317   else
318     return 0
319   fi
320 }
321
322 # funkcija utrpa ispravan sources.list
323 create_sources_list () {
324     local sl sl_new
325     sl=/etc/apt/sources.list
326     sl_new=/usr/share/carnet-upgrade/files/etc/apt/sources.list
327
328     # check if already installed
329     if ! cmp $sl $sl_new >/dev/null; then
330
331         # backup old version
332         if [ -f $sl -a ! -f $sl.$backup_ext ]; then
333             cp -av $sl $sl.$backup_ext
334         fi
335
336         # install new version
337         cp -av $sl_new $sl
338         notice "Novi sadrzaj datoteke /etc/apt/sources.list:
339
340 `cat /etc/apt/sources.list`"
341     fi
342 }
343
344
345 # funkcija koja brise grupu proc
346 remove_group_proc () {
347   if getent group proc > /dev/null; then
348     groupdel proc || true
349     log "groupdel proc (temporarily)"
350     post_upgrade add_group_proc
351   fi
352 }
353
354 add_group_proc () {
355   if ! getent group proc > /dev/null; then
356     # grsec uses gid 99 for /proc files
357     groupadd -g 99 proc 
358     log "groupadd -g 99 proc"
359
360     # update oidentd so it uses the proc group
361     if [ -x /etc/init.d/oidentd ]; then
362         if gpasswd -a oident proc; then
363             /etc/init.d/oidentd restart
364         fi
365     fi
366   fi
367 }
368
369 # backup ldap database
370 backup_slapd_db () {
371   local ldap_backup=/var/backups/slapcat.$backup_ext
372   local old_umask result
373
374   if [ ! -f $ldap_backup ]; then
375     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
376
377     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
378       /etc/init.d/slapd stop || true
379       old_umask=`umask`
380       umask 0077 # protect the backup file
381       slapcat -l $ldap_backup
382       result=$?
383       umask $old_umask
384       /etc/init.d/slapd start || true
385
386       if [ "$result" -eq 0 ]; then
387         log "$ldap_backup created"
388         notice "Napravljen backup slapd baze u $ldap_backup."
389       else
390         log "$ldap_backup was not created"
391         notice "Backup slapd baze u $ldap_backup nije uspio."
392         exit 1
393       fi
394     fi
395
396     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
397   else
398     log "slapd backup already at $ldap_backup, skipping."
399     notice "Backup slapd baze u $ldap_backup vec postoji!"
400   fi
401 }
402
403 # backup etc direktorija
404 backup_etc_dir () {
405   local etc_backup=/var/backups/etc.$backup_ext.tar.gz
406   local old_umask
407
408   if [ ! -f $etc_backup ]; then
409     old_umask=`umask`
410     umask 0077 # protect the backup file
411
412     if tar cfz $etc_backup /etc 2> /dev/null; then
413       log "$etc_backup created"
414       notice "Napravljen backup /etc direktorija u $etc_backup."
415     else
416       log "$etc_backup was not created"
417       notice "Backup /etc direktorija u $etc_backup nije uspio."
418       exit 1
419     fi
420     umask $old_umask
421   else
422     log "/etc backup already present in $etc_backup, skipping."
423     notice "Backup /etc direktorija u $etc_backup vec postoji!"
424   fi
425 }
426
427 # fixaj /etc/default/raid2
428 fix_etc_default_raid2 () {
429   if [ -f /etc/default/raid2 ]; then
430     sed "s/^AUTOSTART.*/AUTOSTART=true/g" /etc/default/raid2 > /etc/default/raid2.$backup_ext.$$
431     chown --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
432     chmod --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
433
434     if ! cmp -s /etc/default/raid2.$backup_ext.$$ /etc/default/raid2; then
435       log "Fixed /etc/default/raid2 AUTOSTART option."
436       mv -v /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
437     else
438       rm -v /etc/default/raid2.$backup_ext.$$
439     fi
440   fi
441 }
442
443 # restore original config file (if the new package version is not
444 # installed already)
445 restore_config () {
446   local file file_backup file_orig
447   local old_umask
448
449   # create new files safely
450   old_umask=`umask`
451   umask 0077
452
453   # restore package files
454   for file in $*; do
455     file_orig=/usr/share/carnet-upgrade/files/$file
456     file_backup=$file.$backup_ext
457
458     # is config there
459     if [ ! -e $file ]; then
460         continue
461     fi 
462
463     # is restore needed
464     if cmp $file_orig $file >/dev/null; then
465         continue
466     fi
467
468     # backup and restore
469     if [ ! -e $file_backup ]; then
470       log "Restoring config file $file"
471
472       # backup local changes
473       mv -v $file $file_backup
474
475       # restore original
476       cp -av $file_orig $file
477       chown --reference $file_backup $file
478       chmod --reference $file_backup $file
479     fi
480   done
481
482   umask $old_umask
483 }
484
485 # restore modified config to their package defaults
486 # so the upgrade doesn't complain so much
487 restore_configs () {
488   pkg base-files lt 4 && restore_config /etc/issue /etc/issue.net
489   pkg bind9 lt 1:9.3.4 && restore_config /etc/bind/named.conf.options
490   pkg dovecot-common lt 1.0 && restore_config /etc/dovecot/dovecot.conf
491   pkg libpam-modules lt 0.79 && restore_config /etc/security/limits.conf
492   pkg login lt 1:4.0.18.1 && restore_config /etc/pam.d/login
493   pkg mysql-server lt 5.0.3 && restore_config /etc/init.d/mysql \
494                                     /etc/logrotate.d/mysql-server \
495                                     /etc/mysql/my.cnf
496   pkg ntp lt 1:4.2.2 && restore_config /etc/ntp.conf
497   pkg ntpdate lt 1:4.2.2 && restore_config /etc/default/ntpdate
498   pkg oidentd lt 2.0.8 && restore_config /etc/default/oidentd
499   pkg postgrey lt 1.27 && restore_config /etc/default/postgrey \
500                                /etc/postgrey/whitelist_clients
501   pkg procps lt 1:3.2.7 && restore_config /etc/sysctl.conf
502   pkg sasl2-bin lt 2.1.22 && restore_config /etc/default/saslauthd
503   pkg slapd lt 2.3.30 && restore_config /etc/default/slapd /etc/init.d/slapd
504   pkg squirrelmail lt 2:1.4.9a && restore_config /etc/squirrelmail/apache.conf
505   pkg vsftpd lt 2.0.5 && restore_config /etc/vsftpd.conf
506   pkg xinetd lt 1:2.3.14 && restore_config /etc/xinetd.conf
507
508   # orphaned config file - no owner
509   if pkg logcheck-database lt 1.2.54; then
510       rm -vf /etc/logcheck/ignore.d.server/imap
511   fi
512
513   # aide switched to ucf, move old configs aside
514   if pkg aide lt 0.13.1; then
515       for file in /etc/aide/aide.conf \
516                   /etc/cron.daily/aide \
517                   /etc/default/aide;
518       do
519           if [ ! -e "$file.$backup_ext" ]; then
520               mv -v "$file" "$file.$backup_ext"
521           fi
522
523           rm -vf "$file"
524       done
525   fi
526
527   # register cn changes in apache files
528   for config in /etc/php4/cgi/php.ini \
529                 /etc/php4/cli/php.ini \
530                 /etc/php4/apache/php.ini \
531                 /etc/php4/apache2/php.ini \
532                 /etc/apache/modules.conf
533   do 
534       config_backup=$config.$backup_ext
535       if [ -e $config -a ! -e $config_backup ]; then
536           cp -av $config $config_backup
537           ucf $config_backup $config
538       fi
539   done
540 }
541
542 # temporary disable listchanges packages to reduce clutter during upgrade
543 apt_listchanges () {
544   local file command=$1
545
546   for file in /etc/apt/apt.conf.d/20listchanges \
547               /etc/apt/apt.conf.d/20listchanges-cn
548   do
549       case $command in
550            disable)
551                if [ -f $file ]; then
552                    dpkg-divert --local --rename --divert $file.$backup_ext \
553                                --add $file || true
554                fi
555                ;;
556
557            enable)
558                if [ -f $file.$backup_ext ]; then
559                    dpkg-divert --remove $file || true
560                fi
561                ;;
562      esac
563   done
564 }
565
566 # make a silent installation of carnet and srce keyrings
567 install_keyrings () {
568   pkgadd carnet-keyring srce-keyring
569   pkgadd dpkg apt debconf
570
571   dpkg-reconfigure carnet-keyring srce-keyring
572   update
573 }
574
575 # remove skey (not supported anymore)
576 remove_skey () {
577   pkgrm skey-cn libpam-skey
578
579   if getent group skey > /dev/null; then
580     groupdel skey || true
581     log "groupdel skey"
582   fi
583 }
584
585 # make a silent upgrade to new libc6
586 upgrade_libc () {
587   DEBIAN_FRONTEND=noninteractive pkgadd libc6
588 }
589
590 # upgrade apache -> apache2
591 upgrade_apache () {
592
593   # bugfix for apache2-cn postinst
594   mkdir -p /etc/apache2
595   touch /etc/apache2/httpd.conf
596
597   # temporary remove packages conflicting with apache2
598   delpkg=""
599   for p in aosi-aai aosi-www-aai \
600            php4-cn php4-odbc php4-xslt \
601            squirrelmail-cn; do
602
603      # remember installed packages
604      if pkg $p; then
605          delpkg="$delpkg $p"
606      fi
607   done
608
609   # remove (but not purge) problematic packages
610   if [ "$delpkg" ]; then
611       eval apt-get --yes remove $delpkg
612   fi
613
614   # remove old apache
615   pkgrm apache apache-common
616
617   # install new packages
618   eval pkgadd apache2-cn apache2-mpm-prefork \
619               php4-cn libapache2-mod-php4 \
620               $delpkg
621 }
622
623 upgrade_amavis () {
624   # remove init script diversion
625   if [ -L /etc/init.d/amavis -a -f /etc/init.d/amavis.amavisd-new ]; then
626     rm -vf /etc/init.d/amavis
627     dpkg-divert --quiet --remove /etc/init.d/amavis
628   fi
629
630   # move old config aside
631   local conf=/etc/amavis/amavisd.conf
632   if [ -e $conf -a ! -e $conf.$backup_ext ]; then
633     mv -v $conf $conf.$backup_ext
634   fi
635
636   # install new packages
637   pkgadd amavisd-cn amavisd-new
638
639   # fix new packages
640   check_and_sed '^clamd.*5.clamav.log$' \
641                 's/^\(clamd.*\)5.clamav.log$/\14\tsocket/g' \
642                 /etc/init.d/amavisd-cn || true
643
644   # start new packages
645   /etc/init.d/amavis restart
646 }
647
648 # fix openldap-aai postinst user handling
649 upgrade_openldap () {
650   #pkgrm openldap-cn # deprecated
651   apt-get -y$s install openldap-aai || true # postinst fails
652   chown -R openldap:openldap /var/lib/ldap  # fix slapd
653   /etc/init.d/slapd restart
654   dpkg --configure -a # try postinst again
655 }
656
657 # fix /etc/dpkg/dpkg.cfg
658 comment_force_overwrite () {
659   if [ -f /etc/dpkg/dpkg.cfg ]; then
660     if check_and_sed '^force-overwrite' \
661                   's,\(^force-overwrite\),#\1,' \
662                   /etc/dpkg/dpkg.cfg; then
663       notice "$msg_comment_force_overwrite"
664     fi
665   fi
666 }
667
668 fix_issue () {
669   cat > /etc/issue <<EOF
670 Debian GNU/Linux 4.0 (CARNet Debian 4.0) \\n \\l
671 EOF
672
673   cat > /etc/issue.net <<EOF
674 Debian GNU/Linux 4.0 (CARNet Debian 4.0) %h
675 EOF
676 }
677
678 check_disk_space() {
679   local available_disk_space
680   available_disk_space=$(df -m /var|tail -1|awk '{print $4}')
681   if [ $available_disk_space -lt $min_var_space ]; then
682     log "carnet-upgrade aborted: not enough space on /var (need ${min_var_space}MB)"
683     notice "Premalo mjesta na /var particiji. Potrebno je imati barem ${min_var_space}MB."
684     exit 1
685   fi
686 }