Remove orphaned package libsensors3.
[carnet-upgrade.git] / src / functions.sh
1 # Ivan 'ico' Rako <irako@srce.hr>
2 # Zoran 'jelly' Dzelajlija <jelly@srce.hr>
3
4 notice () {
5   LC_MESSAGES=hr_HR dialog --backtitle "$title" --msgbox "$*" 18 75
6 }
7
8 first_warning () {
9   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_first_warning" 18 75
10   if [ $? -ne 0 ]; then
11     log "Upgrade canceled."
12     exit 0
13   fi
14 }
15
16 pkg() {
17   local version
18   dpkg -l "$1" 2> /dev/null | egrep -q "^.i" || return 1
19   [ -z "$2" ] && return 0
20   version=$(dpkg -s "$1" | awk '/^Version:/ {print $2}')
21   dpkg --compare-versions "$version" "$2" "$3" 2>&1 > /dev/null
22 }
23
24 log() {
25   logfile=${logfile:=/var/log/carnet-upgrade.log}
26   touch $logfile
27   echo "$(date +'%Y-%m-%d %H:%M:%S') $*" >> $logfile
28   echo "CN: $*"
29 }
30
31 # find first free uid/gid in range
32 # find_id passwd 100 999
33 find_id() {
34   local i db first last ids
35   db=$1
36   first=$2
37   last=$3
38   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
39   for i in $(seq $first $last)
40   do
41     if ! echo $ids | grep -q $i; then
42       echo $i
43       return 0
44     fi
45   done
46   return 1
47 }
48
49 # safe in-place s///
50 check_and_sed() {
51   [ "$DEBIAN_SCRIPT_DEBUG" ] && set -vx
52   local s sedcmd ret i
53   s="$1"
54   shift
55   sedcmd="$1"
56   shift
57   ret=2
58   for i in $*
59   do
60     [ -e "$i" ]        || continue
61     egrep -q "$s" "$i" || continue
62     [ -h "$i" ]        && i=$(readlink -f "$i")
63     sed "$sedcmd" "$i" > "$i.dpkg-tmp"
64     chown --reference "$i" "$i.dpkg-tmp"
65     chmod --reference "$i" "$i.dpkg-tmp"
66     mv "$i.dpkg-tmp" "$i"
67     ret=0
68   done
69   if [ "$ret" -eq 0 ]; then
70     log "Done \"$sedcmd\" to $*"
71   fi
72   return $ret
73 }
74
75 #
76 # Update uid for user from reserved system range (0-99) to dynamic system
77 # range (100-999).  Optionally update ownerships of given directories.
78 # $0 user [directory ...]
79 #
80 check_and_update_ugid() {
81   local user newgid newuid
82   user=$1
83   if [ "$(getent passwd $user | awk -F: '$3 >= 100 {print "ok"; exit 0}')" ]; then
84     return 0
85   fi
86   shift
87   newgid=$(find_id group 100 999)
88   newuid=$(find_id passwd 100 999)
89   # other directories/files
90   chown -R $newuid:$newgid $*
91   groupmod -g $newgid $user
92   usermod -u $newuid -g $newgid $user
93   log "Fixed $user user uid/gid."
94 }
95
96 pkgadd () {
97   [ -n "$*" ] || return 0
98   log "Installing $* ..."
99   apt-get -y$s install $* || {
100     dpkg --configure -a
101     apt-get -yf install
102     apt-get -y$s install $*
103   }
104 }
105
106 pkgrm () {
107   [ -n "$*" ] || return 0
108   log "Purging $* ..."
109   apt-get -y$s --purge remove $* || {
110     dpkg --configure -a
111     apt-get -yf install
112     apt-get -y$s --purge remove $*
113   }
114 }
115
116 pkgrm_only () {
117   [ -n "$*" ] || return 0
118   log "Removing $* ..."
119   apt-get -y$s remove $* || {
120     dpkg --configure -a
121     apt-get -yf install
122     apt-get -y$s remove $*
123   }
124 }
125
126
127 apt_update() {
128   log "Running apt-get update ..."
129   apt-get -y$s update || {
130     apt-get -yf install
131     apt-get -y$s update
132   }
133   apt-get autoclean
134 }
135
136 apt_download() {
137   log "Running apt-get download ..."
138   apt-get -dy$s dist-upgrade
139 }
140
141 dist_upgrade () {
142   log "Running dist-upgrade ..."
143   apt-get -y$s dist-upgrade || {
144     dpkg --configure -a
145     apt-get -y$s dist-upgrade
146   }
147 }
148
149 remove_x() {
150   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_remove_x" 18 75
151   if [ $? -eq 0 ]; then
152     log "Removing X Window System"
153     pkgrm xlibs
154   else
155     log "Skipping X Window System removal"
156   fi
157 }
158
159 remove_bloat() {
160   local to_remove add_this i j n text to_show cmd tmpfile installed
161   local update_selections pkgs_to_deselect pkgs_to_remove oldifs pkglist
162   text="$msg_remove_bloat"
163
164   [ "$DEBUG" ] && set -x
165   n=0
166   pkglist=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
167   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' > $pkglist
168   for i in $(echo "$bloats" | sed 's/           */      /g'| awk -F'    ' '{print $2}')
169   do
170     if grep -q "^$i$" $pkglist; then
171       installed="$installed $i"
172       add_this="$(echo "$bloats" | egrep "      .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
173       if ! echo "$to_show" | grep -q "$add_this"; then
174         to_show="$to_show \"$add_this\" \"\" on"
175         n=$(($n+1))
176       fi
177     fi
178   done
179   [ "$DEBUG" ] || rm -f $pkglist
180   [ -z "$to_show" ] && return 0
181   test $n -gt 8 && n=8
182   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
183   cmd="LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
184   [ "$DEBUG" ] && set +x
185     eval $cmd 2> $tmpfile
186   [ "$DEBUG" ] && set -x
187   to_remove="$(cat $tmpfile | sed 's/\"\ \"/    /g; s/\"\ *//g; s/\\//g')"
188   [ "$DEBUG" ] || rm -f $tmpfile 
189   [ "$DEBUG" ] && echo "DEBUG: to_remove=$to_remove" 1>&2
190   oldifs="$IFS"
191   IFS=" " # tab
192   for i in $(echo "$to_remove")
193   do
194     IFS="$oldifs"
195     for j in $(echo "$bloats" | grep "^$i" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
196     do
197       # hopefully this will tell apt not to reinstall them at upgrade time
198       update_selections="${update_selections}
199         $j      deinstall"
200       pkgs_to_deselect="$pkgs_to_deselect $j"
201       # only remove those that really are installed
202       if echo "$installed" | grep -q "$j"; then
203         pkgs_to_remove="$pkgs_to_remove $j"
204       fi
205     done
206   done
207   [ "$DEBUG" ] && echo "DEBUG: pkgs_to_remove=$pkgs_to_remove" 1>&2
208   # Finally, remove those
209   if [ -n "$update_selections" ]; then
210     echo "$update_selections" | dpkg --set-selections
211     log "Deselected:${pkgs_to_deselect}"
212   fi
213   eval pkgrm $pkgs_to_remove
214 }
215
216 remove_cn_bloat() {
217   local installed pkg cn_pkgs dialog_list selection cn_del to_del del_pkgs
218
219   # get installed packages
220   installed=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
221   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' >$installed
222
223   # detect installed CN packagees
224   for pkg in $(echo "$cn_bloats" | cut -d' ' -f1); do
225     if grep -qx $pkg $installed; then
226       cn_pkgs="$cn_pkgs $pkg"
227       dialog_list="$dialog_list $pkg '' off"
228     fi
229   done
230   rm -f $installed
231
232   # report status or finish if no CN packages found
233   if [ "$cn_pkgs" ]; then
234     log "Found CN packages:$cn_pkgs"
235   else
236     log "No CN packages found."
237     return
238   fi
239
240   # user selects the packages to delete
241   selection=$(mktemp /var/lib/carnet-upgrade/selection.XXXXXX)
242   eval LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" \
243     --checklist \""$msg_remove_cn_bloat"\" 20 75 6 $dialog_list 2>$selection
244
245   # expand the package list to include the services
246   for pkg in $(cat $selection); do
247     pkg=${pkg%\"}
248     pkg=${pkg#\"}
249     cn_del="$cn_del $pkg"
250     to_del=$(echo "$cn_bloats" | grep ^$pkg)
251     del_pkgs="$del_pkgs $to_del"
252   done
253   rm -f $selection
254
255   # report selection or finish if no service selected
256   if [ "$cn_del" ]; then
257     log "Removing CN services:$cn_del"
258   else
259     log "No CN services selected for removal."
260     return
261   fi
262
263   # delete the cn packages and relevant services
264   pkgrm_only $del_pkgs
265 }
266
267 post_upgrade() {
268   touch "$post_upgrade_queuetab"
269   if ! grep -q "true    $*" "$post_upgrade_queuetab"; then
270     echo "true  $*" >> "$post_upgrade_queuetab"
271   fi
272 }
273
274 run_post_upgrade() {
275   if [ -f "$post_upgrade_queuetab" ]; then
276     run_actions post_upgrade "$post_upgrade_queuetab"
277     mv "$post_upgrade_queuetab" "${post_upgrade_queuetab}.done.$(date '+%Y-%m-%d.%H:%M:%S')"
278   fi      
279 }
280
281 ###
282
283 run_actions() {
284   local line lineno lineno2 f n name action checkmsg check
285   [ "$DEBUG" ] && set -vx
286   name="$1"
287   f="$2"
288   [ -f "$f" ] ||   return 2 # no such file
289   n=$(wc -l "$f" | awk '{print $1}')
290   [ "$n" -lt 1 ] && return 1 # no lines to process
291   log "run_actions ($name) started, processing $n lines from \"$f\"."
292   log "-----"
293   lineno=0
294   lineno2=0
295   while [ "$lineno" -lt "$n" ]
296   do
297     lineno=$(($lineno+1))
298     lineno2=$lineno
299     line=$(head -$lineno "$f" | tail -1)
300     if echo $line | grep -q '^#'; then  # comment
301       continue
302     fi
303     while echo "$line" | egrep -q '\\$' # continuation
304     do
305       lineno2=$(($lineno2+1))
306       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
307     done
308     check=$(echo "$line" | sed 's/              */      /g'| awk -F'    ' '{print $1}')
309     action=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $2}')
310     checkmsg=""
311     [ "$check" != "true" ] && checkmsg="if '$check'"
312     if eval $check; then
313       log "$(printf 'action %02d' $lineno) starting: '${action}' $checkmsg "
314       if ! eval $action; then
315         log "$(printf 'action %02d' $lineno) failed: '${action}' $checkmsg "
316         display_action_failure "$action"
317         exit 1
318       else  
319         log "$(printf 'action %02d' $lineno) finished: '${action}' $checkmsg"
320       fi
321     else
322       log "$(printf 'action %02d' $lineno) skipping: '${action}' $checkmsg"
323     fi
324     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
325   done
326   log "run_actions ($1) finished"
327   log "-----"
328 }
329
330 # report action failure
331 display_action_failure () {
332   local action=$1
333
334   notice "
335 Doslo je do greske prilikom izvrsavanja akcije '$action'. Detalje problema moguce je vidjeti u log datotekama:
336
337   /var/log/carnet-upgrade.log
338   /var/log/carnet-upgrade.typescript
339
340 Da bi dovrsili zapocete operacije nad paketima pokrenite:
341
342   # dpkg --configure -a
343   # apt-get -f install
344
345 Nakon toga ponovno pozovite carnet-upgrade skriptu."
346 }
347
348 # funkcija vraca popis paketa koje treba upgradeati
349 what_upgrade () {
350   local IFSOLD name version package
351
352   for package in `echo "$needed_versions" | awk '{print $1}'| grep -v ^$`; do
353     IFSOLD="$IFS"
354     IFS="       " # tab
355     read name version <<-EOPTS
356         $(echo "$needed_versions" | sed 's/             */      /g' | grep ^$package)
357         EOPTS
358     IFS="$IFSOLD"
359     if pkg "$name" lt "$version"; then
360         echo -n " $name"
361     fi
362   done
363 }
364
365 # funkcija za ispis paketa koje treba upgradeati
366 check_upgrade () {
367   local upgrade
368   upgrade=${1:-"`what_upgrade`"}
369
370   if [ "$upgrade" ]; then
371     notice "
372 Prije prelaska na Debian Lenny potrebno je napraviti nadogradnju ovih paketa:
373   $upgrade
374
375 Pokrenite:
376   # apt-get update
377   # apt-get dist-upgrade
378 ili:
379   # apt-get update
380   # apt-get install${upgrade}
381   
382 Nakon toga ponovno pozovite ovu skriptu."
383     log "carnet-upgrade aborted, upgrade of$upgrade needed."
384     exit 1
385   fi
386 }
387
388 # update sarge urls in sources list
389 fix_sarge_sources () {
390   local apt_sources='/etc/apt/sources.list'
391   local fixed_sources=$(mktemp /var/lib/carnet-upgrade/sources.list.XXXXXX)
392
393   # sarge (oldstable) was archived recently -> sources.list needs update
394   awk -v archive='http://archive.debian.org/debian' \
395       -v security='http://archive.debian.org/debian-security' \
396       '$3 == "sarge" && $2 ~ /[/]debian$/ { $2 = archive }
397        $3 == "sarge/updates" && $2 ~ /security\.debian\.org$/ { $2 = security }
398        { print }' $apt_sources > $fixed_sources
399
400   # did anything get updated
401   if ! cmp $apt_sources $fixed_sources >/dev/null; then
402       log "sources.list fixed to use archive.debian.org"
403
404       # backup current version
405       if [ ! -f "$apt_sources.$backup_ext.sarge" ]; then
406           cp -av $apt_sources "$apt_sources.$backup_ext.sarge"
407       fi
408
409       # install fixed version
410       cp -av $fixed_sources $apt_sources
411
412       # update the database
413       apt_update
414   fi
415
416   # delete temporary
417   rm -f $fixed_sources
418 }
419
420 # try to check if we are using the latest version of carnet-upgrade script
421 check_my_version () {
422   local packages latest_version
423
424   packages=$(mktemp /var/lib/carnet-upgrade/Packages.XXXXXX)
425   if wget -q -O$packages $packages_uri; then
426     latest_version=$(sed -ne \
427         '/Package: carnet-upgrade/,/Description:/{ /Version: /s///p }' \
428         $packages)
429     rm -f $packages
430
431     if [ "$latest_version" ]; then
432       log "Running carnet-upgrade version is $version"
433       log "Latest carnet-upgrade version is $latest_version"
434       if dpkg --compare-versions "$version" lt "$latest_version"; then
435         check_upgrade " carnet-upgrade"
436       else log "Already using the latest carnet-upgrade version."; fi
437     else log "Failed to get latest version, skipping check."; fi
438   else log "Failed to download Packages file, skipping check."; fi
439
440   rm -f $packages
441 }
442
443 # if apache is installed make sure it's version 2
444 check_apache_version () {
445
446   if pkg apache-cn && ! pkg apache2-cn; then
447     notice "
448 Prije prelaska na Debian Etch potrebno je napraviti nadogradnju sa Apache 1.3 na Apache 2.0.
449
450 Pokrenite:
451   # apt-get update
452   # apt-get install apache2-cn
453   
454 Nakon toga ponovno pozovite ovu skriptu."
455     log "carnet-upgrade aborted, upgrade to apache2-cn needed."
456     exit 1
457   fi
458 }
459
460 # if grsec is installed make sure it is fresh
461 check_grsec_kernel () {
462   local ver=`uname -r`
463
464   log "Kernel version: $ver"
465   if [ "$ver" = "${ver%-grsec}" ]; then
466     # not grsec variant
467     return 0
468   fi
469
470   if [ "$ver" = "${ver#2.6.2[4-9]}" ]; then
471     # kernel too old
472     notice "
473 Prije prelaska na Debian Lenny potrebno je napraviti nadogradnju na najnoviji kernel.
474
475 Pokrenite:
476   # apt-get update
477   # apt-get install kernel-2.6-cn
478   # reboot
479   
480 Nakon toga ponovno pozovite ovu skriptu."
481     log "carnet-upgrade aborted, kernel upgrade needed."
482     exit 1
483   fi
484 }
485
486 check_reboot () {
487   reboot_required || return 0
488
489   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$reboot_warning" 18 +75
490   if [ $? -eq 0 ]; then
491     log "Reboot before continuing."
492     exit 0
493   else
494     log "Proceed without reboot."
495   fi
496 }
497
498 # check if the latest kernel is booted
499 reboot_required () {
500   local default_kernel kernel_package running_release running_version
501
502   # try to get default kernel from lilo
503   if type lilo >/dev/null 2>&1; then
504       default_kernel=$( lilo -t -v 2>/dev/null \
505                         | grep -B3 '[*]$' \
506                         | sed -n -e '/^Boot image: / { s///p; q; }' )
507   fi
508
509   # fallback to grub if lilo not installed
510   if [ -z "$default_kernel" -a -r "/boot/grub/menu.lst" ]; then
511       default_kernel=$( awk '
512            $1 == "default" { default = $2; 
513                              if (default != /^[[:digit:]]+$/) { exit } }
514            $1 == "title" { title+=1 }
515            $1 == "kernel" && title==default+1 { print $2; exit }' \
516            /boot/grub/menu.lst 2>/dev/null )
517   fi
518
519   if [ -z "$default_kernel" ]; then
520       log "Could not find default kernel"
521       return 1
522   fi
523
524   log "Default kernel image: $default_kernel"
525
526   if [ ! -e "$default_kernel" ]; then
527       log "Default kernel image doesn't exist!?"
528       return 1
529   fi
530
531   kernel_package=$( dpkg -S $default_kernel | cut -d: -f 1 )
532
533   if [ -z "$kernel_package" ]; then
534       log "Default kernel not installed from a package"
535       return 1
536   fi
537
538   log "Default kernel package: $kernel_package"
539
540   if [ "$kernel_package" != "kernel-2.6-cn" ]; then
541       log "Default kernel package is not kernel-2.6-cn"
542       return 1
543   fi
544
545   running_release=$( uname -r )
546   running_version=$( uname -v )
547   log "Running kernel: $running_release $running_version"
548
549   if grep -q "$running_release .* $running_version" $default_kernel; then
550       log "Latest kernel version is running." 
551       return 1
552   else
553       log "Reboot to latest version required."
554       return 0
555   fi
556 }
557
558 upgrade () {
559   local i to_install packages
560   case "$1" in
561     first)
562       packages="$packages_first"
563     ;;
564     second)
565       packages="$packages_second"
566     ;;
567     *)
568     return 1
569   esac
570
571   for i in $(echo $packages)
572   do
573     pkg $i && to_install="$to_install $i"
574   done
575
576   if [ -n "$to_install" ];then
577     eval pkgadd $to_install
578   else
579     return 0
580   fi
581 }
582
583 # funkcija utrpa ispravan sources.list
584 create_sources_list () {
585     local sl sl_new
586     sl=/etc/apt/sources.list
587     sl_new=/usr/share/carnet-upgrade/files/etc/apt/sources.list
588
589     # check if already installed
590     if ! cmp $sl $sl_new >/dev/null; then
591
592         # backup old version
593         if [ -f $sl -a ! -f $sl.$backup_ext ]; then
594             cp -av $sl $sl.$backup_ext
595         fi
596
597         # install new version
598         cp -av $sl_new $sl
599         notice "Novi sadrzaj datoteke /etc/apt/sources.list:
600
601 `cat /etc/apt/sources.list`"
602     fi
603 }
604
605
606 # funkcija koja brise grupu proc
607 remove_group_proc () {
608   if getent group proc > /dev/null; then
609     groupdel proc || true
610     log "groupdel proc (temporarily)"
611     post_upgrade add_group_proc
612   fi
613 }
614
615 add_group_proc () {
616   if ! getent group proc > /dev/null; then
617     # grsec uses gid 99 for /proc files
618     groupadd -g 99 proc 
619     log "groupadd -g 99 proc"
620
621     # update oidentd so it uses the proc group
622     if [ -x /etc/init.d/oidentd ]; then
623         if gpasswd -a oident proc; then
624             /etc/init.d/oidentd restart
625         fi
626     fi
627   fi
628 }
629
630 # backup ldap database
631 backup_slapd_db () {
632   local ldap_backup=/var/backups/slapcat.$backup_ext.gz
633   local old_umask result
634
635   if [ ! -f $ldap_backup ]; then
636     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
637
638     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
639       /etc/init.d/slapd stop || true
640       old_umask=`umask`
641       umask 0077 # protect the backup file
642       slapcat | gzip --best > $ldap_backup
643       result=$?
644       umask $old_umask
645       /etc/init.d/slapd start || true
646
647       if [ "$result" -eq 0 ]; then
648         log "$ldap_backup created"
649         notice "Napravljen backup slapd baze u $ldap_backup."
650       else
651         log "$ldap_backup was not created"
652         notice "Backup slapd baze u $ldap_backup nije uspio."
653         exit 1
654       fi
655     fi
656
657     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
658   else
659     log "slapd backup already at $ldap_backup, skipping."
660     notice "Backup slapd baze u $ldap_backup vec postoji!"
661   fi
662 }
663
664 # backup etc direktorija
665 backup_etc_dir () {
666   local etc_backup=/var/backups/etc.$backup_ext.tar.gz
667   local old_umask
668
669   if [ ! -f $etc_backup ]; then
670     old_umask=`umask`
671     umask 0077 # protect the backup file
672
673     if tar cfz $etc_backup /etc 2> /dev/null; then
674       log "$etc_backup created"
675       notice "Napravljen backup /etc direktorija u $etc_backup."
676     else
677       log "$etc_backup was not created"
678       notice "Backup /etc direktorija u $etc_backup nije uspio."
679       exit 1
680     fi
681     umask $old_umask
682   else
683     log "/etc backup already present in $etc_backup, skipping."
684     notice "Backup /etc direktorija u $etc_backup vec postoji!"
685   fi
686 }
687
688 # fixaj /etc/default/raid2
689 fix_etc_default_raid2 () {
690   if [ -f /etc/default/raid2 ]; then
691     sed "s/^AUTOSTART.*/AUTOSTART=true/g" /etc/default/raid2 > /etc/default/raid2.$backup_ext.$$
692     chown --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
693     chmod --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
694
695     if ! cmp -s /etc/default/raid2.$backup_ext.$$ /etc/default/raid2; then
696       log "Fixed /etc/default/raid2 AUTOSTART option."
697       mv -v /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
698     else
699       rm -v /etc/default/raid2.$backup_ext.$$
700     fi
701   fi
702 }
703
704 # restore original config file (if the new package version is not
705 # installed already)
706 restore_config () {
707   local file file_backup file_expect file_restore config_changed
708   local cn_package cn_version package version
709
710   # check if new package version is installed
711   cn_package=$1
712   package=$2
713   version=$3
714
715   if [ "$cn_package" ]; then
716      if ! pkg $cn_package; then
717         # do nothing if cn package is not installed
718         return 0
719      fi
720   fi
721
722   if [ "$package" ]; then
723      if [ "$version" ]; then
724         # do nothing if package is already upgraded to new version
725         pkg $package lt $version || return 0
726      else
727         # do nothing if package is not installed
728         pkg $package || return 0
729      fi
730   fi
731   shift 3
732
733   # restore package files
734   for file in $*; do
735     file_expect=/usr/share/carnet-upgrade/files/$file.expect
736     file_restore=/usr/share/carnet-upgrade/files/$file.restore
737     file_backup=$file.$backup_ext
738
739     # is config files are there
740     if ! [ -e $file -a -e $file_expect -a -e $file_restore ]; then
741         continue
742     fi 
743
744     # is restore needed
745     if ! cmp $file_expect $file >/dev/null; then
746         continue
747     fi
748
749     # backup and restore
750     if [ ! -e $file_backup ]; then
751       log "Restoring config file $file"
752
753       # backup local changes
754       cp -av $file $file_backup
755
756       # restore original
757       cp -v $file_restore $file
758
759       config_changed=1
760     fi
761   done
762
763   # force reconfiguration at the end if package is not upgraded automatically
764   if [ "$config_changed" -a "$cn_package" ]; then
765      cn_version=$( dpkg -s "$cn_package" | awk '/^Version:/ {print $2}' )
766      post_upgrade "pkg $cn_package gt $cn_version || dpkg-reconfigure $cn_package"
767   fi
768 }
769
770 # restore modified config to their package defaults
771 # so the upgrade doesn't complain so much
772 restore_configs () {
773   local hostname domain template config_new
774   local config_backup
775
776   # restore simple configs
777   restore_config kernel-2.6-cn procps 1:3.2.7-11 /etc/sysctl.conf
778   restore_config ntp-cn ntp 1:4.2.4p4+dfsg-8 /etc/ntp.conf
779   restore_config apache2-cn apache2.2-common 2.2.9-10+lenny2 /etc/apache2/ports.conf
780   restore_config postfix-cn sasl2-bin 2.1.22.dfsg1-23 /etc/default/saslauthd
781   restore_config bind9-cn bind9 1:9.5.1.dfsg.P1-1 /etc/bind/named.conf.options
782   restore_config amavisd-cn amavisd-new 1:2.6.1.dfsg-1 /etc/cron.daily/amavisd-new
783   rm -f /etc/cron.daily/amavisd-new.$backup_ext
784   restore_config spamassassin-cn razor 1:2.85-1 /etc/razor/razor-agent.conf
785   restore_config kernel-2.6-cn libpam-modules 1.0.1-5 /etc/security/limits.conf
786   restore_config samba-cn samba-common 2:3.2.5-4lenny2 /etc/samba/smb.conf
787
788   # check if monitrc is template based
789   if [ -f /etc/monit/monitrc -a ! -f /etc/monit/monitrc.$backup_ext ]; then
790      template=/usr/share/carnet-upgrade/files/etc/monit/monitrc.template
791      config_new=$(mktemp /var/lib/carnet-upgrade/monitrc.XXXXXX)
792      hostname=$(hostname)
793      domain=$(hostname --domain)
794
795      # generate config from template
796      cp $template $config_new
797      check_and_sed "@localhost" \
798        "s/@localhost/@$hostname.$domain/g" $config_new || true
799
800      # compare with running config
801      if cmp -s /etc/monit/monitrc $config_new; then
802         # restore if running config is generated template
803         log "Restoring config file /etc/monit/monitrc"
804         cp -av /etc/monit/monitrc /etc/monit/monitrc.$backup_ext
805         cp -v /usr/share/carnet-upgrade/files/etc/monit/monitrc.restore \
806               /etc/monit/monitrc
807      fi
808      rm -f $config_new
809   fi
810
811 #  restore_config base-files 4 /etc/issue /etc/issue.net
812 #  restore_config base-files 4 /etc/issue /etc/issue.net
813 #  restore_config login 1:4.0.18.1 /etc/pam.d/login
814 #  restore_config mysql-server 5.0.3 /etc/init.d/mysql \
815 #                                    /etc/logrotate.d/mysql-server \
816 #                                    /etc/mysql/my.cnf
817 #  restore_config ntpdate 1:4.2.2 /etc/default/ntpdate
818 #  restore_config oidentd 2.0.8 /etc/default/oidentd
819 #  restore_config slapd 2.3.30 /etc/default/slapd /etc/init.d/slapd
820 #  restore_config squirrelmail 2:1.4.9a /etc/squirrelmail/apache.conf
821 #  restore_config vsftpd 2.0.5 /etc/vsftpd.conf
822 #  restore_config xinetd 1:2.3.14 /etc/xinetd.conf
823 #
824 #  # orphaned config file - no owner
825 #  if pkg logcheck-database lt 1.2.54; then
826 #      rm -vf /etc/logcheck/ignore.d.server/imap
827 #  fi
828 #
829 #  # aide switched to ucf, move old configs aside
830 #  if pkg aide lt 0.13.1; then
831 #      for file in /etc/aide/aide.conf \
832 #                  /etc/cron.daily/aide \
833 #                  /etc/default/aide;
834 #      do
835 #          if [ ! -e "$file.$backup_ext" ]; then
836 #              mv -v "$file" "$file.$backup_ext"
837 #          fi
838 #
839 #          rm -vf "$file"
840 #      done
841 #  fi
842 #
843 #  # register cn changes in ucf managed files
844 #  for config in /etc/apache/modules.conf \
845 #                /etc/clamav/clamd.conf \
846 #                /etc/clamav/freshclam.conf
847 #  do 
848 #      config_backup=$config.$backup_ext
849 #      if [ -e $config -a ! -e $config_backup ]; then
850 #          log "Saving config file $config"
851 #          cp -av $config $config_backup
852 #          ucf $config_backup $config
853 #      fi
854 #  done
855 }
856
857 # temporary disable listchanges packages to reduce clutter during upgrade
858 apt_listchanges () {
859   local file command=$1
860
861   for file in /etc/apt/apt.conf.d/20listchanges \
862               /etc/apt/apt.conf.d/20listchanges-cn
863   do
864       case $command in
865            disable)
866                if [ -f $file ]; then
867                    dpkg-divert --local --rename --divert $file.$backup_ext \
868                                --add $file || true
869                fi
870                ;;
871
872            enable)
873                if [ -f $file.$backup_ext ]; then
874                    dpkg-divert --remove $file || true
875                fi
876                ;;
877      esac
878   done
879 }
880
881 # make a silent installation of carnet and srce keyrings
882 install_keyrings () {
883   pkgadd carnet-keyring srce-keyring debian-archive-keyring
884   pkgadd dpkg apt debconf python-apt
885
886   dpkg-reconfigure carnet-keyring srce-keyring debian-archive-keyring
887   apt_update
888 }
889
890 # remove skey (not supported anymore)
891 remove_skey () {
892   pkgrm skey-cn libpam-skey
893
894   if getent group skey > /dev/null; then
895     groupdel skey || true
896     log "groupdel skey"
897   fi
898 }
899
900 # check if package is orphaned (nothing depends on it)
901 is_orphaned () {
902   local package deps
903
904   package=$1
905   deps=$(apt-get remove -s $package | grep ^Remv | wc -l)
906   if [ "$deps" -eq 1 ]; then 
907     return 0
908   else 
909     return 1
910   fi
911 }
912
913 # remove old and unused libraries
914 remove_orphaned () {
915   local package
916
917   for package in $orphaned_packages; do
918     if is_orphaned $package; then
919       pkgrm $package
920     fi
921   done
922 }
923
924 # monit it causing problems for postinst scripts
925 # restarting daemons so try to disable it
926 disable_monit () {
927   if pkg monit-cn; then
928     pkgrm monit-cn # disables monit in prerm
929   fi
930
931   # if configured manually
932   if pkg monit; then
933     # remove the binary but leave the config
934     apt-get remove --yes monit
935     # stop the binary
936     pkill -9 monit || true
937   fi
938 }
939
940 # make a silent upgrade to new libc6
941 upgrade_libc () {
942   DEBIAN_FRONTEND=noninteractive pkgadd libc6
943 }
944
945 # upgrade apache2 to etch
946 upgrade_apache2 () {
947   local package packages
948
949   for package in \
950       libapache2-mod-php4 \
951       php4-cli \
952       php4-cgi \
953       php4-cn \
954       apache2-cn \
955       php4-odbc \
956       php4-suhosin \
957       php-suhosin-cn
958   do
959       if pkg $package; then
960           packages="$packages $package"
961       fi
962   done
963
964   # enable suhosin downgrade to etch version
965   if pkg php4-suhosin; then
966       pkgrm php4-suhosin php-suhosin-cn
967   fi
968
969   eval pkgadd $packages
970 }
971
972 upgrade_amavis () {
973   local conf
974
975   # remove init script diversion before upgrade
976   if pkg amavisd-cn lt 3:2.6.1-1; then 
977     if [ -L /etc/init.d/amavis -a -f /etc/init.d/amavis.amavisd-new ]; then
978       rm -vf /etc/init.d/amavis
979       dpkg-divert --remove /etc/init.d/amavis
980     fi
981   fi
982
983   # move old config aside
984   for conf in /etc/amavisd.conf /etc/amavis/amavisd.conf; do
985     if [ -e $conf -a ! -e $conf.$backup_ext ]; then
986       mv -v $conf $conf.$backup_ext
987     fi
988   done
989
990   # install new packages
991   pkgadd amavisd-cn amavisd-new
992
993   # fix new packages
994   check_and_sed '^clamd.*5.clamav.log$' \
995                 's/^\(clamd.*\)5.clamav.log$/\14\tsocket/g' \
996                 /etc/init.d/amavisd-cn || true
997
998   # check if link got lost
999   if pkg amavisd-cn && [ ! -L /etc/init.d/amavis ]; then
1000     apt-get install --reinstall --yes amavisd-cn
1001   fi
1002
1003   # start new packages
1004   /etc/init.d/amavis restart
1005 }
1006
1007 # handle freerdius config files upgrade
1008 upgrade_freeradius () {
1009   local template config_new password realm
1010
1011   pkg freeradius-aai lt 2.1.3-0lenny0 || return 0
1012
1013   # handle static configs
1014   restore_config freeradius-aai freeradius 2.1.3-0lenny0 \
1015     /etc/freeradius/clients.conf \
1016     /etc/freeradius/hints \
1017     /etc/freeradius/ldap.attrmap \
1018     /etc/freeradius/radiusd.conf
1019
1020   # handle template based configs
1021   template=/usr/share/carnet-upgrade/files/etc/freeradius/eap.conf.template
1022   config_new=$(mktemp /var/lib/carnet-upgrade/eap.conf.XXXXXX)
1023   password=$(grep -s '^[[:space:]]*private_key_password[[:space:]]*=' \
1024     /etc/freeradius/eap.conf)
1025   cp $template $config_new
1026   sed -i "s/.*#PASSWORD#.*/$password/" $config_new
1027   if cmp -s $config_new /etc/freeradius/eap.conf >/dev/null; then
1028      log "Restoring config file /etc/freeradius/eap.conf"
1029      cp -v /usr/share/carnet-upgrade/files/etc/freeradius/eap.conf.restore \
1030            /etc/freeradius/eap.conf
1031   fi
1032   rm -f $config_new
1033   
1034   template=/usr/share/carnet-upgrade/files/etc/freeradius/proxy.conf.template
1035   config_new=$(mktemp /var/lib/carnet-upgrade/proxy.conf.XXXXXX)
1036   realm=$(sed -n '/^[[:space:]]*suffix[[:space:]]*/ { 
1037     s///; s/"//g; s/,dc=/./g; s/dc=//; s/.hr$//; p; q }' /etc/ldap/slapd.conf)
1038   cp $template $config_new
1039   sed -i "s/#REALM#/$realm/" $config_new
1040   if cmp -s $config_new /etc/freeradius/proxy.conf >/dev/null; then
1041      log "Restoring config file /etc/freeradius/proxy.conf"
1042      cp -v /usr/share/carnet-upgrade/files/etc/freeradius/proxy.conf.restore \
1043            /etc/freeradius/proxy.conf
1044   fi
1045   rm -f $config_new
1046
1047   # install the new packages
1048   if ! apt-get -y install freeradius; then
1049      # freeradius upgrade fails here, try to fix it by creating certificates
1050      [ -x /etc/freeradius/certs/bootstrap ] && /etc/freeradius/certs/bootstrap
1051      
1052      dpkg --configure -a
1053      apt-get -y -f install
1054   fi
1055
1056   # finally try to cleanup this mess
1057   pkgadd freeradius-aai
1058 }
1059
1060 # prepare for slapd upgrade (caused by freeradius installation)
1061 prepare_openldap () {
1062   pkg openldap-aai lt 2.4 || return 0
1063
1064   # openldap-aai expects org.ldif to exists
1065   local ldif=/var/lib/ldap/org.ldif
1066   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1067   if [ -f $ldif ]; then
1068     cp -v $ldif $ldif_backup
1069   fi
1070 }
1071
1072 # fix openldap-aai postinst user handling
1073 upgrade_openldap () {
1074   pkg openldap-aai lt 2.4 || return 0
1075
1076   # slapd postinst fails if move_old_database is false
1077   echo 'slapd slapd/move_old_database boolean true' | debconf-set-selections 
1078   pkgadd slapd
1079
1080   # slapd removes org.ldif during switch from ldap -> openldap user
1081   local ldif=/var/lib/ldap/org.ldif
1082   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1083   if [ -f $ldif_backup -a ! -f $ldif ]; then
1084     cp -v $ldif_backup $ldif
1085   fi
1086
1087   # openldap-aai postinst fails here because of database permissions
1088   apt-get -y install openldap-aai || true
1089   chown -R openldap:openldap /var/lib/ldap
1090   /etc/init.d/slapd restart
1091   dpkg --configure -a
1092
1093   # remove ldap user if openldap works
1094   if getent passwd ldap      > /dev/null && \
1095      getent passwd openldap  > /dev/null && \
1096      pgrep -U openldap slapd > /dev/null
1097   then
1098      log "userdel ldap (replaced by openldap)"
1099      userdel ldap || true
1100   fi
1101 }
1102
1103 # fix postgresql deinstallation during upgrade
1104 upgrade_postgresql () {
1105   if check_services show 2>&1 | grep -qw postgresql; then
1106      apt-get install -y postgresql || apt-get -yf install
1107   fi
1108 }
1109
1110 # upgrade the MTA
1111 upgrade_postfix () {
1112   pkgadd postfix-cn
1113
1114   if pkg postgrey; then
1115      pkgrm postgrey # not used by postfix-cn anymore
1116   fi
1117 }
1118
1119 get_variable () {
1120   local name=$1 file=$2 val
1121
1122   if [ -f "$file" ]; then
1123      val=$(sed -n "/^[[:space:]]*$name[[:space:]]*=/s/[[:space:]]*//gp" $file)
1124      val=${val#*=}
1125   fi
1126
1127   echo $val
1128 }
1129
1130 # preserve mail location on upgrade
1131 upgrade_dovecot () {
1132   local default_mail_env mail_location
1133
1134   # check if already upgraded
1135   if ! pkg dovecot-common lt 1.0; then
1136       return
1137   fi
1138
1139   # save old mail location
1140   default_mail_env=$(get_variable default_mail_env /etc/dovecot/dovecot.conf)
1141
1142   # silently upgrade package
1143   restore_config dovecot-cn dovecot-common 1.0 /etc/dovecot/dovecot.conf
1144   pkgadd dovecot-cn
1145
1146   # insert old mail location
1147   mail_location=$(get_variable mail_location /etc/dovecot/dovecot.conf)
1148   if [ "$default_mail_env" -a ! "$mail_location" ]; then
1149       check_and_sed '^#mail_location[[:space:]]*=' \
1150                    "s|#mail_location[[:space:]]*=.*|mail_location = $default_mail_env|" /etc/dovecot/dovecot.conf || return 0
1151
1152       if [ -x /etc/init.d/dovecot ]; then
1153           if [ -x /usr/sbin/invoke-rc.d ]; then
1154               /usr/sbin/invoke-rc.d dovecot restart
1155           else
1156               /etc/init.d/dovecot restart
1157           fi
1158       fi
1159   fi
1160 }
1161
1162 # restore munin configs for silent upgrade
1163 upgrade_munin () {
1164   local config backup hostname domain
1165
1166   for pkg_name in munin munin-node; do
1167      pkg $pkg_name lt '1.2.6-10~lenny1' || continue
1168
1169      config=/etc/munin/$pkg_name.conf
1170      backup=$config.$backup_ext
1171      if [ -f $config -a ! -f $backup ]; then
1172         hostname=$(hostname)
1173         domain=$(hostname --domain)
1174
1175         cp -av $config $backup
1176         check_and_sed "$hostname.$domain" \
1177           "s/$hostname.$domain/localhost.localdomain/g" $config
1178      fi
1179      pkgadd $pkg_name
1180   done
1181
1182   # force localhost -> hostname replacement in config files
1183   pkgadd munin-cn
1184   dpkg-reconfigure munin-cn
1185 }
1186
1187 # udev.preinst fails if devfs configs still exist
1188 upgrade_udev () {
1189   local config
1190
1191   for config in /etc/udev/rules.d/devfs.rules \
1192                 /etc/udev/rules.d/compat-full.rules \
1193                 /etc/udev/rules.d/compat.rules
1194   do
1195      if [ -e $config ]; then
1196         mv -v $config /etc/udev/
1197      fi
1198   done
1199
1200   if [ -f /etc/udev/udev.rules -a ! -f /etc/udev/rules.d/udev.rules ]; then
1201      ln -sfv ../udev.rules /etc/udev/rules.d/
1202   fi
1203
1204   pkgadd udev
1205 }
1206
1207 # fix /etc/dpkg/dpkg.cfg
1208 comment_force_overwrite () {
1209   if [ -f /etc/dpkg/dpkg.cfg ]; then
1210     if check_and_sed '^force-overwrite' \
1211                   's,\(^force-overwrite\),#\1,' \
1212                   /etc/dpkg/dpkg.cfg; then
1213       notice "$msg_comment_force_overwrite"
1214     fi
1215   fi
1216 }
1217
1218 fix_issue () {
1219   cat > /etc/issue <<EOF
1220 Debian GNU/Linux 5.0 (CARNet Debian 5.0) \\n \\l
1221 EOF
1222
1223   cat > /etc/issue.net <<EOF
1224 Debian GNU/Linux 5.0 (CARNet Debian 5.0) %h
1225 EOF
1226 }
1227
1228 check_archives_space() {
1229   local available_disk_space archives_size
1230   available_disk_space=$(free_space /var/cache/apt/archives/)
1231   archives_size=$(download_size dist-upgrade)
1232
1233   if [ $? -ne 0 ]; then
1234     log "Failed to get download size, skipping check."
1235     return 0
1236   fi
1237
1238   log "Archives space: ${available_disk_space}MB"
1239   log "Download size: ${archives_size}MB"
1240
1241   if [ $available_disk_space -lt $archives_size ]; then
1242     log "carnet-upgrade aborted: not enough space in /var/cache/apt/archives/ (have ${available_disk_space}MB, need ${archives_size}MB)"
1243     notice "Premalo slobodnog mjesta u /var/cache/apt/archives/ za skidanje paketa (potrebno je barem ${archives_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1244     exit 1
1245   fi
1246 }
1247
1248 check_kernel_space() {
1249   local available_disk_space kernel_size
1250   available_disk_space=$(free_space /)
1251   kernel_size=$(installed_size kernel-2.6-cn)
1252
1253   if [ $? -ne 0 ]; then
1254     log "Failed to get installed size, skipping check."
1255     return 0
1256   fi
1257
1258   log "Free space in /: ${available_disk_space}MB"
1259   log "Kernel size: ${kernel_size}MB"
1260
1261   if LC_ALL=C apt-get --yes --print-uris install kernel-2.6-cn \
1262      | grep -q '^kernel-2.6-cn is already the newest version.$'
1263   then
1264      log "Not checking free space in /: kernel-2.6-cn already installed"
1265      return
1266   fi
1267
1268   if [ $available_disk_space -lt $kernel_size ]; then
1269     log "carnet-upgrade aborted: not enough space in / (have ${available_disk_space}MB, need ${kernel_size}MB)"
1270     notice "Premalo mjesta u / za instalaciju kernela (potrebno je barem ${kernel_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1271     exit 1
1272   fi
1273 }
1274
1275 free_space() {
1276   df --portability --block-size=1M "$1" | tail -1 | awk '{print $4}'
1277 }
1278
1279 download_size() {
1280   local size
1281   size=$(LC_ALL=C apt-get --yes --print-uris "$@" | grep '^Need to get ')
1282
1283   if [ $? -ne 0 ]; then
1284     log "Failed to get download size for 'apt-get $@'."
1285     return 1
1286   fi
1287
1288   size=${size#Need to get }
1289   size=${size%%B*}
1290
1291   size_to_mb "${size}B"
1292 }
1293
1294 installed_size() {
1295   local package size
1296   package=$1
1297   size=$(apt-cache show $package | grep '^Installed-Size:')
1298
1299   if [ $? -ne 0 ]; then
1300     log "Failed to get installed size for '$package'."
1301     return 1
1302   fi
1303
1304   size=${size#*: }
1305
1306   size_to_mb "${size}kB"
1307 }
1308
1309 size_to_mb() {
1310   local size
1311   size=$1
1312   if [ -z "$size" ]; then
1313     size=0;
1314   fi
1315
1316   if [ "${size%kB}" != "$size" ]; then
1317     size=$(round ${size%kB})
1318     size=$(($size/1024+1))
1319   elif [ "${size%MB}" != "$size" ]; then
1320     size=$(round ${size%MB})
1321   elif [ "${size%GB}" != "$size" ]; then
1322     size=$(round ${size%GB})
1323     size=$(($size*1024))
1324   elif [ "${size%[0-9]B}" != "$size" ]; then
1325     size=$(round ${size%B})
1326     size=$(($size/1024/1024+1))
1327   else
1328     log "unrecognized size unit: $size"
1329     return 1
1330   fi
1331
1332   echo $size
1333 }
1334
1335 round() {
1336   local num
1337   num=$1
1338
1339   if [ "${num%.*}" != "$num" ]; then
1340     num=${num%.*}
1341     num=$(($num+1))
1342   fi
1343
1344   echo $num
1345 }