Continue if php4-common doesn't exist.
[carnet-upgrade.git] / src / functions.sh
1 # Ivan 'ico' Rako <irako@srce.hr>
2 # Zoran 'jelly' Dzelajlija <jelly@srce.hr>
3
4 notice () {
5   LC_MESSAGES=hr_HR dialog --backtitle "$title" --msgbox "$*" 18 75
6 }
7
8 first_warning () {
9   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_first_warning" 18 75
10   if [ $? -ne 0 ]; then
11     log "Upgrade canceled."
12     exit 0
13   fi
14 }
15
16 pkg() {
17   local version
18   dpkg -l "$1" 2> /dev/null | egrep -q "^.i" || return 1
19   [ -z "$2" ] && return 0
20   version=$(dpkg -s "$1" | awk '/^Version:/ {print $2}')
21   dpkg --compare-versions "$version" "$2" "$3" 2>&1 > /dev/null
22 }
23
24 log() {
25   local old_umask
26   logfile=${logfile:=/var/log/carnet-upgrade.log}
27
28   old_umask=$(umask)
29   umask 0077
30
31   echo "$(date +'%Y-%m-%d %H:%M:%S') $*" >> $logfile
32   echo "CN: $*"
33
34   umask $old_umask
35   chmod og= $logfile
36 }
37
38 # find first free uid/gid in range
39 # find_id passwd 100 999
40 find_id() {
41   local i db first last ids
42   db=$1
43   first=$2
44   last=$3
45   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
46   for i in $(seq $first $last)
47   do
48     if ! echo $ids | grep -q $i; then
49       echo $i
50       return 0
51     fi
52   done
53   return 1
54 }
55
56 # safe in-place s///
57 check_and_sed() {
58   [ "$DEBIAN_SCRIPT_DEBUG" ] && set -vx
59   local s sedcmd ret i
60   s="$1"
61   shift
62   sedcmd="$1"
63   shift
64   ret=2
65   for i in $*
66   do
67     [ -e "$i" ]        || continue
68     egrep -q "$s" "$i" || continue
69     [ -h "$i" ]        && i=$(readlink -f "$i")
70     sed "$sedcmd" "$i" > "$i.dpkg-tmp"
71     chown --reference "$i" "$i.dpkg-tmp"
72     chmod --reference "$i" "$i.dpkg-tmp"
73     mv "$i.dpkg-tmp" "$i"
74     ret=0
75   done
76   if [ "$ret" -eq 0 ]; then
77     log "Done \"$sedcmd\" to $*"
78   fi
79   return $ret
80 }
81
82 #
83 # Update uid for user from reserved system range (0-99) to dynamic system
84 # range (100-999).  Optionally update ownerships of given directories.
85 # $0 user [directory ...]
86 #
87 check_and_update_ugid() {
88   local user newgid newuid
89   user=$1
90   if [ "$(getent passwd $user | awk -F: '$3 >= 100 {print "ok"; exit 0}')" ]; then
91     return 0
92   fi
93   shift
94   newgid=$(find_id group 100 999)
95   newuid=$(find_id passwd 100 999)
96   # other directories/files
97   chown -R $newuid:$newgid $*
98   groupmod -g $newgid $user
99   usermod -u $newuid -g $newgid $user
100   log "Fixed $user user uid/gid."
101 }
102
103 pkgadd () {
104   [ -n "$*" ] || return 0
105   log "Installing $* ..."
106   apt-get -y$s install $* || {
107     dpkg --configure -a
108     apt-get -yf install
109     apt-get -y$s install $*
110   }
111 }
112
113 pkgrm () {
114   [ -n "$*" ] || return 0
115   log "Purging $* ..."
116   apt-get -y$s --purge remove $* || {
117     dpkg --configure -a
118     apt-get -yf install
119     apt-get -y$s --purge remove $*
120   }
121 }
122
123 pkgrm_only () {
124   [ -n "$*" ] || return 0
125   log "Removing $* ..."
126   apt-get -y$s remove $* || {
127     dpkg --configure -a
128     apt-get -yf install
129     apt-get -y$s remove $*
130   }
131 }
132
133
134 apt_update() {
135   log "Running apt-get update ..."
136   apt-get -y$s update || {
137     apt-get -yf install
138     apt-get -y$s update
139   }
140   apt-get autoclean
141 }
142
143 apt_download() {
144   log "Running apt-get download ..."
145   apt-get -dy$s dist-upgrade
146 }
147
148 dist_upgrade () {
149   log "Running dist-upgrade ..."
150   apt-get -y$s dist-upgrade || {
151     dpkg --configure -a
152     apt-get -y$s dist-upgrade
153   }
154 }
155
156 remove_x() {
157   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_remove_x" 18 75
158   if [ $? -eq 0 ]; then
159     log "Removing X Window System"
160     pkgrm xlibs
161   else
162     log "Skipping X Window System removal"
163   fi
164 }
165
166 remove_bloat() {
167   local to_remove add_this i j n text to_show cmd tmpfile installed
168   local update_selections pkgs_to_deselect pkgs_to_remove oldifs pkglist
169   text="$msg_remove_bloat"
170
171   [ "$DEBUG" ] && set -x
172   n=0
173   pkglist=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
174   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' > $pkglist
175   for i in $(echo "$bloats" | sed 's/           */      /g'| awk -F'    ' '{print $2}')
176   do
177     if grep -q "^$i$" $pkglist; then
178       installed="$installed $i"
179       add_this="$(echo "$bloats" | egrep "      .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
180       if ! echo "$to_show" | grep -q "$add_this"; then
181         to_show="$to_show \"$add_this\" \"\" on"
182         n=$(($n+1))
183       fi
184     fi
185   done
186   [ "$DEBUG" ] || rm -f $pkglist
187   [ -z "$to_show" ] && return 0
188   test $n -gt 8 && n=8
189   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
190   cmd="LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
191   [ "$DEBUG" ] && set +x
192     eval $cmd 2> $tmpfile
193   [ "$DEBUG" ] && set -x
194   to_remove="$(cat $tmpfile | sed 's/\"\ \"/    /g; s/\"\ *//g; s/\\//g')"
195   [ "$DEBUG" ] || rm -f $tmpfile 
196   [ "$DEBUG" ] && echo "DEBUG: to_remove=$to_remove" 1>&2
197   oldifs="$IFS"
198   IFS=" " # tab
199   for i in $(echo "$to_remove")
200   do
201     IFS="$oldifs"
202     for j in $(echo "$bloats" | grep "^$i" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
203     do
204       # hopefully this will tell apt not to reinstall them at upgrade time
205       update_selections="${update_selections}
206         $j      deinstall"
207       pkgs_to_deselect="$pkgs_to_deselect $j"
208       # only remove those that really are installed
209       if echo "$installed" | grep -q "$j"; then
210         pkgs_to_remove="$pkgs_to_remove $j"
211       fi
212     done
213   done
214   [ "$DEBUG" ] && echo "DEBUG: pkgs_to_remove=$pkgs_to_remove" 1>&2
215   # Finally, remove those
216   if [ -n "$update_selections" ]; then
217     echo "$update_selections" | dpkg --set-selections
218     log "Deselected:${pkgs_to_deselect}"
219   fi
220   eval pkgrm $pkgs_to_remove
221 }
222
223 remove_cn_bloat() {
224   local installed pkg cn_pkgs dialog_list selection cn_del to_del del_pkgs
225
226   # get installed packages
227   installed=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
228   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' >$installed
229
230   # detect installed CN packagees
231   for pkg in $(echo "$cn_bloats" | cut -d' ' -f1); do
232     if grep -qx $pkg $installed; then
233       cn_pkgs="$cn_pkgs $pkg"
234       dialog_list="$dialog_list $pkg '' off"
235     fi
236   done
237   rm -f $installed
238
239   # report status or finish if no CN packages found
240   if [ "$cn_pkgs" ]; then
241     log "Found CN packages:$cn_pkgs"
242   else
243     log "No CN packages found."
244     return
245   fi
246
247   # user selects the packages to delete
248   selection=$(mktemp /var/lib/carnet-upgrade/selection.XXXXXX)
249   eval LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" \
250     --checklist \""$msg_remove_cn_bloat"\" 20 75 6 $dialog_list 2>$selection
251
252   # expand the package list to include the services
253   for pkg in $(cat $selection); do
254     pkg=${pkg%\"}
255     pkg=${pkg#\"}
256     cn_del="$cn_del $pkg"
257     to_del=$(echo "$cn_bloats" | grep ^$pkg)
258     del_pkgs="$del_pkgs $to_del"
259   done
260   rm -f $selection
261
262   # report selection or finish if no service selected
263   if [ "$cn_del" ]; then
264     log "Removing CN services:$cn_del"
265   else
266     log "No CN services selected for removal."
267     return
268   fi
269
270   # delete the cn packages and relevant services
271   pkgrm_only $del_pkgs
272 }
273
274 post_upgrade() {
275   touch "$post_upgrade_queuetab"
276   if ! grep -q "true    $*" "$post_upgrade_queuetab"; then
277     echo "true  $*" >> "$post_upgrade_queuetab"
278   fi
279 }
280
281 run_post_upgrade() {
282   if [ -f "$post_upgrade_queuetab" ]; then
283     run_actions post_upgrade "$post_upgrade_queuetab"
284     mv "$post_upgrade_queuetab" "${post_upgrade_queuetab}.done.$(date '+%Y-%m-%d.%H:%M:%S')"
285   fi      
286 }
287
288 ###
289
290 run_actions() {
291   local line lineno lineno2 f n name action checkmsg check
292   [ "$DEBUG" ] && set -vx
293   name="$1"
294   f="$2"
295   [ -f "$f" ] ||   return 2 # no such file
296   n=$(wc -l "$f" | awk '{print $1}')
297   [ "$n" -lt 1 ] && return 1 # no lines to process
298   log "run_actions ($name) started, processing $n lines from \"$f\"."
299   log "-----"
300   lineno=0
301   lineno2=0
302   while [ "$lineno" -lt "$n" ]
303   do
304     lineno=$(($lineno+1))
305     lineno2=$lineno
306     line=$(head -$lineno "$f" | tail -1)
307     if echo $line | grep -q '^#'; then  # comment
308       continue
309     fi
310     while echo "$line" | egrep -q '\\$' # continuation
311     do
312       lineno2=$(($lineno2+1))
313       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
314     done
315     check=$(echo "$line" | sed 's/              */      /g'| awk -F'    ' '{print $1}')
316     action=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $2}')
317     checkmsg=""
318     [ "$check" != "true" ] && checkmsg="if '$check'"
319     if eval $check; then
320       log "$(printf 'action %02d' $lineno) starting: '${action}' $checkmsg "
321       if ! eval $action; then
322         log "$(printf 'action %02d' $lineno) failed: '${action}' $checkmsg "
323         display_action_failure "$action"
324         exit 1
325       else  
326         log "$(printf 'action %02d' $lineno) finished: '${action}' $checkmsg"
327       fi
328     else
329       log "$(printf 'action %02d' $lineno) skipping: '${action}' $checkmsg"
330     fi
331     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
332   done
333   log "run_actions ($1) finished"
334   log "-----"
335 }
336
337 # report action failure
338 display_action_failure () {
339   local action=$1
340
341   notice "
342 Doslo je do greske prilikom izvrsavanja akcije '$action'. Detalje problema moguce je vidjeti u log datotekama:
343
344   /var/log/carnet-upgrade.log
345   /var/log/carnet-upgrade.typescript
346
347 Da bi dovrsili zapocete operacije nad paketima pokrenite:
348
349   # dpkg --configure -a
350   # apt-get -f install
351
352 Nakon toga ponovno pozovite carnet-upgrade skriptu."
353 }
354
355 # funkcija vraca popis paketa koje treba upgradeati
356 what_upgrade () {
357   local IFSOLD name version package
358
359   for package in `echo "$needed_versions" | awk '{print $1}'| grep -v ^$`; do
360     IFSOLD="$IFS"
361     IFS="       " # tab
362     read name version <<-EOPTS
363         $(echo "$needed_versions" | sed 's/             */      /g' | grep ^$package)
364         EOPTS
365     IFS="$IFSOLD"
366     if pkg "$name" lt "$version"; then
367         echo -n " $name"
368     fi
369   done
370 }
371
372 # funkcija za ispis paketa koje treba upgradeati
373 check_upgrade () {
374   local upgrade
375   upgrade=${1:-"`what_upgrade`"}
376
377   if [ "$upgrade" ]; then
378     notice "
379 Prije prelaska na Debian Lenny potrebno je napraviti nadogradnju ovih paketa:
380   $upgrade
381
382 Pokrenite:
383   # apt-get update
384   # apt-get dist-upgrade
385 ili:
386   # apt-get update
387   # apt-get install${upgrade}
388   
389 Nakon toga ponovno pozovite ovu skriptu."
390     log "carnet-upgrade aborted, upgrade of$upgrade needed."
391     exit 1
392   fi
393 }
394
395 # update sarge urls in sources list
396 fix_sarge_sources () {
397   local apt_sources='/etc/apt/sources.list'
398   local fixed_sources=$(mktemp /var/lib/carnet-upgrade/sources.list.XXXXXX)
399
400   # sarge (oldstable) was archived recently -> sources.list needs update
401   awk -v archive='http://archive.debian.org/debian' \
402       -v security='http://archive.debian.org/debian-security' \
403       '$3 == "sarge" && $2 ~ /[/]debian$/ { $2 = archive }
404        $3 == "sarge/updates" && $2 ~ /security\.debian\.org$/ { $2 = security }
405        { print }' $apt_sources > $fixed_sources
406
407   # did anything get updated
408   if ! cmp $apt_sources $fixed_sources >/dev/null; then
409       log "sources.list fixed to use archive.debian.org"
410
411       # backup current version
412       if [ ! -f "$apt_sources.$backup_ext.sarge" ]; then
413           cp -av $apt_sources "$apt_sources.$backup_ext.sarge"
414       fi
415
416       # install fixed version
417       cp -av $fixed_sources $apt_sources
418
419       # update the database
420       apt_update
421   fi
422
423   # delete temporary
424   rm -f $fixed_sources
425 }
426
427 # try to check if we are using the latest version of carnet-upgrade script
428 check_my_version () {
429   local packages latest_version
430
431   packages=$(mktemp /var/lib/carnet-upgrade/Packages.XXXXXX)
432   if wget -q -O$packages $packages_uri; then
433     latest_version=$(sed -ne \
434         '/Package: carnet-upgrade/,/Description:/{ /Version: /s///p }' \
435         $packages)
436     rm -f $packages
437
438     if [ "$latest_version" ]; then
439       log "Running carnet-upgrade version is $version"
440       log "Latest carnet-upgrade version is $latest_version"
441       if dpkg --compare-versions "$version" lt "$latest_version"; then
442         check_upgrade " carnet-upgrade"
443       else log "Already using the latest carnet-upgrade version."; fi
444     else log "Failed to get latest version, skipping check."; fi
445   else log "Failed to download Packages file, skipping check."; fi
446
447   rm -f $packages
448 }
449
450 # if php is installed make sure it's version 5
451 check_php_version () {
452
453   if pkg php4-cn && ! pkg php5-cn; then
454     # prepare for php upgrade by installing php5 extensions
455     install_php5_extensions
456
457     notice "
458 Prije prelaska na Debian Lenny potrebno je napraviti nadogradnju sa PHP 4 na PHP 5.
459
460 Pokrenite:
461   # apt-get update
462   # apt-get install php5-cn
463   
464 Nakon sto provjerite da sve web aplikacije rade ispravno, ponovno pozovite ovu skriptu."
465     log "carnet-upgrade aborted, upgrade to php5-cn needed."
466     exit 1
467   fi
468 }
469
470 # install php5 extensions based on installed php4 extensions
471 install_php5_extensions () {
472   local php4_list php5_pkg
473
474   # get a list of installed php4 packages
475   php4_list=$(mktemp /var/lib/carnet-upgrade/php4_list.XXXXXX)
476   dpkg -l php4-\* | awk '/^ii/ {
477     pkg=$2; sub("^php4", "php5", pkg); print pkg }' > $php4_list
478
479   # compare it with the list of available php5 packages
480   php5_pkg=$(apt-cache search -n ^php5- | cut -d' ' -f 1 \
481     | grep -F -x -f $php4_list | grep -F -x -v php5-cn)
482
483   # handle special cases
484   if pkg php4-xslt; then
485      php5_pkg="$php5_pkg php5-xsl"
486   fi
487
488   # install the required php5 modules
489   if [ "$php5_pkg" ]; then
490      pkgadd $php5_pkg
491   fi
492
493   # cleanup
494   rm -f $php4_list
495 }
496
497 # if grsec is installed make sure it is fresh
498 check_grsec_kernel () {
499   local ver=`uname -r`
500
501   log "Kernel version: $ver"
502   if [ "$ver" = "${ver%-grsec}" ]; then
503     # not grsec variant
504     return 0
505   fi
506
507   if [ "$ver" = "${ver#2.6.2[4-9]}" ]; then
508     # kernel too old
509     notice "
510 Prije prelaska na Debian Lenny potrebno je napraviti nadogradnju na najnoviji kernel.
511
512 Pokrenite:
513   # apt-get update
514   # apt-get install kernel-2.6-cn
515   # reboot
516   
517 Nakon toga ponovno pozovite ovu skriptu."
518     log "carnet-upgrade aborted, kernel upgrade needed."
519     exit 1
520   fi
521 }
522
523 check_reboot () {
524   reboot_required || return 0
525
526   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$reboot_warning" 18 +75
527   if [ $? -eq 0 ]; then
528     log "Reboot before continuing."
529     exit 0
530   else
531     log "Proceed without reboot."
532   fi
533 }
534
535 # check if the latest kernel is booted
536 reboot_required () {
537   local default_kernel kernel_package running_release running_version
538
539   # try to get default kernel from lilo
540   if type lilo >/dev/null 2>&1; then
541       default_kernel=$( lilo -t -v 2>/dev/null \
542                         | grep -B3 '[*]$' \
543                         | sed -n -e '/^Boot image: / { s///p; q; }' )
544   fi
545
546   # fallback to grub if lilo not installed
547   if [ -z "$default_kernel" -a -r "/boot/grub/menu.lst" ]; then
548       default_kernel=$( awk '
549            $1 == "default" { default = $2; 
550                              if (default !~ /^[0-9]+$/) { exit } }
551            $1 == "title" { title+=1 }
552            $1 == "kernel" && title==default+1 { print $2; exit }' \
553            /boot/grub/menu.lst 2>/dev/null )
554   fi
555
556   if [ -z "$default_kernel" ]; then
557       log "Could not find default kernel"
558       return 1
559   fi
560
561   log "Default kernel image: $default_kernel"
562
563   if [ ! -e "$default_kernel" ]; then
564       log "Default kernel image doesn't exist!?"
565       return 1
566   fi
567
568   kernel_package=$( dpkg -S $default_kernel | cut -d: -f 1 )
569
570   if [ -z "$kernel_package" ]; then
571       log "Default kernel not installed from a package"
572       return 1
573   fi
574
575   log "Default kernel package: $kernel_package"
576
577   running_release=$( uname -r )
578   running_version=$( uname -v )
579   log "Running kernel: $running_release $running_version"
580
581   if grep -q "$running_release .* $running_version" $default_kernel; then
582       log "Latest kernel version is running." 
583       return 1
584   else
585       log "Reboot to latest version required."
586       return 0
587   fi
588 }
589
590 upgrade () {
591   local i to_install packages
592   case "$1" in
593     first)
594       packages="$packages_first"
595     ;;
596     second)
597       packages="$packages_second"
598     ;;
599     *)
600     return 1
601   esac
602
603   for i in $(echo $packages)
604   do
605     pkg $i && to_install="$to_install $i"
606   done
607
608   if [ -n "$to_install" ];then
609     eval pkgadd $to_install
610   else
611     return 0
612   fi
613 }
614
615 # funkcija utrpa ispravan sources.list
616 create_sources_list () {
617     local sl sl_new
618     sl=/etc/apt/sources.list
619     sl_new=/usr/share/carnet-upgrade/files/etc/apt/sources.list
620
621     # check if already installed
622     if ! cmp $sl $sl_new >/dev/null; then
623
624         # backup old version
625         if [ -f $sl -a ! -f $sl.$backup_ext ]; then
626             cp -av $sl $sl.$backup_ext
627         fi
628
629         # install new version
630         cp -av $sl_new $sl
631         notice "Novi sadrzaj datoteke /etc/apt/sources.list:
632
633 `cat /etc/apt/sources.list`"
634     fi
635 }
636
637
638 # funkcija koja brise grupu proc
639 remove_group_proc () {
640   if getent group proc > /dev/null; then
641     groupdel proc || true
642     log "groupdel proc (temporarily)"
643     post_upgrade add_group_proc
644   fi
645 }
646
647 add_group_proc () {
648   if ! getent group proc > /dev/null; then
649     # grsec uses gid 99 for /proc files
650     groupadd -g 99 proc 
651     log "groupadd -g 99 proc"
652
653     # update oidentd so it uses the proc group
654     if [ -x /etc/init.d/oidentd ]; then
655         if gpasswd -a oident proc; then
656             /etc/init.d/oidentd restart
657         fi
658     fi
659   fi
660 }
661
662 # backup ldap database
663 backup_slapd_db () {
664   local ldap_backup=/var/backups/slapcat.$backup_ext.gz
665   local old_umask result
666
667   if [ ! -f $ldap_backup ]; then
668     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
669
670     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
671       /etc/init.d/slapd stop || true
672       old_umask=`umask`
673       umask 0077 # protect the backup file
674       slapcat | gzip --best > $ldap_backup
675       result=$?
676       umask $old_umask
677       /etc/init.d/slapd start || true
678
679       if [ "$result" -eq 0 ]; then
680         log "$ldap_backup created"
681         notice "Napravljen backup slapd baze u $ldap_backup."
682       else
683         log "$ldap_backup was not created"
684         notice "Backup slapd baze u $ldap_backup nije uspio."
685         exit 1
686       fi
687     fi
688
689     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
690   else
691     log "slapd backup already at $ldap_backup, skipping."
692     #notice "Backup slapd baze u $ldap_backup vec postoji!"
693   fi
694 }
695
696 # backup etc direktorija
697 backup_etc_dir () {
698   local etc_backup=/var/backups/etc.$backup_ext.tar.gz
699   local old_umask
700
701   if [ ! -f $etc_backup ]; then
702     old_umask=`umask`
703     umask 0077 # protect the backup file
704
705     if tar cfz $etc_backup /etc 2> /dev/null; then
706       log "$etc_backup created"
707       notice "Napravljen backup /etc direktorija u $etc_backup."
708     else
709       log "$etc_backup was not created"
710       notice "Backup /etc direktorija u $etc_backup nije uspio."
711       exit 1
712     fi
713     umask $old_umask
714   else
715     log "/etc backup already present in $etc_backup, skipping."
716     #notice "Backup /etc direktorija u $etc_backup vec postoji!"
717   fi
718 }
719
720 # fixaj /etc/default/raid2
721 fix_etc_default_raid2 () {
722   if [ -f /etc/default/raid2 ]; then
723     sed "s/^AUTOSTART.*/AUTOSTART=true/g" /etc/default/raid2 > /etc/default/raid2.$backup_ext.$$
724     chown --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
725     chmod --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
726
727     if ! cmp -s /etc/default/raid2.$backup_ext.$$ /etc/default/raid2; then
728       log "Fixed /etc/default/raid2 AUTOSTART option."
729       mv -v /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
730     else
731       rm -v /etc/default/raid2.$backup_ext.$$
732     fi
733   fi
734 }
735
736 # restore original config file (if the new package version is not
737 # installed already)
738 restore_config () {
739   local file file_backup file_expect file_restore config_changed
740   local cn_package cn_version package version
741
742   # check if new package version is installed
743   cn_package=$1
744   package=$2
745   version=$3
746
747   if [ "$cn_package" ]; then
748      if ! pkg $cn_package; then
749         # do nothing if cn package is not installed
750         return 0
751      fi
752   fi
753
754   if [ "$package" ]; then
755      if [ "$version" ]; then
756         # do nothing if package is already upgraded to new version
757         pkg $package lt $version || return 0
758      else
759         # do nothing if package is not installed
760         pkg $package || return 0
761      fi
762   fi
763   shift 3
764
765   # restore package files
766   for file in $*; do
767     file_expect=/usr/share/carnet-upgrade/files/$file.expect
768     file_restore=/usr/share/carnet-upgrade/files/$file.restore
769     file_backup=$file.$backup_ext
770
771     # is config files are there
772     if ! [ -e $file -a -e $file_expect -a -e $file_restore ]; then
773         continue
774     fi 
775
776     # is restore needed
777     if ! cmp $file_expect $file >/dev/null; then
778         continue
779     fi
780
781     # backup and restore
782     if [ ! -e $file_backup ]; then
783       log "Restoring config file $file"
784
785       # backup local changes
786       cp -av $file $file_backup
787
788       # restore original
789       cp -v $file_restore $file
790
791       config_changed=1
792     fi
793   done
794
795   # force reconfiguration at the end if package is not upgraded automatically
796   if [ "$config_changed" -a "$cn_package" ]; then
797      cn_version=$( dpkg -s "$cn_package" | awk '/^Version:/ {print $2}' )
798      post_upgrade "pkg $cn_package gt $cn_version || dpkg-reconfigure $cn_package"
799   fi
800 }
801
802 # restore modified config to their package defaults
803 # so the upgrade doesn't complain so much
804 restore_configs () {
805   local hostname domain template config_new
806   local config_backup
807
808   # restore simple configs
809   restore_config kernel-2.6-cn procps 1:3.2.7-11 /etc/sysctl.conf
810   restore_config ntp-cn ntp 1:4.2.4p4+dfsg-8 /etc/ntp.conf
811   restore_config apache2-cn apache2.2-common 2.2.9-10+lenny2 /etc/apache2/ports.conf
812   restore_config postfix-cn sasl2-bin 2.1.22.dfsg1-23 /etc/default/saslauthd
813   restore_config bind9-cn bind9 1:9.5.1.dfsg.P1-1 /etc/bind/named.conf.options
814   restore_config amavisd-cn amavisd-new 1:2.6.1.dfsg-1 /etc/cron.daily/amavisd-new
815   rm -f /etc/cron.daily/amavisd-new.$backup_ext
816   restore_config spamassassin-cn razor 1:2.85-1 /etc/razor/razor-agent.conf
817   restore_config kernel-2.6-cn libpam-modules 1.0.1-5 /etc/security/limits.conf
818   restore_config samba-cn samba-common 2:3.2.5-4lenny2 /etc/samba/smb.conf
819   restore_config '' base-files 5lenny2 /etc/issue /etc/issue.net
820   restore_config php5-cn php5-cli 5.2.6.dfsg.1-1+lenny2 /etc/php5/cli/php.ini
821   restore_config php5-cn libapache2-mod-php5 5.2.6.dfsg.1-1+lenny2 /etc/php5/apache2/php.ini
822
823   # check if monitrc is template based
824   if [ -f /etc/monit/monitrc -a ! -f /etc/monit/monitrc.$backup_ext ]; then
825      template=/usr/share/carnet-upgrade/files/etc/monit/monitrc.template
826      config_new=$(mktemp /var/lib/carnet-upgrade/monitrc.XXXXXX)
827      hostname=$(hostname)
828      domain=$(hostname --domain)
829
830      # generate config from template
831      cp $template $config_new
832      check_and_sed "@localhost" \
833        "s/@localhost/@$hostname.$domain/g" $config_new || true
834
835      # compare with running config
836      if cmp -s /etc/monit/monitrc $config_new; then
837         # restore if running config is generated template
838         log "Restoring config file /etc/monit/monitrc"
839         cp -av /etc/monit/monitrc /etc/monit/monitrc.$backup_ext
840         cp -v /usr/share/carnet-upgrade/files/etc/monit/monitrc.restore \
841               /etc/monit/monitrc
842      fi
843      rm -f $config_new
844   fi
845
846 #  restore_config login 1:4.0.18.1 /etc/pam.d/login
847 #  restore_config mysql-server 5.0.3 /etc/init.d/mysql \
848 #                                    /etc/logrotate.d/mysql-server \
849 #                                    /etc/mysql/my.cnf
850 #  restore_config ntpdate 1:4.2.2 /etc/default/ntpdate
851 #  restore_config oidentd 2.0.8 /etc/default/oidentd
852 #  restore_config slapd 2.3.30 /etc/default/slapd /etc/init.d/slapd
853 #  restore_config squirrelmail 2:1.4.9a /etc/squirrelmail/apache.conf
854 #  restore_config vsftpd 2.0.5 /etc/vsftpd.conf
855 #  restore_config xinetd 1:2.3.14 /etc/xinetd.conf
856 #
857 #  # orphaned config file - no owner
858 #  if pkg logcheck-database lt 1.2.54; then
859 #      rm -vf /etc/logcheck/ignore.d.server/imap
860 #  fi
861 #
862 #  # aide switched to ucf, move old configs aside
863 #  if pkg aide lt 0.13.1; then
864 #      for file in /etc/aide/aide.conf \
865 #                  /etc/cron.daily/aide \
866 #                  /etc/default/aide;
867 #      do
868 #          if [ ! -e "$file.$backup_ext" ]; then
869 #              mv -v "$file" "$file.$backup_ext"
870 #          fi
871 #
872 #          rm -vf "$file"
873 #      done
874 #  fi
875 #
876 #  # register cn changes in ucf managed files
877 #  for config in /etc/apache/modules.conf \
878 #                /etc/clamav/clamd.conf \
879 #                /etc/clamav/freshclam.conf
880 #  do 
881 #      config_backup=$config.$backup_ext
882 #      if [ -e $config -a ! -e $config_backup ]; then
883 #          log "Saving config file $config"
884 #          cp -av $config $config_backup
885 #          ucf $config_backup $config
886 #      fi
887 #  done
888 }
889
890 # temporary disable listchanges packages to reduce clutter during upgrade
891 apt_listchanges () {
892   local file command=$1
893
894   for file in /etc/apt/apt.conf.d/20listchanges \
895               /etc/apt/apt.conf.d/20listchanges-cn
896   do
897       case $command in
898            disable)
899                if [ -f $file ]; then
900                    dpkg-divert --local --rename --divert $file.$backup_ext \
901                                --add $file || true
902                fi
903                ;;
904
905            enable)
906                if [ -f $file.$backup_ext ]; then
907                    dpkg-divert --remove $file || true
908                fi
909                ;;
910      esac
911   done
912 }
913
914 # make a silent installation of carnet and srce keyrings
915 install_keyrings () {
916   pkgadd carnet-keyring srce-keyring debian-archive-keyring
917   pkgadd dpkg apt debconf python-apt
918
919   dpkg-reconfigure carnet-keyring srce-keyring debian-archive-keyring
920   apt_update
921 }
922
923 # remove skey (not supported anymore)
924 remove_skey () {
925   pkgrm skey-cn libpam-skey
926
927   if getent group skey > /dev/null; then
928     groupdel skey || true
929     log "groupdel skey"
930   fi
931 }
932
933 # remove unsupported php version
934 remove_php4 () {
935   # leave the configuration just in case
936   pkgrm_only php4-common || true
937 }
938
939 # check if package is orphaned (nothing depends on it)
940 is_orphaned () {
941   local package deps
942
943   package=$1
944   deps=$(apt-get remove -s $package | grep ^Remv | wc -l)
945   if [ "$deps" -eq 1 ]; then 
946     return 0
947   else 
948     return 1
949   fi
950 }
951
952 # remove old and unused libraries
953 remove_orphaned () {
954   local package
955
956   for package in $orphaned_packages; do
957     if is_orphaned $package; then
958       pkgrm $package
959     fi
960   done
961 }
962
963 # monit it causing problems for postinst scripts
964 # restarting daemons so try to disable it
965 disable_monit () {
966   if pkg monit-cn; then
967     pkgrm monit-cn # disables monit in prerm
968   fi
969
970   # if configured manually
971   if pkg monit; then
972     # remove the binary but leave the config
973     apt-get remove --yes monit
974     # stop the binary
975     pkill -9 monit || true
976   fi
977 }
978
979 # make a silent upgrade to new libc6
980 upgrade_libc () {
981   DEBIAN_FRONTEND=noninteractive pkgadd libc6 tzdata
982 }
983
984 # upgrade apache2 to lenny
985 upgrade_apache2 () {
986   local package packages
987
988   for package in \
989       libapache2-mod-php5 \
990       php5-cli \
991       php5-cn \
992       apache2-cn \
993       php5-odbc \
994       php5-suhosin \
995       php-suhosin-cn
996   do
997       if pkg $package; then
998           packages="$packages $package"
999       fi
1000   done
1001
1002   eval pkgadd $packages
1003 }
1004
1005 upgrade_amavis () {
1006   local conf
1007
1008   # remove init script diversion before upgrade
1009   if pkg amavisd-cn lt 3:2.6.1-1; then 
1010     if [ -L /etc/init.d/amavis -a -f /etc/init.d/amavis.amavisd-new ]; then
1011       rm -vf /etc/init.d/amavis
1012       dpkg-divert --remove /etc/init.d/amavis
1013     fi
1014   fi
1015
1016   # move old config aside
1017   for conf in /etc/amavisd.conf /etc/amavis/amavisd.conf; do
1018     if [ -e $conf -a ! -e $conf.$backup_ext ]; then
1019       mv -v $conf $conf.$backup_ext
1020     fi
1021   done
1022
1023   # install new packages
1024   pkgadd amavisd-cn amavisd-new
1025
1026   # fix new packages
1027   check_and_sed '^clamd.*5.clamav.log$' \
1028                 's/^\(clamd.*\)5.clamav.log$/\14\tsocket/g' \
1029                 /etc/init.d/amavisd-cn || true
1030
1031   # check if link got lost
1032   if pkg amavisd-cn && [ ! -L /etc/init.d/amavis ]; then
1033     apt-get install --reinstall --yes amavisd-cn
1034   fi
1035
1036   # start new packages
1037   /etc/init.d/amavis restart
1038 }
1039
1040 # handle freerdius config files upgrade
1041 upgrade_freeradius () {
1042   local template config_new password realm
1043
1044   pkg freeradius-aai lt 2.1.3-0lenny0 || return 0
1045
1046   # handle static configs
1047   restore_config freeradius-aai freeradius 2.1.3-0lenny0 \
1048     /etc/freeradius/clients.conf \
1049     /etc/freeradius/hints \
1050     /etc/freeradius/ldap.attrmap \
1051     /etc/freeradius/radiusd.conf
1052
1053   # handle template based configs
1054   template=/usr/share/carnet-upgrade/files/etc/freeradius/eap.conf.template
1055   config_new=$(mktemp /var/lib/carnet-upgrade/eap.conf.XXXXXX)
1056   password=$(grep -s '^[[:space:]]*private_key_password[[:space:]]*=' \
1057     /etc/freeradius/eap.conf)
1058   cp $template $config_new
1059   sed -i "s/.*#PASSWORD#.*/$password/" $config_new
1060   if cmp -s $config_new /etc/freeradius/eap.conf >/dev/null; then
1061      log "Restoring config file /etc/freeradius/eap.conf"
1062      cp -v /usr/share/carnet-upgrade/files/etc/freeradius/eap.conf.restore \
1063            /etc/freeradius/eap.conf
1064   fi
1065   rm -f $config_new
1066   
1067   template=/usr/share/carnet-upgrade/files/etc/freeradius/proxy.conf.template
1068   config_new=$(mktemp /var/lib/carnet-upgrade/proxy.conf.XXXXXX)
1069   realm=$(sed -n '/^[[:space:]]*suffix[[:space:]]*/ { 
1070     s///; s/"//g; s/,dc=/./g; s/dc=//; s/.hr$//; p; q }' /etc/ldap/slapd.conf)
1071   cp $template $config_new
1072   sed -i "s/#REALM#/$realm/" $config_new
1073   if cmp -s $config_new /etc/freeradius/proxy.conf >/dev/null; then
1074      log "Restoring config file /etc/freeradius/proxy.conf"
1075      cp -v /usr/share/carnet-upgrade/files/etc/freeradius/proxy.conf.restore \
1076            /etc/freeradius/proxy.conf
1077   fi
1078   rm -f $config_new
1079
1080   # install the new packages
1081   if ! apt-get -y install freeradius; then
1082      # freeradius upgrade fails here, try to fix it by creating certificates
1083      [ -x /etc/freeradius/certs/bootstrap ] && /etc/freeradius/certs/bootstrap
1084      
1085      dpkg --configure -a
1086      apt-get -y -f install
1087   fi
1088
1089   # finally try to cleanup this mess
1090   pkgadd freeradius-aai
1091 }
1092
1093 # prepare for slapd upgrade (caused by freeradius installation)
1094 prepare_openldap () {
1095   pkg openldap-aai lt 2.4 || return 0
1096
1097   # openldap-aai expects org.ldif to exists
1098   local ldif=/var/lib/ldap/org.ldif
1099   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1100   if [ -f $ldif ]; then
1101     cp -v $ldif $ldif_backup
1102   fi
1103 }
1104
1105 # fix openldap-aai postinst user handling
1106 upgrade_openldap () {
1107   pkg openldap-aai lt 2.4 || return 0
1108
1109   # slapd postinst fails if move_old_database is false
1110   echo 'slapd slapd/move_old_database boolean true' | debconf-set-selections 
1111   pkgadd slapd
1112
1113   # slapd removes org.ldif during switch from ldap -> openldap user
1114   local ldif=/var/lib/ldap/org.ldif
1115   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1116   if [ -f $ldif_backup -a ! -f $ldif ]; then
1117     cp -v $ldif_backup $ldif
1118   fi
1119
1120   # openldap-aai postinst fails here because of database permissions
1121   apt-get -y install openldap-aai || true
1122   chown -R openldap:openldap /var/lib/ldap
1123   /etc/init.d/slapd restart
1124   dpkg --configure -a
1125
1126   # remove ldap user if openldap works
1127   if getent passwd ldap      > /dev/null && \
1128      getent passwd openldap  > /dev/null && \
1129      pgrep -U openldap slapd > /dev/null
1130   then
1131      log "userdel ldap (replaced by openldap)"
1132      userdel ldap || true
1133   fi
1134 }
1135
1136 # fix postgresql deinstallation during upgrade
1137 upgrade_postgresql () {
1138   if check_services show 2>&1 | grep -qw postgresql; then
1139      apt-get install -y postgresql || apt-get -yf install
1140   fi
1141 }
1142
1143 # upgrade the MTA
1144 upgrade_postfix () {
1145   pkgadd postfix-cn
1146
1147   if pkg postgrey; then
1148      pkgrm postgrey # not used by postfix-cn anymore
1149   fi
1150 }
1151
1152 get_variable () {
1153   local name=$1 file=$2 val
1154
1155   if [ -f "$file" ]; then
1156      val=$(sed -n "/^[[:space:]]*$name[[:space:]]*=/s/[[:space:]]*//gp" $file)
1157      val=${val#*=}
1158   fi
1159
1160   echo $val
1161 }
1162
1163 # preserve mail location on upgrade
1164 upgrade_dovecot () {
1165   local default_mail_env mail_location
1166
1167   # check if already upgraded
1168   if ! pkg dovecot-common lt 1.0; then
1169       return
1170   fi
1171
1172   # save old mail location
1173   default_mail_env=$(get_variable default_mail_env /etc/dovecot/dovecot.conf)
1174
1175   # silently upgrade package
1176   restore_config dovecot-cn dovecot-common 1.0 /etc/dovecot/dovecot.conf
1177   pkgadd dovecot-cn
1178
1179   # insert old mail location
1180   mail_location=$(get_variable mail_location /etc/dovecot/dovecot.conf)
1181   if [ "$default_mail_env" -a ! "$mail_location" ]; then
1182       check_and_sed '^#mail_location[[:space:]]*=' \
1183                    "s|#mail_location[[:space:]]*=.*|mail_location = $default_mail_env|" /etc/dovecot/dovecot.conf || return 0
1184
1185       if [ -x /etc/init.d/dovecot ]; then
1186           if [ -x /usr/sbin/invoke-rc.d ]; then
1187               /usr/sbin/invoke-rc.d dovecot restart
1188           else
1189               /etc/init.d/dovecot restart
1190           fi
1191       fi
1192   fi
1193 }
1194
1195 # restore munin configs for silent upgrade
1196 upgrade_munin () {
1197   local config backup hostname domain
1198
1199   for pkg_name in munin munin-node; do
1200      pkg $pkg_name lt '1.2.6-10~lenny1' || continue
1201
1202      config=/etc/munin/$pkg_name.conf
1203      backup=$config.$backup_ext
1204      if [ -f $config -a ! -f $backup ]; then
1205         hostname=$(hostname)
1206         domain=$(hostname --domain)
1207
1208         cp -av $config $backup
1209         check_and_sed "$hostname.$domain" \
1210           "s/$hostname.$domain/localhost.localdomain/g" $config
1211      fi
1212      pkgadd $pkg_name
1213   done
1214
1215   # force localhost -> hostname replacement in config files
1216   pkgadd munin-cn
1217   dpkg-reconfigure munin-cn
1218 }
1219
1220 # udev.preinst fails if devfs configs still exist
1221 upgrade_udev () {
1222   local config
1223
1224   for config in /etc/udev/rules.d/devfs.rules \
1225                 /etc/udev/rules.d/compat-full.rules \
1226                 /etc/udev/rules.d/compat.rules
1227   do
1228      if [ -e $config ]; then
1229         rm -v -f $config
1230      fi
1231   done
1232
1233   if [ -f /etc/udev/udev.rules -a ! -f /etc/udev/rules.d/udev.rules ]; then
1234      ln -sfv ../udev.rules /etc/udev/rules.d/
1235   fi
1236
1237   pkgadd udev
1238 }
1239
1240 # fix /etc/dpkg/dpkg.cfg
1241 comment_force_overwrite () {
1242   if [ -f /etc/dpkg/dpkg.cfg ]; then
1243     if check_and_sed '^force-overwrite' \
1244                   's,\(^force-overwrite\),#\1,' \
1245                   /etc/dpkg/dpkg.cfg; then
1246       notice "$msg_comment_force_overwrite"
1247     fi
1248   fi
1249 }
1250
1251 fix_issue () {
1252   cat > /etc/issue <<EOF
1253 Debian GNU/Linux 5.0 (CARNet Debian 5.0) \\n \\l
1254
1255 EOF
1256
1257   cat > /etc/issue.net <<EOF
1258 Debian GNU/Linux 5.0 (CARNet Debian 5.0) %h
1259 EOF
1260 }
1261
1262 check_archives_space() {
1263   local available_disk_space archives_size
1264   available_disk_space=$(free_space /var/cache/apt/archives/)
1265   archives_size=$(download_size dist-upgrade)
1266
1267   if [ $? -ne 0 ]; then
1268     log "Failed to get download size, skipping check."
1269     return 0
1270   fi
1271
1272   log "Archives space: ${available_disk_space}MB"
1273   log "Download size: ${archives_size}MB"
1274
1275   if [ $available_disk_space -lt $archives_size ]; then
1276     log "carnet-upgrade aborted: not enough space in /var/cache/apt/archives/ (have ${available_disk_space}MB, need ${archives_size}MB)"
1277     notice "Premalo slobodnog mjesta u /var/cache/apt/archives/ za skidanje paketa (potrebno je barem ${archives_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1278     exit 1
1279   fi
1280 }
1281
1282 check_kernel_space() {
1283   local available_disk_space kernel_size
1284   available_disk_space=$(free_space /)
1285   kernel_size=$(installed_size kernel-2.6-cn)
1286
1287   if [ $? -ne 0 ]; then
1288     log "Failed to get installed size, skipping check."
1289     return 0
1290   fi
1291
1292   log "Free space in /: ${available_disk_space}MB"
1293   log "Kernel size: ${kernel_size}MB"
1294
1295   if LC_ALL=C apt-get --yes --print-uris install kernel-2.6-cn \
1296      | grep -q '^kernel-2.6-cn is already the newest version.$'
1297   then
1298      log "Not checking free space in /: kernel-2.6-cn already installed"
1299      return
1300   fi
1301
1302   if [ $available_disk_space -lt $kernel_size ]; then
1303     log "carnet-upgrade aborted: not enough space in / (have ${available_disk_space}MB, need ${kernel_size}MB)"
1304     notice "Premalo mjesta u / za instalaciju kernela (potrebno je barem ${kernel_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1305     exit 1
1306   fi
1307 }
1308
1309 free_space() {
1310   df --portability --block-size=1M "$1" | tail -1 | awk '{print $4}'
1311 }
1312
1313 download_size() {
1314   local size
1315   size=$(LC_ALL=C apt-get --yes --print-uris "$@" | grep '^Need to get ')
1316
1317   if [ $? -ne 0 ]; then
1318     log "Failed to get download size for 'apt-get $@'."
1319     return 1
1320   fi
1321
1322   size=${size#Need to get }
1323   size=${size%%B*}
1324
1325   size_to_mb "${size}B"
1326 }
1327
1328 installed_size() {
1329   local package size
1330   package=$1
1331   size=$(apt-cache show $package | grep '^Installed-Size:')
1332
1333   if [ $? -ne 0 ]; then
1334     log "Failed to get installed size for '$package'."
1335     return 1
1336   fi
1337
1338   size=${size#*: }
1339
1340   size_to_mb "${size}kB"
1341 }
1342
1343 size_to_mb() {
1344   local size
1345   size=$1
1346   if [ -z "$size" ]; then
1347     size=0;
1348   fi
1349
1350   if [ "${size%kB}" != "$size" ]; then
1351     size=$(round ${size%kB})
1352     size=$(($size/1024+1))
1353   elif [ "${size%MB}" != "$size" ]; then
1354     size=$(round ${size%MB})
1355   elif [ "${size%GB}" != "$size" ]; then
1356     size=$(round ${size%GB})
1357     size=$(($size*1024))
1358   elif [ "${size%[0-9]B}" != "$size" ]; then
1359     size=$(round ${size%B})
1360     size=$(($size/1024/1024+1))
1361   else
1362     log "unrecognized size unit: $size"
1363     return 1
1364   fi
1365
1366   echo $size
1367 }
1368
1369 round() {
1370   local num
1371   num=$1
1372
1373   if [ "${num%.*}" != "$num" ]; then
1374     num=${num%.*}
1375     num=$(($num+1))
1376   fi
1377
1378   echo $num
1379 }