776c5dd1ab26ff8e54dc84daa5dc37ad6ec4d737
[carnet-upgrade.git] / src / functions.sh
1 # Ivan 'ico' Rako <irako@srce.hr>
2 # Zoran 'jelly' Dzelajlija <jelly@srce.hr>
3
4 notice () {
5   LC_MESSAGES=hr_HR dialog --backtitle "$title" --msgbox "$*" 18 75
6 }
7
8 first_warning () {
9   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_first_warning" 18 75
10   if [ $? -ne 0 ]; then
11     log "Upgrade canceled."
12     exit 0
13   fi
14 }
15
16 pkg() {
17   local version
18   dpkg -l "$1" 2> /dev/null | egrep -q "^.i" || return 1
19   [ -z "$2" ] && return 0
20   version=$(dpkg -s "$1" | awk '/^Version:/ {print $2}')
21   dpkg --compare-versions "$version" "$2" "$3" 2>&1 > /dev/null
22 }
23
24 log() {
25   local old_umask
26   logfile=${logfile:=/var/log/carnet-upgrade.log}
27
28   old_umask=$(umask)
29   umask 0077
30
31   echo "$(date +'%Y-%m-%d %H:%M:%S') $*" >> $logfile
32   echo "CN: $*"
33
34   umask $old_umask
35   chmod og= $logfile
36 }
37
38 # find first free uid/gid in range
39 # find_id passwd 100 999
40 find_id() {
41   local i db first last ids
42   db=$1
43   first=$2
44   last=$3
45   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
46   for i in $(seq $first $last)
47   do
48     if ! echo $ids | grep -q $i; then
49       echo $i
50       return 0
51     fi
52   done
53   return 1
54 }
55
56 # safe in-place s///
57 check_and_sed() {
58   [ "$DEBIAN_SCRIPT_DEBUG" ] && set -vx
59   local s sedcmd ret i
60   s="$1"
61   shift
62   sedcmd="$1"
63   shift
64   ret=2
65   for i in $*
66   do
67     [ -e "$i" ]        || continue
68     egrep -q "$s" "$i" || continue
69     [ -h "$i" ]        && i=$(readlink -f "$i")
70     sed "$sedcmd" "$i" > "$i.dpkg-tmp"
71     chown --reference "$i" "$i.dpkg-tmp"
72     chmod --reference "$i" "$i.dpkg-tmp"
73     mv "$i.dpkg-tmp" "$i"
74     ret=0
75   done
76   if [ "$ret" -eq 0 ]; then
77     log "Done \"$sedcmd\" to $*"
78   fi
79   return $ret
80 }
81
82 #
83 # Update uid for user from reserved system range (0-99) to dynamic system
84 # range (100-999).  Optionally update ownerships of given directories.
85 # $0 user [directory ...]
86 #
87 check_and_update_ugid() {
88   local user newgid newuid
89   user=$1
90   if [ "$(getent passwd $user | awk -F: '$3 >= 100 {print "ok"; exit 0}')" ]; then
91     return 0
92   fi
93   shift
94   newgid=$(find_id group 100 999)
95   newuid=$(find_id passwd 100 999)
96   # other directories/files
97   chown -R $newuid:$newgid $*
98   groupmod -g $newgid $user
99   usermod -u $newuid -g $newgid $user
100   log "Fixed $user user uid/gid."
101 }
102
103 pkgadd () {
104   [ -n "$*" ] || return 0
105   log "Installing $* ..."
106   apt-get -y$s install $* || {
107     dpkg --configure -a
108     apt-get -yf install
109     apt-get -y$s install $*
110   }
111 }
112
113 pkgrm () {
114   [ -n "$*" ] || return 0
115   log "Purging $* ..."
116   apt-get -y$s --purge remove $* || {
117     dpkg --configure -a
118     apt-get -yf install
119     apt-get -y$s --purge remove $*
120   }
121 }
122
123 pkgrm_only () {
124   [ -n "$*" ] || return 0
125   log "Removing $* ..."
126   apt-get -y$s remove $* || {
127     dpkg --configure -a
128     apt-get -yf install
129     apt-get -y$s remove $*
130   }
131 }
132
133
134 apt_update() {
135   log "Running apt-get update ..."
136   apt-get -y$s update || {
137     apt-get -yf install
138     apt-get -y$s update
139   }
140   apt-get autoclean
141 }
142
143 apt_download() {
144   log "Running apt-get download ..."
145   apt-get -dy$s dist-upgrade
146 }
147
148 dist_upgrade () {
149   log "Running upgrade ..."
150   apt-get -y$s upgrade || {
151     dpkg --configure -a
152     apt-get -y$s upgrade
153   }
154
155   log "Running dist-upgrade ..."
156   apt-get -y$s dist-upgrade || {
157     dpkg --configure -a
158     apt-get -y$s dist-upgrade
159   }
160 }
161
162 remove_x() {
163   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$msg_remove_x" 18 75
164   if [ $? -eq 0 ]; then
165     log "Removing X Window System"
166     pkgrm x11-common
167   else
168     log "Skipping X Window System removal"
169   fi
170 }
171
172 remove_bloat() {
173   local to_remove add_this i j n text to_show cmd tmpfile installed
174   local update_selections pkgs_to_deselect pkgs_to_remove oldifs pkglist
175   text="$msg_remove_bloat"
176
177   [ "$DEBUG" ] && set -x
178   n=0
179   pkglist=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
180   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' > $pkglist
181   for i in $(echo "$bloats" | sed 's/           */      /g'| awk -F'    ' '{print $2}')
182   do
183     if grep -q "^$i$" $pkglist; then
184       installed="$installed $i"
185       add_this="$(echo "$bloats" | egrep "      .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
186       if ! echo "$to_show" | grep -q "$add_this"; then
187         to_show="$to_show \"$add_this\" \"\" on"
188         n=$(($n+1))
189       fi
190     fi
191   done
192   [ "$DEBUG" ] || rm -f $pkglist
193   [ -z "$to_show" ] && return 0
194   test $n -gt 8 && n=8
195   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
196   cmd="LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
197   [ "$DEBUG" ] && set +x
198     eval $cmd 2> $tmpfile
199   [ "$DEBUG" ] && set -x
200   to_remove="$(cat $tmpfile | sed 's/\"\ \"/    /g; s/\"\ *//g; s/\\//g')"
201   [ "$DEBUG" ] || rm -f $tmpfile 
202   [ "$DEBUG" ] && echo "DEBUG: to_remove=$to_remove" 1>&2
203   oldifs="$IFS"
204   IFS=" " # tab
205   for i in $(echo "$to_remove")
206   do
207     IFS="$oldifs"
208     for j in $(echo "$bloats" | grep "^$i" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
209     do
210       # hopefully this will tell apt not to reinstall them at upgrade time
211       update_selections="${update_selections}
212         $j      deinstall"
213       pkgs_to_deselect="$pkgs_to_deselect $j"
214       # only remove those that really are installed
215       if echo "$installed" | grep -q "$j"; then
216         pkgs_to_remove="$pkgs_to_remove $j"
217       fi
218     done
219   done
220   [ "$DEBUG" ] && echo "DEBUG: pkgs_to_remove=$pkgs_to_remove" 1>&2
221   # Finally, remove those
222   if [ -n "$update_selections" ]; then
223     echo "$update_selections" | dpkg --set-selections
224     log "Deselected:${pkgs_to_deselect}"
225   fi
226   eval pkgrm $pkgs_to_remove
227 }
228
229 remove_cn_bloat() {
230   local installed pkg cn_pkgs dialog_list selection cn_del to_del del_pkgs
231
232   # get installed packages
233   installed=$(mktemp /var/lib/carnet-upgrade/pkglist.XXXXXX)
234   COLUMNS=200 dpkg -l | awk '$1 ~ /^.i/ { print $2 }' >$installed
235
236   # detect installed CN packagees
237   for pkg in $(echo "$cn_bloats" | cut -d' ' -f1); do
238     if grep -qx $pkg $installed; then
239       cn_pkgs="$cn_pkgs $pkg"
240       dialog_list="$dialog_list $pkg '' off"
241     fi
242   done
243   rm -f $installed
244
245   # report status or finish if no CN packages found
246   if [ "$cn_pkgs" ]; then
247     log "Found CN packages:$cn_pkgs"
248   else
249     log "No CN packages found."
250     return
251   fi
252
253   # user selects the packages to delete
254   selection=$(mktemp /var/lib/carnet-upgrade/selection.XXXXXX)
255   eval LC_MESSAGES=hr_HR dialog --nocancel --backtitle \""$title"\" \
256     --checklist \""$msg_remove_cn_bloat"\" 20 75 6 $dialog_list 2>$selection
257
258   # expand the package list to include the services
259   for pkg in $(cat $selection); do
260     pkg=${pkg%\"}
261     pkg=${pkg#\"}
262     cn_del="$cn_del $pkg"
263     to_del=$(echo "$cn_bloats" | grep ^$pkg)
264     del_pkgs="$del_pkgs $to_del"
265   done
266   rm -f $selection
267
268   # report selection or finish if no service selected
269   if [ "$cn_del" ]; then
270     log "Removing CN services:$cn_del"
271   else
272     log "No CN services selected for removal."
273     return
274   fi
275
276   # delete the cn packages and relevant services
277   pkgrm_only $del_pkgs
278 }
279
280 post_upgrade() {
281   touch "$post_upgrade_queuetab"
282   if ! grep -q "true    $*" "$post_upgrade_queuetab"; then
283     echo "true  $*" >> "$post_upgrade_queuetab"
284   fi
285 }
286
287 run_post_upgrade() {
288   if [ -f "$post_upgrade_queuetab" ]; then
289     run_actions post_upgrade "$post_upgrade_queuetab"
290     mv "$post_upgrade_queuetab" "${post_upgrade_queuetab}.done.$(date '+%Y-%m-%d.%H:%M:%S')"
291   fi      
292 }
293
294 ###
295
296 run_actions() {
297   local line lineno lineno2 f n name action checkmsg check
298   [ "$DEBUG" ] && set -vx
299   name="$1"
300   f="$2"
301   [ -f "$f" ] ||   return 2 # no such file
302   n=$(wc -l "$f" | awk '{print $1}')
303   [ "$n" -lt 1 ] && return 1 # no lines to process
304   log "run_actions ($name) started, processing $n lines from \"$f\"."
305   log "-----"
306   lineno=0
307   lineno2=0
308   while [ "$lineno" -lt "$n" ]
309   do
310     lineno=$(($lineno+1))
311     lineno2=$lineno
312     line=$(head -$lineno "$f" | tail -1)
313     if echo $line | grep -q '^#'; then  # comment
314       continue
315     fi
316     while echo "$line" | egrep -q '\\$' # continuation
317     do
318       lineno2=$(($lineno2+1))
319       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
320     done
321     check=$(echo "$line" | sed 's/              */      /g'| awk -F'    ' '{print $1}')
322     action=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $2}')
323     checkmsg=""
324     [ "$check" != "true" ] && checkmsg="if '$check'"
325     if eval $check; then
326       log "$(printf 'action %02d' $lineno) starting: '${action}' $checkmsg "
327       if ! eval $action; then
328         log "$(printf 'action %02d' $lineno) failed: '${action}' $checkmsg "
329         display_action_failure "$action"
330         exit 1
331       else  
332         log "$(printf 'action %02d' $lineno) finished: '${action}' $checkmsg"
333       fi
334     else
335       log "$(printf 'action %02d' $lineno) skipping: '${action}' $checkmsg"
336     fi
337     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
338   done
339   log "run_actions ($1) finished"
340   log "-----"
341 }
342
343 # report action failure
344 display_action_failure () {
345   local action=$1
346
347   notice "
348 Doslo je do greske prilikom izvrsavanja akcije '$action'. Detalje problema moguce je vidjeti u log datotekama:
349
350   /var/log/carnet-upgrade.log
351   /var/log/carnet-upgrade.typescript
352
353 Da bi dovrsili zapocete operacije nad paketima pokrenite:
354
355   # dpkg --configure -a
356   # apt-get -f install
357
358 Nakon toga ponovno pozovite carnet-upgrade skriptu."
359 }
360
361 # funkcija vraca popis paketa koje treba upgradeati
362 what_upgrade () {
363   local IFSOLD name version package
364
365   for package in `echo "$needed_versions" | awk '{print $1}'| grep -v ^$`; do
366     IFSOLD="$IFS"
367     IFS="       " # tab
368     read name version <<-EOPTS
369         $(echo "$needed_versions" | sed 's/             */      /g' | grep ^$package)
370         EOPTS
371     IFS="$IFSOLD"
372     if pkg "$name" lt "$version"; then
373         echo -n " $name"
374     fi
375   done
376 }
377
378 # funkcija za ispis paketa koje treba upgradeati
379 check_upgrade () {
380   local upgrade
381   upgrade=${1:-"`what_upgrade`"}
382
383   if [ "$upgrade" ]; then
384     notice "
385 Prije prelaska na Debian Squeeze potrebno je napraviti nadogradnju ovih paketa:
386   $upgrade
387
388 Pokrenite:
389   # apt-get update
390   # apt-get dist-upgrade
391 ili:
392   # apt-get update
393   # apt-get install${upgrade}
394   
395 Nakon toga ponovno pozovite ovu skriptu."
396     log "carnet-upgrade aborted, upgrade of$upgrade needed."
397     exit 1
398   fi
399 }
400
401 # update sarge urls in sources list
402 fix_sarge_sources () {
403   local apt_sources='/etc/apt/sources.list'
404   local fixed_sources=$(mktemp /var/lib/carnet-upgrade/sources.list.XXXXXX)
405
406   # sarge (oldstable) was archived recently -> sources.list needs update
407   awk -v archive='http://archive.debian.org/debian' \
408       -v security='http://archive.debian.org/debian-security' \
409       '$3 == "sarge" && $2 ~ /[/]debian$/ { $2 = archive }
410        $3 == "sarge/updates" && $2 ~ /security\.debian\.org$/ { $2 = security }
411        { print }' $apt_sources > $fixed_sources
412
413   # did anything get updated
414   if ! cmp $apt_sources $fixed_sources >/dev/null; then
415       log "sources.list fixed to use archive.debian.org"
416
417       # backup current version
418       if [ ! -f "$apt_sources.$backup_ext.sarge" ]; then
419           cp -av $apt_sources "$apt_sources.$backup_ext.sarge"
420       fi
421
422       # install fixed version
423       cp -av $fixed_sources $apt_sources
424
425       # update the database
426       apt_update
427   fi
428
429   # delete temporary
430   rm -f $fixed_sources
431 }
432
433 # try to check if we are using the latest version of carnet-upgrade script
434 check_my_version () {
435   local packages latest_version
436
437   packages=$(mktemp /var/lib/carnet-upgrade/Packages.XXXXXX)
438   if wget -q -O$packages $packages_uri; then
439     latest_version=$(sed -ne \
440         '/Package: carnet-upgrade/,/Description:/{ /Version: /s///p }' \
441         $packages)
442     rm -f $packages
443
444     if [ "$latest_version" ]; then
445       log "Running carnet-upgrade version is $version"
446       log "Latest carnet-upgrade version is $latest_version"
447       if dpkg --compare-versions "$version" lt "$latest_version"; then
448         check_upgrade " carnet-upgrade"
449       else log "Already using the latest carnet-upgrade version."; fi
450     else log "Failed to get latest version, skipping check."; fi
451   else log "Failed to download Packages file, skipping check."; fi
452
453   rm -f $packages
454 }
455
456 # if php is installed make sure it's version 5
457 check_php_version () {
458
459   if pkg php4-cn && ! pkg php5-cn; then
460     # prepare for php upgrade by installing php5 extensions
461     install_php5_extensions
462
463     notice "
464 Prije prelaska na Debian Squeeze potrebno je napraviti nadogradnju sa PHP 4 na PHP 5.
465
466 Pokrenite:
467   # apt-get update
468   # apt-get install php5-cn
469   
470 Nakon sto provjerite da sve web aplikacije rade ispravno, ponovno pozovite ovu skriptu."
471     log "carnet-upgrade aborted, upgrade to php5-cn needed."
472     exit 1
473   fi
474 }
475
476 # install php5 extensions based on installed php4 extensions
477 install_php5_extensions () {
478   local php4_list php5_pkg
479
480   # get a list of installed php4 packages
481   php4_list=$(mktemp /var/lib/carnet-upgrade/php4_list.XXXXXX)
482   dpkg -l php4-\* | awk '/^ii/ {
483     pkg=$2; sub("^php4", "php5", pkg); print pkg }' > $php4_list
484
485   # compare it with the list of available php5 packages
486   php5_pkg=$(apt-cache search -n ^php5- | cut -d' ' -f 1 \
487     | grep -F -x -f $php4_list | grep -F -x -v php5-cn)
488
489   # handle special cases
490   if pkg php4-xslt; then
491      php5_pkg="$php5_pkg php5-xsl"
492   fi
493
494   # install the required php5 modules
495   if [ "$php5_pkg" ]; then
496      pkgadd $php5_pkg
497   fi
498
499   # cleanup
500   rm -f $php4_list
501 }
502
503 # if grsec is installed make sure it is fresh
504 check_grsec_kernel () {
505   local ver=`uname -r`
506
507   log "Kernel version: $ver"
508   if [ "$ver" = "${ver%-grsec}" ]; then
509     # not grsec variant
510     return 0
511   fi
512
513   if [ "$ver" = "${ver#2.6.2[4-9]}" ]; then
514     # kernel too old
515     notice "
516 Prije prelaska na Debian Squeeze potrebno je napraviti nadogradnju na najnoviji kernel.
517
518 Pokrenite:
519   # apt-get update
520   # apt-get install kernel-2.6-cn
521   # reboot
522   
523 Nakon toga ponovno pozovite ovu skriptu."
524     log "carnet-upgrade aborted, kernel upgrade needed."
525     exit 1
526   fi
527 }
528
529 check_reboot () {
530   reboot_required || return 0
531
532   LC_MESSAGES=hr_HR dialog --backtitle "$title" --yesno "$reboot_warning" 18 +75
533   if [ $? -eq 0 ]; then
534     log "Reboot before continuing."
535     exit 0
536   else
537     log "Proceed without reboot."
538   fi
539 }
540
541 # check if the latest kernel is booted
542 reboot_required () {
543   local default_kernel kernel_package running_release running_version
544
545   # try to get default kernel from grub2
546   if [ -z "$default_kernel" -a -r "/boot/grub/grub.cfg" ]; then
547       default_kernel=$( awk '
548            $0 ~ /^set default=".*"/ { 
549                def = gensub(/default="(.*)"/, "\\1", "1", $2);
550                if (def !~ /^[0-9]+$/) { exit }
551            }
552            $1 == "menuentry" { menuentry+=1 }
553            $1 == "linux" && menuentry==def+1 { print $2; exit }' \
554            /boot/grub/grub.cfg 2>/dev/null )
555   fi
556
557   # try to get default kernel from grub-legacy
558   if [ -z "$default_kernel" -a -r "/boot/grub/menu.lst" ]; then
559       default_kernel=$( awk '
560            $1 == "default" { def = $2; 
561                              if (def !~ /^[0-9]+$/) { exit } }
562            $1 == "title" { title+=1 }
563            $1 == "kernel" && title==def+1 { print $2; exit }' \
564            /boot/grub/menu.lst 2>/dev/null )
565   fi
566
567   # try to get default kernel from lilo
568   if [ -z "$default_kernel" ] && type lilo >/dev/null 2>&1; then
569       default_kernel=$( lilo -t -v 2>/dev/null \
570                         | grep -B3 '[*]$' \
571                         | sed -n -e '/^Boot image: / { s///p; q; }' )
572   fi
573
574   if [ -z "$default_kernel" ]; then
575       log "Could not find default kernel"
576       return 1
577   fi
578
579   log "Default kernel image: $default_kernel"
580
581   if [ ! -e "$default_kernel" ]; then
582       # /boot prefix might be missing
583       default_kernel="/boot/${default_kernel#/}"
584       if [ ! -e "$default_kernel" ]; then
585           log "Default kernel image doesn't exist!?"
586           return 1
587       fi
588   fi
589
590   kernel_package=$( dpkg -S $default_kernel | cut -d: -f 1 )
591
592   if [ -z "$kernel_package" ]; then
593       log "Default kernel not installed from a package"
594       return 1
595   fi
596
597   log "Default kernel package: $kernel_package"
598
599   running_release=$( uname -r )
600   running_version=$( uname -v )
601   log "Running kernel: $running_release $running_version"
602
603   if grep -q "$running_release .* $running_version" $default_kernel; then
604       log "Latest kernel version is running." 
605       return 1
606   else
607       log "Reboot to latest version required."
608       return 0
609   fi
610 }
611
612 upgrade () {
613   local packages
614   case "$1" in
615     first)
616       packages="$packages_first"
617     ;;
618     second)
619       packages="$packages_second"
620     ;;
621     *)
622     return 1
623   esac
624
625   pkgupgrade $packages
626 }
627
628 # install packages introduced in this release
629 install_new () {
630   if [ "$new_packages" ]; then
631     pkgadd $new_packages
632   fi
633 }
634
635 # funkcija utrpa ispravan sources.list
636 create_sources_list () {
637     local sl sl_new
638     sl=/etc/apt/sources.list
639     sl_new=/usr/share/carnet-upgrade/files/etc/apt/sources.list
640
641     # check if already installed
642     if ! cmp $sl $sl_new >/dev/null; then
643
644         # backup old version
645         if [ -f $sl -a ! -f $sl.$backup_ext ]; then
646             cp -av $sl $sl.$backup_ext
647         fi
648
649         # install new version
650         cp -av $sl_new $sl
651         notice "Novi sadrzaj datoteke /etc/apt/sources.list:
652
653 `cat /etc/apt/sources.list`"
654     fi
655 }
656
657
658 # funkcija koja brise grupu proc
659 remove_group_proc () {
660   if getent group proc > /dev/null; then
661     groupdel proc || true
662     log "groupdel proc (temporarily)"
663     post_upgrade add_group_proc
664   fi
665 }
666
667 add_group_proc () {
668   if ! getent group proc > /dev/null; then
669     # grsec uses gid 99 for /proc files
670     groupadd -g 99 proc 
671     log "groupadd -g 99 proc"
672
673     # update oidentd so it uses the proc group
674     if [ -x /etc/init.d/oidentd ]; then
675         if gpasswd -a oident proc; then
676             /etc/init.d/oidentd restart
677         fi
678     fi
679   fi
680 }
681
682 # backup ldap database
683 backup_slapd_db () {
684   local ldap_backup=/var/backups/slapcat.$backup_ext.gz
685   local old_umask result
686
687   if [ ! -f $ldap_backup ]; then
688     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
689
690     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
691       /etc/init.d/slapd stop || true
692       old_umask=`umask`
693       umask 0077 # protect the backup file
694       slapcat | gzip --best > $ldap_backup
695       result=$?
696       umask $old_umask
697       /etc/init.d/slapd start || true
698
699       if [ "$result" -eq 0 ]; then
700         log "$ldap_backup created"
701         notice "Napravljen backup slapd baze u $ldap_backup."
702       else
703         log "$ldap_backup was not created"
704         notice "Backup slapd baze u $ldap_backup nije uspio."
705         exit 1
706       fi
707     fi
708
709     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
710   else
711     log "slapd backup already at $ldap_backup, skipping."
712     #notice "Backup slapd baze u $ldap_backup vec postoji!"
713   fi
714 }
715
716 # backup etc direktorija
717 backup_etc_dir () {
718   local etc_backup=/var/backups/etc.$backup_ext.tar.gz
719   local old_umask
720
721   if [ ! -f $etc_backup ]; then
722     old_umask=`umask`
723     umask 0077 # protect the backup file
724
725     if tar cfz $etc_backup /etc 2> /dev/null; then
726       log "$etc_backup created"
727       notice "Napravljen backup /etc direktorija u $etc_backup."
728     else
729       log "$etc_backup was not created"
730       notice "Backup /etc direktorija u $etc_backup nije uspio."
731       exit 1
732     fi
733     umask $old_umask
734   else
735     log "/etc backup already present in $etc_backup, skipping."
736     #notice "Backup /etc direktorija u $etc_backup vec postoji!"
737   fi
738 }
739
740 # fixaj /etc/default/raid2
741 fix_etc_default_raid2 () {
742   if [ -f /etc/default/raid2 ]; then
743     sed "s/^AUTOSTART.*/AUTOSTART=true/g" /etc/default/raid2 > /etc/default/raid2.$backup_ext.$$
744     chown --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
745     chmod --reference=/etc/default/raid2 /etc/default/raid2.$backup_ext.$$
746
747     if ! cmp -s /etc/default/raid2.$backup_ext.$$ /etc/default/raid2; then
748       log "Fixed /etc/default/raid2 AUTOSTART option."
749       mv -v /etc/default/raid2.$backup_ext.$$ /etc/default/raid2
750     else
751       rm -v /etc/default/raid2.$backup_ext.$$
752     fi
753   fi
754 }
755
756 # restore a configuration file if it contains only CN modifications
757 restore_file () {
758   local file file_expect file_restore file_backup
759
760   file=$1
761   file_expect=$2
762   file_restore=$3
763   file_backup=$file.$backup_ext
764
765   [ "$file_expect" ] || file_expect=$cnup/files/$file.expect
766   [ "$file_restore" ] || file_restore=$cnup/files/$file.restore
767
768   # check if all required files are there
769   if ! [ -e $file -a -e $file_expect -a -e $file_restore ]; then
770     log "Required files missing, skipping $file restore."
771     return 1
772   fi 
773
774   # is restore needed
775   if ! cmp $file_expect $file >/dev/null; then
776     log "Config doesn't match the template, skipping $file restore."
777     return 1
778   fi
779
780   # backup and restore
781   if [ ! -e $file_backup ]; then
782     log "Restoring config file $file."
783
784     # backup local changes
785     cp -av $file $file_backup
786
787     # restore original
788     cp -v $file_restore $file
789
790     # restore succedded
791     return 0
792   else 
793     log "Backup file exists, skipping $file restore."
794     return 1
795   fi
796 }
797
798 # force reconfiguration at the end if package is not upgraded automatically
799 postupgrade_reconfigure () {
800   local cn_package cn_version
801
802   cn_package=$1
803   cn_version=$( dpkg -s "$cn_package" | awk '/^Version:/ {print $2}' )
804   post_upgrade "pkg $cn_package gt $cn_version || dpkg-reconfigure $cn_package"
805 }
806
807 # copy template into a temporary file
808 copy_template () {
809   local path file template config_new
810
811   path=$1
812   file=$(basename $path)
813   template=$cnup/files/$path.template
814   config_new=$(mktemp /var/lib/carnet-upgrade/$file.XXXXXX)
815   cp $template $config_new
816
817   echo $config_new
818 }
819
820 # restore modified config to their package defaults
821 # so the upgrade doesn't complain so much
822 restore_configs () {
823   local hostname domain config_new memtotal memlimit
824
825   # restore simple configs
826   if pkg kernel-2.6-cn && pkg procps lt 1:3.2.7-11; then
827      if restore_file /etc/sysctl.conf; then
828         postupgrade_reconfigure kernel-2.6-cn
829      fi
830   fi
831
832   if pkg ntp-cn && pkg ntp lt 1:4.2.4p4+dfsg-8; then
833      if restore_file /etc/ntp.conf; then
834         postupgrade_reconfigure ntp-cn
835      fi
836   fi
837
838   if pkg apache2-cn && pkg apache2.2-common lt 2.2.9-10+lenny2; then
839      if restore_file /etc/apache2/ports.conf; then
840         postupgrade_reconfigure apache2-cn
841      fi
842   fi
843
844   if pkg postfix-cn && pkg sasl2-bin lt 2.1.22.dfsg1-23; then
845      if restore_file /etc/default/saslauthd; then
846         postupgrade_reconfigure postfix-cn
847      fi
848   fi
849
850   if pkg bind9-cn && pkg bind9 lt 1:9.5.1.dfsg.P1-1; then
851      if restore_file /etc/bind/named.conf.options; then
852         postupgrade_reconfigure bind9-cn
853      fi
854   fi
855
856   if pkg amavisd-cn && pkg amavisd-new lt 1:2.6.1.dfsg-1; then
857      if restore_file /etc/cron.daily/amavisd-new; then
858         rm -f /etc/cron.daily/amavisd-new.$backup_ext
859         postupgrade_reconfigure amavisd-cn
860      fi
861   fi
862
863   if pkg spamassassin-cn && pkg razor lt 1:2.85-1; then
864      if restore_file /etc/razor/razor-agent.conf; then
865         postupgrade_reconfigure spamassassin-cn
866      fi
867   fi
868
869   if pkg kernel-2.6-cn && pkg libpam-modules lt 1.0.1-5; then
870      if restore_file /etc/security/limits.conf; then
871         postupgrade_reconfigure kernel-2.6-cn
872      fi
873   fi
874
875   if pkg samba-cn && pkg samba-common lt 2:3.2.5-4lenny2; then
876      if restore_file /etc/samba/smb.conf; then
877         postupgrade_reconfigure samba-cn
878      fi
879   fi
880
881   if pkg base-files lt 5lenny2; then
882      restore_file /etc/issue
883      restore_file /etc/issue.net
884   fi
885
886   # restore php.ini
887   memtotal=$(awk '$1 == "MemTotal:" { print int($2/1024) }' /proc/meminfo)
888   if [ $memtotal -gt 1024 ]; then
889     memlimit=64
890   elif [ $memtotal -ge 512 ]; then
891     memlimit=32
892   else
893     memlimit=16
894   fi
895   
896   if pkg php5-cn && pkg php5-cli lt 5.2.6.dfsg.1-1+lenny2; then
897      config_new=$(copy_template /etc/php5/cli/php.ini)
898      sed -i "s/^[[:space:]]*memory_limit[[:space:]]*=.*/memory_limit = ${memlimit}M/" $config_new
899      sed -i "s/^[[:space:]]*post_max_size[[:space:]]*=.*/post_max_size = ${memlimit}M/" $config_new
900      if restore_file /etc/php5/cli/php.ini $config_new; then
901         postupgrade_reconfigure php5-cn
902      fi
903      rm -f $config_new
904   fi
905
906   if pkg php5-cn && pkg libapache2-mod-php5 lt 5.2.6.dfsg.1-1+lenny2; then
907      config_new=$(copy_template /etc/php5/apache2/php.ini)
908      sed -i "s/^[[:space:]]*memory_limit[[:space:]]*=.*/memory_limit = ${memlimit}M/" $config_new
909      sed -i "s/^[[:space:]]*post_max_size[[:space:]]*=.*/post_max_size = ${memlimit}M/" $config_new
910      if restore_file /etc/php5/apache2/php.ini $config_new; then
911         postupgrade_reconfigure php5-cn
912      fi
913      rm -f $config_new
914   fi
915
916   # check if monitrc is template based
917   if [ -f /etc/monit/monitrc ]; then
918      # regenerate config from template
919      hostname=$(hostname)
920      domain=$(hostname --domain)
921      config_new=$(copy_template /etc/monit/monitrc)
922      check_and_sed "@localhost" \
923        "s/@localhost/@$hostname.$domain/g" $config_new || true
924      restore_file /etc/monit/monitrc $config_new
925      rm -f $config_new
926   fi
927 }
928
929 # temporary disable listchanges packages to reduce clutter during upgrade
930 apt_listchanges () {
931   local file command=$1
932
933   for file in /etc/apt/apt.conf.d/20listchanges \
934               /etc/apt/apt.conf.d/20listchanges-cn
935   do
936       case $command in
937            disable)
938                if [ -f $file ]; then
939                    dpkg-divert --local --rename --divert $file.$backup_ext \
940                                --add $file || true
941                fi
942                ;;
943
944            enable)
945                if [ -f $file.$backup_ext ]; then
946                    dpkg-divert --remove $file || true
947                fi
948                ;;
949      esac
950   done
951 }
952
953 # make a silent installation of carnet and srce keyrings
954 install_keyrings () {
955   pkgadd carnet-keyring srce-keyring debian-archive-keyring
956   pkgupgrade dpkg apt debconf python-apt dpkg-dev
957
958   dpkg-reconfigure carnet-keyring srce-keyring debian-archive-keyring
959   apt_update
960 }
961
962 # remove skey (not supported anymore)
963 remove_skey () {
964   pkgrm skey-cn libpam-skey
965
966   if getent group skey > /dev/null; then
967     groupdel skey || true
968     log "groupdel skey"
969   fi
970 }
971
972 # remove unsupported php version
973 # but leave the configuration just in case
974 remove_php4 () {
975   if pkg php5-cn && pkg php4-common; then
976      pkgrm_only php4-common
977   fi
978 }
979
980 # check if package is orphaned (nothing depends on it)
981 is_orphaned () {
982   local package deps
983
984   package=$1
985   deps=$(apt-get remove -s $package | grep ^Remv | wc -l)
986   if [ "$deps" -eq 1 ]; then 
987     return 0
988   else 
989     return 1
990   fi
991 }
992
993 # remove old and unused libraries
994 remove_orphaned () {
995   local package
996
997   for package in $orphaned_packages; do
998     if is_orphaned $package; then
999       pkgrm $package
1000     fi
1001   done
1002 }
1003
1004 # monit it causing problems for postinst scripts
1005 # restarting daemons so try to disable it
1006 disable_monit () {
1007   if pkg monit-cn; then
1008     pkgrm monit-cn # disables monit in prerm
1009   fi
1010
1011   # if configured manually
1012   if pkg monit; then
1013     # remove the binary but leave the config
1014     apt-get remove --yes monit
1015     # stop the binary
1016     pkill -9 monit || true
1017   fi
1018 }
1019
1020 # check which of the given packages are installed
1021 grep_installed () {
1022   local package installed
1023
1024   for package in $*; do
1025     if pkg $package; then
1026       installed="$installed $package"
1027     fi
1028   done
1029
1030   echo $installed
1031 }
1032
1033 # only upgrade packages if they are already installed
1034 pkgupgrade () {
1035   local packages
1036
1037   packages=$( grep_installed $* )
1038
1039   if [ "$packages" ]; then
1040     eval pkgadd $packages
1041   fi
1042 }
1043
1044 # make a silent upgrade to new libc6
1045 upgrade_libc () {
1046   DEBIAN_FRONTEND=noninteractive pkgupgrade libc6 libc6-dev tzdata
1047 }
1048
1049 # upgrade apache2/php5
1050 upgrade_apache2 () {
1051   pkgrm apache-common # prevents installation of apache2-suexec
1052   pkgupgrade libapache2-mod-php5 php5-cli php5-cn apache2-cn \
1053     php5-odbc php5-suhosin php-suhosin-cn
1054 }
1055
1056 upgrade_amavis () {
1057   local conf
1058
1059   # move old config aside
1060   for conf in /etc/amavisd.conf /etc/amavis/amavisd.conf; do
1061     if [ -e $conf -a ! -e $conf.$backup_ext ]; then
1062       mv -v $conf $conf.$backup_ext
1063     fi
1064   done
1065
1066   # install new packages
1067   pkgadd amavisd-cn amavisd-new
1068
1069   # start new packages
1070   /etc/init.d/amavisd-cn restart
1071 }
1072
1073 # handle freerdius upgrade
1074 upgrade_freeradius () {
1075   local template config_new password realm hostname basedn
1076
1077   pkg freeradius-aai lt 2.1.3-0lenny0 || return 0
1078
1079   # aai team prevents a clean upgrade
1080   cp -av /etc/freeradius /etc/freeradius.$backup_ext
1081   pkgrm freeradius-aai freeradius-ldap freeradius
1082   pkgadd freeradius-aai
1083 }
1084
1085 # prepare for slapd upgrade (caused by freeradius installation)
1086 prepare_openldap () {
1087   pkg openldap-aai lt 2.4 || return 0
1088
1089   # openldap-aai expects org.ldif to exists
1090   local ldif=/var/lib/ldap/org.ldif
1091   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1092   if [ -f $ldif ]; then
1093     cp -v $ldif $ldif_backup
1094   fi
1095 }
1096
1097 # fix openldap-aai postinst user handling
1098 upgrade_openldap () {
1099   pkg openldap-aai lt 2.4 || return 0
1100
1101   # slapd postinst fails if move_old_database is false
1102   echo 'slapd slapd/move_old_database boolean true' | debconf-set-selections 
1103   pkgadd slapd
1104
1105   # slapd removes org.ldif during switch from ldap -> openldap user
1106   local ldif=/var/lib/ldap/org.ldif
1107   local ldif_backup=/var/lib/carnet-upgrade/org.ldif
1108   if [ -f $ldif_backup -a ! -f $ldif ]; then
1109     cp -v $ldif_backup $ldif
1110   fi
1111
1112   # openldap-aai postinst fails here because of database permissions
1113   apt-get -y install openldap-aai || true
1114   chown -R openldap:openldap /var/lib/ldap
1115   /etc/init.d/slapd restart
1116   dpkg --configure -a
1117
1118   # remove ldap user if openldap works
1119   if getent passwd ldap      > /dev/null && \
1120      getent passwd openldap  > /dev/null && \
1121      pgrep -U openldap slapd > /dev/null
1122   then
1123      log "userdel ldap (replaced by openldap)"
1124      userdel ldap || true
1125   fi
1126 }
1127
1128 # fix postgresql deinstallation during upgrade
1129 upgrade_postgresql () {
1130   if check_services show 2>&1 | grep -qw postgresql; then
1131      apt-get install -y postgresql || apt-get -yf install
1132   fi
1133 }
1134
1135 # upgrade the MTA
1136 upgrade_postfix () {
1137   pkgadd sasl2-bin postfix-cn
1138
1139   if pkg postgrey; then
1140      pkgrm postgrey # not used by postfix-cn anymore
1141   fi
1142 }
1143
1144 # upgrade bind separately so DNS is not down for too long
1145 # or breaks postinst scripts of other cn packages that depend on
1146 # working resolver
1147 upgrade_bind() {
1148   pkgadd bind9-cn
1149 }
1150
1151 get_variable () {
1152   local name=$1 file=$2 val
1153
1154   if [ -f "$file" ]; then
1155      val=$(sed -n "/^[[:space:]]*$name[[:space:]]*=/s/[[:space:]]*//gp" $file)
1156      val=${val#*=}
1157   fi
1158
1159   echo $val
1160 }
1161
1162 # restore munin configs for silent upgrade
1163 upgrade_munin () {
1164   local config backup hostname domain
1165
1166   for pkg_name in munin munin-node; do
1167      pkg $pkg_name lt '1.2.6-10~lenny1' || continue
1168
1169      config=/etc/munin/$pkg_name.conf
1170      backup=$config.$backup_ext
1171      if [ -f $config -a ! -f $backup ]; then
1172         hostname=$(hostname)
1173         domain=$(hostname --domain)
1174
1175         cp -av $config $backup
1176         check_and_sed "$hostname.$domain" \
1177           "s/$hostname.$domain/localhost.localdomain/g" $config
1178      fi
1179      pkgadd $pkg_name
1180   done
1181
1182   # force localhost -> hostname replacement in config files
1183   pkgadd munin-cn
1184   dpkg-reconfigure munin-cn
1185 }
1186
1187 # udev.preinst fails if devfs configs still exist
1188 upgrade_udev () {
1189   local config
1190
1191   for config in /etc/udev/rules.d/devfs.rules \
1192                 /etc/udev/rules.d/compat-full.rules \
1193                 /etc/udev/rules.d/compat.rules
1194   do
1195      if [ -e $config ]; then
1196         rm -v -f $config
1197      fi
1198   done
1199
1200   if [ -f /etc/udev/udev.rules -a ! -f /etc/udev/rules.d/udev.rules ]; then
1201      ln -sfv ../udev.rules /etc/udev/rules.d/
1202   fi
1203
1204   pkgadd udev
1205 }
1206
1207 # fix /etc/dpkg/dpkg.cfg
1208 comment_force_overwrite () {
1209   if [ -f /etc/dpkg/dpkg.cfg ]; then
1210     if check_and_sed '^force-overwrite' \
1211                   's,\(^force-overwrite\),#\1,' \
1212                   /etc/dpkg/dpkg.cfg; then
1213       notice "$msg_comment_force_overwrite"
1214     fi
1215   fi
1216 }
1217
1218 # try not to overwrite user modified issue files
1219 fix_issue () {
1220   if cmp /etc/issue $cnup/files/etc/issue.expect.new >/dev/null; then
1221     cp -av /etc/issue /etc/issue.$backup_ext
1222     cat > /etc/issue <<EOF
1223 Debian GNU/Linux 6.0 (CARNet Debian 6.0) \\n \\l
1224
1225 EOF
1226   fi
1227
1228   if cmp /etc/issue.net $cnup/files/etc/issue.net.expect.new >/dev/null; then
1229     cp -av /etc/issue.net /etc/issue.net.$backup_ext
1230     cat > /etc/issue.net <<EOF
1231 Debian GNU/Linux 6.0 (CARNet Debian 6.0) %h
1232 EOF
1233   fi
1234 }
1235
1236 check_archives_space() {
1237   local available_disk_space archives_size
1238   available_disk_space=$(free_space /var/cache/apt/archives/)
1239   archives_size=$(download_size dist-upgrade)
1240
1241   if [ $? -ne 0 ]; then
1242     log "Failed to get download size, skipping check."
1243     return 0
1244   fi
1245
1246   log "Archives space: ${available_disk_space}MB"
1247   log "Download size: ${archives_size}MB"
1248
1249   if [ $available_disk_space -lt $archives_size ]; then
1250     log "carnet-upgrade aborted: not enough space in /var/cache/apt/archives/ (have ${available_disk_space}MB, need ${archives_size}MB)"
1251     notice "Premalo slobodnog mjesta u /var/cache/apt/archives/ za skidanje paketa (potrebno je barem ${archives_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1252     exit 1
1253   fi
1254 }
1255
1256 check_kernel_space() {
1257   local available_disk_space kernel_size linux_images metapkg pkg ret
1258   available_disk_space=$(free_space /)
1259   linux_images=$(apt-cache show kernel-2.6-cn | grep ^Depends: \
1260     | grep -o 'linux-image[^, ]*')
1261   for metapkg in $linux_images; do
1262     pkg=$(apt-cache show $metapkg | grep ^Depends: \
1263           | grep -o 'linux-image[^, ]*' | head -1)
1264     [ "$pkg" ] || continue
1265
1266     kernel_size=$(installed_size $pkg)
1267     ret=$?
1268     [ $ret -eq 0 ] && break
1269   done
1270
1271   if [ $ret -ne 0 ]; then
1272     log "Failed to get installed size, skipping check."
1273     return 0
1274   fi
1275
1276   log "Free space in /: ${available_disk_space}MB"
1277   log "Kernel package: $pkg"
1278   log "Kernel size: ${kernel_size}MB"
1279
1280   if LC_ALL=C apt-get -s install kernel-2.6-cn \
1281      | grep -q '^kernel-2.6-cn is already the newest version.$'
1282   then
1283      log "Not checking free space in /: kernel-2.6-cn already installed"
1284      return
1285   fi
1286
1287   if [ $available_disk_space -lt $kernel_size ]; then
1288     log "carnet-upgrade aborted: not enough space in / (have ${available_disk_space}MB, need ${kernel_size}MB)"
1289     notice "Premalo mjesta u / za instalaciju kernela (potrebno je barem ${kernel_size}MB). Procitajte poglavlje 'Izvanredne situacije' u dokumentaciji."
1290     exit 1
1291   fi
1292 }
1293
1294 free_space() {
1295   df --portability --block-size=1M "$1" | tail -1 | awk '{print $4}'
1296 }
1297
1298 download_size() {
1299   local size
1300   size=$(LC_ALL=C apt-get --yes --print-uris "$@" | grep '^Need to get ')
1301
1302   if [ $? -ne 0 ]; then
1303     log "Failed to get download size for 'apt-get $@'."
1304     return 1
1305   fi
1306
1307   size=${size#Need to get }
1308   size=${size%%B*}
1309
1310   size_to_mb "${size}B"
1311 }
1312
1313 installed_size() {
1314   local package size
1315   package=$1
1316   size=$(apt-cache show $package | grep '^Installed-Size:')
1317
1318   if [ $? -ne 0 ]; then
1319     log "Failed to get installed size for '$package'."
1320     return 1
1321   fi
1322
1323   size=${size#*: }
1324
1325   size_to_mb "${size}kB"
1326 }
1327
1328 size_to_mb() {
1329   local size
1330   size=$1
1331   if [ -z "$size" ]; then
1332     size=0;
1333   fi
1334
1335   if [ "${size%kB}" != "$size" ]; then
1336     size=$(round ${size%kB})
1337     size=$(($size/1024+1))
1338   elif [ "${size%MB}" != "$size" ]; then
1339     size=$(round ${size%MB})
1340   elif [ "${size%GB}" != "$size" ]; then
1341     size=$(round ${size%GB})
1342     size=$(($size*1024))
1343   elif [ "${size%[0-9]B}" != "$size" ]; then
1344     size=$(round ${size%B})
1345     size=$(($size/1024/1024+1))
1346   else
1347     log "unrecognized size unit: $size"
1348     return 1
1349   fi
1350
1351   echo $size
1352 }
1353
1354 round() {
1355   local num
1356   num=$1
1357
1358   if [ "${num%.*}" != "$num" ]; then
1359     num=${num%.*}
1360     num=$(($num+1))
1361   fi
1362
1363   echo $num
1364 }
1365
1366 # make sure carnet-upgrade doesn't get upgraded until the end
1367 hold_carnet_upgrade() {
1368   echo carnet-upgrade hold | dpkg --set-selections
1369 }
1370
1371 release_carnet_upgrade() {
1372   echo carnet-upgrade install | dpkg --set-selections
1373 }