3c179a19e7ab2135c2bbe0b8f2a9d51b80608869
[carnet-upgrade.git] / usr / share / carnet-upgrade / functions.sh
1 # last update: 2005-07-03
2 # Ivan 'ico' Rako <irako@srce.hr>
3 # Zoran 'jelly' Dzelajlija <jelly@srce.hr>
4
5 notice () {
6   dialog --backtitle "$title" --msgbox "$*" 18 75
7 }
8
9 first_warning () {
10   dialog --backtitle "$title" --yesno "$msg_first_warning" 18 75
11 }
12
13 pkg() {
14   local version
15   dpkg -l "$1" 2> /dev/null | egrep -q "^.i" || return 1
16   [ -z "$2" ] && return 0
17   version=$(dpkg -s "$1" | awk '/^Version:/ {print $2}')
18   dpkg --compare-versions "$version" "$2" "$3" 2>&1 > /dev/null
19 }
20
21 log() {
22   logfile=${logfile:=/var/log/carnet-upgrade.log}
23   touch $logfile
24   echo "$(date +'%Y-%m-%d %H:%M:%S') $*" >> $logfile
25   echo "CN: $*"
26 }
27
28 # find first free uid/gid in range
29 # find_id passwd 100 999
30 find_id() {
31   local db first last ids
32   db=$1
33   first=$2
34   last=$3
35   ids=$(getent $db | awk -F: "\$3 >= $first && \$3 <= $last {print \$3}")
36   for i in $(seq $first $last)
37   do
38     if ! echo $ids |grep -q $i; then
39       echo $i
40       return 0
41     fi
42   done
43   return 1
44 }
45
46 # safe in-place s///
47 check_and_sed() {
48   [ "$DEBIAN_SCRIPT_DEBUG" ] && set -vx
49   local s sedcmd ret i
50   s="$1"
51   shift
52   sedcmd="$1"
53   shift
54   ret=2
55   for i in $*
56   do
57     [ -e "$i" ]        || continue
58     egrep -q "$s" "$i" || continue
59     [ -h "$i" ]        && i=$(readlink -f "$i")
60     sed "$sedcmd" "$i" > "$i.dpkg-tmp"
61     chown --reference "$i" "$i.dpkg-tmp"
62     chmod --reference "$i" "$i.dpkg-tmp"
63     mv "$i.dpkg-tmp" "$i"
64     ret=0
65   done
66   if [ "$ret" -eq 0 ]; then
67     log "Done \"$sedcmd\" to $*"
68   fi
69   return $ret
70 }
71
72 #
73 # Update uid for user from reserved system range (0-99) to dynamic system
74 # range (100-999).  Optionally update ownerships of given directories.
75 # $0 user [directory ...]
76 #
77 check_and_update_ugid() {
78   local user newgid newuid
79   user=$1
80   if [ "$(getent passwd $user | awk -F: '$3 >= 100 {print "ok"; exit 0}')" ]; then
81     return 0
82   fi
83   shift
84   newgid=$(find_id group 100 999)
85   newuid=$(find_id passwd 100 999)
86   # other directories/files
87   chown -R $newuid:$newgid $*
88   groupmod -g $newgid $user
89   usermod -u $newuid -g $newgid $user
90   log "Fixed $user user uid/gid."
91 }
92
93 pkgadd () {
94   [ -n "$*" ] || return 0
95   log "Installing $* ..."
96   apt-get -y$s install $* || {
97     dpkg --configure -a
98     apt-get -yf install
99     apt-get -y$s install $*
100   }
101 }
102
103 pkgrm () {
104   [ -n "$*" ] || return 0
105   log "Removing $* ..."
106   apt-get -y$s --purge remove $* || {
107     dpkg --configure -a
108     apt-get -yf install
109     apt-get -y$s --purge remove $*
110   }
111 }
112
113 update() {
114   log "Running apt-get update ..."
115   apt-get -y$s update || {
116     apt-get -yf install
117     apt-get -y$s update
118   }
119   apt-get autoclean
120   apt-get -dy$s dist-upgrade
121 }
122
123 dist_upgrade () {
124   log "Running dist-upgrade ..."
125   apt-get -y$s dist-upgrade || {
126     dpkg --configure -a
127     apt-get -y$s dist-upgrade
128   }
129 }
130
131 remove_bloat() {
132   local to_remove add_this i j n text to_show cmd tmpfile installed
133   local update_selections pkgs_to_deselect oldifs
134   text="$msg_remove_bloat"
135
136   [ "$DEBUG" ] && set -x
137   n=0
138   for i in $(echo "$bloats" | sed 's/           */      /g'| awk -F'    ' '{print $2}')
139   do
140     if pkg $i; then
141       installed="$installed $i"
142       add_this="$(echo "$bloats" | egrep "      .*\b${i}\b" | sed 's/           */      /g'| awk -F'    ' '{print $1}')"
143       if ! echo "$to_show" | grep -q "$add_this"; then
144         to_show="$to_show \"$add_this\" \"\" on"
145         n=$(($n+1))
146       fi
147     fi
148   done
149   [ -z "$to_show" ] && return 0
150   tmpfile=$(mktemp /var/lib/carnet-upgrade/dialog-tmp.XXXXXX)
151   cmd="dialog --nocancel --backtitle \""$title"\" --checklist \""$text"\" 20 75 $n $to_show"
152   [ "$DEBUG" ] && set +x
153     eval $cmd 2> $tmpfile
154   [ "$DEBUG" ] && set -x
155   to_remove="$(cat $tmpfile | sed 's/\"\ \"/    /g; s/\"\ *//g; s/\\//g')"
156   [ "$DEBUG" ] || rm -f $tmpfile 
157   [ "$DEBUG" ] && echo "DEBUG: to_remove=$to_remove" 1>&2
158   oldifs="$IFS"
159   IFS=" " # tab
160   for i in $(echo "$to_remove")
161   do
162     IFS="$oldifs"
163     for j in $(echo "$bloats" | grep "^$i" | sed 's/            */      /g'| awk -F'    ' '{print $2}')
164     do
165       # hopefully this will tell apt not to reinstall them at upgrade time
166       update_selections="${update_selections}
167         $j      deinstall"
168       pkgs_to_deselect="$pkgs_to_deselect $j"
169       # only remove those that really are installed
170       if echo "$installed" | grep -q "$j"; then
171         pkgs_to_remove="$pkgs_to_remove $j"
172       fi
173     done
174   done
175   [ "$DEBUG" ] && echo "DEBUG: pkgs_to_remove=$pkgs_to_remove" 1>&2
176   # Finally, remove those
177   if [ -n "$update_selections" ]; then
178     echo "$update_selections" | dpkg --set-selections
179     log "Deselected:${pkgs_to_deselect}"
180   fi
181   eval pkgrm $pkgs_to_remove
182 }
183
184 post_upgrade() {
185   touch "$post_upgrade_queuetab"
186   if ! grep -q "true    $*" "$post_upgrade_queuetab"; then
187     echo "true  $*" >> "$post_upgrade_queuetab"
188   fi
189 }
190
191 run_post_upgrade() {
192   if [ -f "$post_upgrade_queuetab" ]; then
193     run_actions post_upgrade "$post_upgrade_queuetab"
194     mv "$post_upgrade_queuetab" "${post_upgrade_queuetab}.done.$(date '+%Y-%m-%d.%H:%M:%S')"
195   fi      
196 }
197
198 ###
199
200 run_actions() {
201   local line lineno lineno2 f n name action
202   [ "$DEBUG" ] && set -vx
203   name="$1"
204   f="$2"
205   [ -f "$f" ] ||   return 2 # no such file
206   n=$(wc -l "$f" | awk '{print $1}')
207   [ "$n" -lt 1 ] && return 1 # no lines to process
208   log "run_actions ($name) started, processing $n lines from \"$f\"."
209   log "-----"
210   lineno=0
211   lineno2=0
212   while [ "$lineno" -lt "$n" ]
213   do
214     lineno=$(($lineno+1))
215     lineno2=$lineno
216     line=$(head -$lineno "$f" | tail -1)
217     if echo $line | grep -q '^#'; then  # comment
218       continue
219     fi
220     while echo "$line" | egrep -q '\\$' # continuation
221     do
222       lineno2=$(($lineno2+1))
223       line=$(echo -n "$line"| sed 's/\\$//'; head -$lineno2 "$f" | tail -1)
224     done
225     test=$(echo "$line" | sed 's/               */      /g'| awk -F'    ' '{print $1}')
226     action=$(echo "$line" | sed 's/             */      /g'| awk -F'    ' '{print $2}')
227     if eval $test; then
228       log "$(printf 'action %02d' $lineno) starting: '${action}' if '$test'"
229       eval $action
230       log "$(printf 'action %02d' $lineno) finished: '${action}'"
231     else
232       log "$(printf 'action %02d' $lineno) skipping: '${action}' if '$test'"
233     fi
234     [ "$lineno2" -gt "$lineno" ] && lineno=$lineno2
235   done
236   log "run_actions ($1) finished"
237   log "-----"
238 }
239
240 # funkcija vraca popis paketa koje treba upgradeati
241 what_upgrade () {
242   local IFSOLD name version package
243
244   for package in `echo "$needed_versions" | awk '{print $1}'| grep -v ^$`; do
245     IFSOLD="$IFS"
246     IFS="       " # tab
247     read name version <<-EOPTS
248         $(echo "$needed_versions" | sed 's/             */      /g' | grep ^$package)
249         EOPTS
250     IFS="$IFSOLD"
251     if pkg "$name" lt "$version"; then
252         echo -n " $name"
253     fi
254   done
255 }
256
257 # funkcija za ispis paketa koje treba upgradeati
258 check_upgrade () {
259   local upgrade
260   upgrade="`what_upgrade`"
261
262   if [ "$upgrade" ]; then
263     notice "
264 Prije prelaska na Debian Etch potrebno je napraviti upgrade ovih paketa:
265   $upgrade
266
267 Pokrenite:
268   'apt-get dist-upgrade'
269 ili:
270   'apt-get install${upgrade}'
271   
272 Nakon toga ponovno pozovite ovu skriptu."
273     log "carnet-upgrade aborted, upgrade of$upgrade needed."
274     exit 1
275   fi
276 }
277
278 upgrade () {
279   local to_install packages
280   case "$1" in
281     first)
282       packages="$packages_first"
283     ;;
284     second)
285       packages="$packages_second"
286     ;;
287     *)
288     return 1
289   esac
290
291   for i in $packages
292   do
293     pkg $i && to_install="$to_install $i"
294   done
295
296   if [ -n "$to_install" ];then
297     eval pkgadd $to_install
298   else
299     return 0
300   fi
301 }
302
303 # funkcija utrpa ispravan sources.list
304 create_sources_list () {
305     [ -f /etc/apt/sources.list -a ! -f /etc/apt/sources.list.cn-upgrade ] && mv /etc/apt/sources.list /etc/apt/sources.list.cn-upgrade
306     cp /usr/share/carnet-upgrade/sources.list /etc/apt
307     notice "Novi sadrzaj datoteke /etc/apt/sources.list:
308
309 `cat /etc/apt/sources.list`"
310 }
311
312
313 # funkcija koja brise grupu proc
314 remove_group_proc () {
315   if getent group proc > /dev/null; then
316     groupdel proc || true
317     log "groupdel proc (temporarily)"
318     post_upgrade add_group_proc
319   fi
320 }
321
322 add_group_proc () {
323   if ! getent group proc > /dev/null; then
324     groupadd -g 99 proc 
325     log "groupadd -g 99 proc"
326     if [ -x /etc/init.d/oidentd -a -f /etc/default/oidentd ] && \
327        egrep -q 'OIDENT_GROUP.*proc' /etc/default/oidentd; then
328       /etc/init.d/oidentd restart || true
329     fi
330   fi
331 }
332
333 # backup_slapd_db
334 backup_slapd_db () {
335   if [ ! -f /var/backups/slapcat.cn-upgrade ]; then
336     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius stop || true
337
338     if [ -x /etc/init.d/slapd -a -d /var/lib/ldap ]; then
339       /etc/init.d/slapd stop || true
340       if slapcat -l /var/backups/slapcat.cn-upgrade; then
341         log "/var/backups/slapcat.cn-upgrade created"
342         notice "Napravljen backup slapd baze u /var/backups/slapcat.cn-upgrade."
343       fi
344       /etc/init.d/slapd start || true
345     fi
346
347     [ -x /etc/init.d/freeradius ] && /etc/init.d/freeradius start || true
348   else
349     log "slapd backup already at /var/backups/slapcat.cn-upgrade, skipping"
350     notice "Backup slapd baze u /var/backups/slapcat.cn-upgrade vec postoji!"
351   fi
352 }
353
354 # backup etc direktorija
355 backup_etc_dir () {
356   if [ ! -f /var/backups/etc.tar.gz ]; then
357     if tar cfz /var/backups/etc.tar.gz /etc 2> /dev/null; then
358       log "/var/backups/etc.tar.gz created"
359       notice "Napravljen backup /etc direktorija u /var/backups/etc.tar.gz."
360     fi
361   else
362     log "/etc backup already present in /var/backups/etc.tar.gz, skipping."
363     notice "Backup /etc direktorija u /var/backups/etc.tar.gz vec postoji!"
364   fi
365 }
366
367 # fixaj /etc/default/raid2
368 fix_etc_default_raid2 () {
369   if [ -f /etc/default/raid2 ]; then
370     sed "s/^AUTOSTART.*/AUTOSTART=true/g" /etc/default/raid2 > /etc/default/raid2.cn-upgrade.$$
371     chown --reference=/etc/default/raid2 /etc/default/raid2.cn-upgrade.$$
372     chmod --reference=/etc/default/raid2 /etc/default/raid2.cn-upgrade.$$
373
374     if ! cmp -s /etc/default/raid2.cn-upgrade.$$ /etc/default/raid2; then
375       log "Fixed /etc/default/raid2 AUTOSTART option."
376       mv /etc/default/raid2.cn-upgrade.$$ /etc/default/raid2
377     else
378       rm /etc/default/raid2.cn-upgrade.$$
379     fi
380   fi
381 }
382
383 # instaliraj zadnji freeradius; uvjeti u queue fileovima
384 install_freeradius () {
385   pkgadd --force-yes freeradius-cn freeradius=1.0.5-0 freeradius-ldap=1.0.5-0
386 }
387
388 # tentatively remove obsolete option in xinetd.conf
389 fix_xinetd_conf () {
390   if [ -f /etc/xinetd.conf ]; then
391     check_and_sed 'log_on_failure.*RECORD' \
392                    's/\(log_on_failure.*\)RECORD/\1/g' \
393                    /etc/xinetd.conf || true
394   fi
395 }
396
397 # temporarily disable mod_ssl.conf in apache so that upgrade works
398 fix_mod_ssl_include() {
399   if [ -f /etc/apache/mod_ssl.conf ]; then
400     check_and_sed '^Include /etc/apache/mod_ssl\.conf' \
401                   's,\(^Include[        ][      ]*/etc/apache/mod_ssl\.conf\),#\1,' \
402                   /etc/apache/httpd.conf || true
403   fi
404 }
405
406 fix_proftpd_conf() {
407   if [ -f /etc/proftpd.conf ]; then
408     check_and_sed '^LsDefaultOptions' \
409                   's,^LsDefaultOptions,ListOptions,' \
410                   /etc/proftpd.conf || true
411   fi
412   [ -x /etc/init.d/proftpd ] && /etc/init.d/proftpd restart || true
413 }
414
415 # fix /etc/dpkg/dpkg.cfg
416 comment_force_overwrite () {
417   if [ -f /etc/dpkg/dpkg.cfg ]; then
418     if check_and_sed '^force-overwrite' \
419                   's,\(^force-overwrite\),#\1,' \
420                   /etc/dpkg/dpkg.cfg; then
421       notice "$msg_comment_force_overwrite"
422     fi
423   fi
424 }
425
426 fix_aidexfer_conf() {
427   if [ -f /etc/aide/aidexfer.conf ]; then
428     check_and_sed '/usr/local/lib/aidexfer' \
429                   's,/usr/local/lib/aidexfer,/usr/share/aidexfer,' \
430                   /etc/aide/aidexfer.conf || true
431   fi
432 }
433
434 fix_issue () {
435   cat > /etc/issue <<EOF
436 Debian GNU/\\s 3.1 (CARNet Debian 2.1) \\n \\l
437 EOF
438
439   cat > /etc/issue.net <<EOF
440 Debian GNU/%s 3.1 (CARNet Debian 2.1) %h
441 EOF
442 }
443
444 check_disk_space() {
445   local available_disk_space
446   available_disk_space=$(df -m /var|tail -1|awk '{print $4}')
447   if [ $available_disk_space -lt $min_var_space ]; then
448     log "carnet-upgrade aborted: not enough space on /var (need ${min_var_space}MB)"
449     notice "Premalo mjesta na /var particiji. Potrebno je imati barem ${min_var_space}MB."
450     exit 1
451   fi
452 }
453
454 fix_webalizer_conf () {
455   if [ -f /etc/webalizer.conf ]; then
456     check_and_sed '^/' \
457                   's,^/,#,' \
458                   /etc/webalizer.conf || true
459   fi
460 }
461
462 # like in sendmail-cn
463 fix_smtp_auth() {
464   local tmpl conf tmpldir confdir mv_in_sasl
465
466   # all of these should be installed after dist-upgrade
467   # if we had SMTP AUTH previously
468   if pkg sasl2-bin && pkg sasl-bin && pkg sendmail-cn ge 2:8.13.1-2; then
469     :
470   else
471     return 0
472   fi
473
474   tmpldir=/usr/share/sendmail/examples/sasl
475   tmpl=$tmpldir/Sendmail.conf.2
476   confdir=/etc/mail/sasl
477   conf=$confdir/Sendmail.conf.2
478   if [ "$(sasldblistusers | wc -l)" -gt 0 ]; then
479     if [ "$(sasldblistusers2 | wc -l)" -eq 0 ]; then
480       echo | sasldbconverter2 /etc/sasldb
481       log "Converted /etc/sasldb to /etc/sasldb2."
482     else
483       log "Found users in both /etc/sasldb and /etc/sasldb2, doing nothing!"
484     fi
485   fi
486   if [ -f $conf -a -f $tmpl ] && \
487     ! cmp -s $conf $tmpl; then
488     mv $conf $conf.cn-upgrade
489     mv_in_sasl=1
490   fi
491   if [ -f $confdir/Sendmail.conf ]; then
492     mv $confdir/Sendmail.conf $confdir/Sendmail.conf.cn-upgrade
493     mv_in_sasl=1
494   fi
495   if [ -f $confdir/sasl.m4 ] && \
496     ! cmp -s $confdir/sasl.m4 $tmpldir/sasl.m4; then
497     mv -f $confdir/sasl.m4 $confdir/sasl.m4.cn-upgrade
498     mv_in_sasl=1
499   fi
500   [ "$mv_in_sasl" ] && \
501     log "Renamed old files in $confdir."
502
503   # Regenerate sasl.m4 and friends.
504   /usr/share/sendmail/update_auth | egrep '^(Created template)' || true
505
506   # Hope noone else uses this file. (see doc/sendmail/README.Debian.gz)
507   dpkg-statoverride --remove /etc/sasldb2
508   dpkg-statoverride --update --add smmta smmsp 660 /etc/sasldb2
509   # needed for PLAIN, LOGIN
510   dpkg-statoverride --remove /var/run/saslauthd
511   dpkg-statoverride --update --add root sasl 711 /var/run/saslauthd
512
513   # Enable saslauthd, used by default Debian config
514   if ! egrep -q '^START=yes' /etc/default/saslauthd; then
515     check_and_sed START 's/#\ +START=yes$/START=yes/' /etc/default/saslauthd
516     /etc/init.d/saslauthd restart
517   fi
518
519   /etc/init.d/sendmail reload || true
520 }
521
522 sources_list() {
523   if [ ! -e /var/lib/carnet-upgrade/stamp-sources_list ]; then
524     install-carnet-sources.list
525     apt-get -y update
526     touch /var/lib/carnet-upgrade/stamp-sources_list
527   fi
528 }