Manuell filsync av innhold (deriblant RST) til Vortex

Om filsync

Filsync brukes normalt med kjøring hvert annet minutt fra cron, med data fra f.eks. git. Den typen bruk beskrives i et annet dokument.

I noen tilfeller ønsker man isteden å styre opplastingen selv manuelt, og det er det som beskrives i dette dokumentet. 

Hvordan ta i bruk filsync manuelt

Ta kontakt med vortex-hjelp@usit.uio.no for tilgang til vortex-sync2.uio.no.

Logg inn på vortex-sync2.uio.no. Du vil ha et lokalt hjemmeområde.

Overfør data dit med rsync e.l.

Opprett en katalog for opplastingsjobben med en underliggende data katalog og en underliggende arbeidskatalog. I arbeidskatalogen skal det ligge en davsync.cfg fil.

F.eks.:

/vortex/home/testbruker/ 
/vortex/home/testbruker/opplasting1/
/vortex/home/testbruker/opplasting1/test_data/
/vortex/home/testbruker/opplasting1/test_data/test-fil.txt
/vortex/home/testbruker/opplasting1/test_work/
/vortex/home/testbruker/opplasting1/test_work/davsync.cfg 

davsync.cfg filen må inneholde:

[davsync]
host = www-dav.vortex-demo.uio.no
dav_prefix = /test/sted
upload_src_abs_path = /vortex/home/testbruker/opplasting1/test_data 

I dette eksempelet vil filen

/vortex/home/testbruker/opplasting1/test_data/test-fil.txt

lastes opp til:

 /test/sted/test-fil.txt

Det anbefales å bruke direkte-aksess URL til Vortex primærserver for opplasting. (Man kan for tiden oppleve sporadiske 503 feil på vanlig -dav hostnavn for noen Vortex hoster.) Se vortex-hoster for å finne riktig direkte-aksess hostnavn og port. Da brukes vanligvis host og port i davsync.cfg fila, f.eks.:

host = vortex-pr-11.uio.no
port = 11000

Kjør scriptet

cd /vortex/home/testbruker/opplasting1/
python /vortexpy/pylibs/davsync3/davsync3/davsync.py --workingdir=test_work/

Scriptet melder fra om feil, og vil stoppe opp for enkelte typer feil. Noen ganger kan det dukke opp en WAIT_xx eller STOP_ fil i arbeidskatalogen når scriptet stopper pga. feil. I slike tilfeller må man rette feilen og fjerne fila før man kjører scriptet på nytt. Scriptet vil da starte der det stoppet sist (dvs. det holder styr på hvor langt det har kommet).

Mens scriptet går kan man følge med på filene operations.txt og state.txt i arbeidskatalogen. Scriptet behandler operasjonene i operations.txt etter tur. Når en linje i operations.txt er utført, kopieres den over til state.txt.