ELK - Elasticsearch Logstash og Kibana

ELK brukes til mottak, prosessering, lagring, analyse og visualisering av loggdata. Med loggdata menes hendelsesbeskrivelseer som  består av tekst og tidspunkt. Tekst kan være strukturert i form av JSON-data, eller helt/delvis ustrukturert. Loggdata sendes fortrinnsvis ved å følge loggfiler (Linux) eller eventlog (Windows) på maskiner , men det er også mulig å sende hendelser direkte fra applikasjoner.

Beskrivelse

Tjenesten brukes i første omgang som støtteverktøy til drift av infrastruktur og applikasjoner. Anledning til å benytte tjenesten, samt regler for hvordan tjenesten skal brukes er styrt av «Prosedyre for behandling av logger fra systemer, tjenester og applikasjoner»

Dersom dere er i tvil om dere kan bruke tjenesten, send likevel en henvendelse til «USITs gruppe for driftsstøtte» for en avklaring og mulig vei videre. 

 

Hjelp og veiledning

Dersom man mener at man er klassifisert som innenfor bruksområdet ihht. policy er første skritt for å ta i bruk tjenesten er å sende en anmodning til  «USITs gruppe for driftsstøtte». Da vil det bli foretatt en vurdering om bruksområdet faller inn under det som er godkjent ihht. policy .

Dersom vi er i tvil om bruken faller innenfor bruksområdet, vil man bli henvist til it-sikkerhet ved USIT som foretar en vurdering av hvorvidt brukergruppen tillates å benytte tjenesten og regler for bruken. Dersom man selv vurderer at man havner utenfor det som er tillatt i dagens policy er det like greit å kontakte it-sikkerhet@usit.uio.no selv for en avklaring. 

Dersom det faller innenfor bruksområdet blir det opprettet tilgang for dataeier («logowner») og man får en egen Kibana-instans på http://«logowner».logs.uio.no samt en logmottaker som data sendes til.

I hvert enkelt tilfelle startes det en dialog for å finne beste måte å sende inn loggdata på. Dette er basert på tilgjengelige mekanismer som er implementert i samband med behovet til brukeren. Tidsperspektivet for å ta i bruk tjenesten avhenger av brukerens behov for skreddersøm. Dersom man kan bruke de standardiserte mekanismene er det trivielt og raskt å komme igang. 

Støttede standardiserte logmottakere:

  • TCP (med ssl)
  • Beats (med ssl)
  • Syslog (kun intern bruk)

Hver data-eier får automatisk en kvote på 300GB med rask lagring (SSD-disk). Alle data er replikert for redundans , så den virkelig ressursbruken for lagring av 300GB er 2*300GB.  Kvoten styrer hvor mye data en dataeier kan ha liggende lagret i løsningen til enhver tid. Når kvoten overskrides justeres «retention»-tiden automatisk for å komme ned under kvotebegrensningen. Justeringer av «retention» skjer på ukesbasis, da dette reflekterer intervallet som alle indekser i Elasticsearch opprettes med.

I utgangspunktet justeres «retention» flatt over en dataeiers applikasjoner, men det er mulig å differensiere «retention» mellom  applikasjoner innenfor samme «logowner». En applikasjon er i denne sammenheng sub-inndeling av en dataeiers indekser i Elasticsearch. Kvote-unntak søkes om til «USITs gruppe for driftsstøtte». Det samme gjelder bestilling av differensiering av «retention» for indekser. 

Det er ingen definert grense for ressursbruk i forbindelse med indeksering dokumenter eller spørringer, men ressursbruken overvåkes sentralt og vi vil ta kontakt for dialog dersom vi ser brukere som belaster systemet unormalt høyt. 

Pekere til brukerdokumentasjon: