Paranoid hemnätverkare söker förslag på lämplig backupstrukt

Konfiguration av nätverk, hur man använder Ubuntu som server, och håller sin dator säker
viper
Inlägg: 394
Blev medlem: 22 nov 2009, 16:41
OS: Ubuntu
Utgåva: 20.04 Focal Fossa LTS
Ort: Torslanda

Paranoid hemnätverkare söker förslag på lämplig backupstrukt

Inlägg av viper »

Hej,


Det var ett tag sedan jag rotade i dessa frågor senast så jag är lite ringrostig. Jag är sedan tidigare bekant med rsync-skript för roterande backup via ssh och annat så den delen är inte heller nödvändig att beskriva i detalj. Det jag är ute efter är struktur för en säker lösning för lagring backup etc för vårt hemnätverk.

Nätverket består av:
  • 1 stationär en-användardator med Ubuntu/W10 dual boot. Fn ingen backup i klienten
  • 1 stationär fler-användardator med Ubuntu/W10 dual boot som inkluderar separata användare för administration av familjens foto/film/musik.
  • 1 "hemmaserver" med Ubuntu Server som innehåller: delade mediafiler och familjemedlemmarnas egna mappar i SMB, + utrymme avsett för backup av klienterna i nätverket
Jag kommer även utöka nätverket med ett "datavalv" i friggeboden för "backup på annan plats", då det börjar bli väldigt mycket data som riskerar att "försvinna" i händelse av missöde.

Mina egna funderingar "so far" är:
  • klient: backup lokalt i de stationära datorerna, på partition som endast monteras "write" när backup görs
  • hemmaserver: nätverksåtkomst till mediafiler och backup av de stationära datorerna på partitioner som endast monteras "write" när backup görs
  • datavalv: säker backup av framför allt mediafiler
Förutom synpunkter på ovan skulle jag även behöva hjälp med att reda ut nedan:
  • Hur bör flödet av backupdatan konfigureras över klient/mediaserver/backupserver? vilken enhet bör ansvara för "push" resp "pull" med cronjobb.
  • Skall jag på hemma servern köra vidare på Ubuntu Server eller överväga migrera till en FreeNAS?
  • Det tillkommande "Datavalvet" byggs från en utrangerad dator, Ubuntu Server eller typ FreeNAS på denna?
  • Antar också att någon typ av RAID-x kan komma in i bilden, men vilken typ? Skaffa diskar är ingen issue eftersom det är dags att börja byta ut dem ändå.

Tack på förhand!
Oortodox generalist
1 x 20.04 Desktop, 2 x 18.04 Desktop, 2 x 18.04 Server
stelu
Inlägg: 51
Blev medlem: 20 mar 2009, 13:17
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Ort: Uppsala

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av stelu »

viper skrev:Hej,


Det var ett tag sedan jag rotade i dessa frågor senast så jag är lite ringrostig. Jag är sedan tidigare bekant med rsync-skript för roterande backup via ssh och annat så den delen är inte heller nödvändig att beskriva i detalj. Det jag är ute efter är struktur för en säker lösning för lagring backup etc för vårt hemnätverk.

Nätverket består av:
  • 1 stationär en-användardator med Ubuntu/W10 dual boot. Fn ingen backup i klienten
  • 1 stationär fler-användardator med Ubuntu/W10 dual boot som inkluderar separata användare för administration av familjens foto/film/musik.
  • 1 "hemmaserver" med Ubuntu Server som innehåller: delade mediafiler och familjemedlemmarnas egna mappar i SMB, + utrymme avsett för backup av klienterna i nätverket
Jag kommer även utöka nätverket med ett "datavalv" i friggeboden för "backup på annan plats", då det börjar bli väldigt mycket data som riskerar att "försvinna" i händelse av missöde.

Mina egna funderingar "so far" är:
  • klient: backup lokalt i de stationära datorerna, på partition som endast monteras "write" när backup görs
  • hemmaserver: nätverksåtkomst till mediafiler och backup av de stationära datorerna på partitioner som endast monteras "write" när backup görs
  • datavalv: säker backup av framför allt mediafiler
Förutom synpunkter på ovan skulle jag även behöva hjälp med att reda ut nedan:
  • Hur bör flödet av backupdatan konfigureras över klient/mediaserver/backupserver? vilken enhet bör ansvara för "push" resp "pull" med cronjobb.
  • Skall jag på hemma servern köra vidare på Ubuntu Server eller överväga migrera till en FreeNAS?
  • Det tillkommande "Datavalvet" byggs från en utrangerad dator, Ubuntu Server eller typ FreeNAS på denna?
  • Antar också att någon typ av RAID-x kan komma in i bilden, men vilken typ? Skaffa diskar är ingen issue eftersom det är dags att börja byta ut dem ändå.

Tack på förhand!
Jag kör Owncloud men ska migrera till Nextcloud på min server. Servern har Zfs som filsystem med speglade diskar. Jag skapar i nuläget snapshots manuellt men det ska automatiseras. Vidare kör jag Owncloud / Nextcloud på telefoner och datorer som synkar mot servern. Det är ett smidigt sätt att få bilder tagna i mobilen automatiskt uppsynkade. På min backup-server som står fysiskt på annan plats kör jag Zfs med speglade diskar samt rsnapshot som kopplar upp sig mot den andra servern, tar en backup och sedan kopplar ner. Detta sker en gång per dag. Lösningen ger enligt mig ett mycket bra skydd mot dataförlust och Zfs med spegling skyddar bra mot "bit rot", dvs att en bit byter tillstånd på ena disken.

Skickat från min E5823 via Tapatalk
viper
Inlägg: 394
Blev medlem: 22 nov 2009, 16:41
OS: Ubuntu
Utgåva: 20.04 Focal Fossa LTS
Ort: Torslanda

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av viper »

Hej stelu

Jag har nu kollat in Nextcloud ett par gånger och tycker det verkar vara i linje med hur jag tänker när det gäller integritet och säkerhet. Känner att jag nog kommer pröva på det. :)

För mig är tänket helt nytt och jag kommer behöva reda ut ett eller annat på vägen.

Tolkar det som att du kör speglade diskar på servern för att motverka effekt av diskkrasch samt att snapshots görs manuellt till backup på annan plats.

Hur har du tänkt när det gäller diskstorlekar? Är det typ 2 x 4TB speglat som snurrar i servern (förutom diskar för system och andra eventuella tillämpningar)? Eller finns det något man måste tänka på med detta?

Samma då för "annan plats" givetvis.

Att använda zfs som FS, är väl inget måste, bara en stark rekommendation från din sida antar jag. :)

Tack för all hjälp med att reda begreppen så här i steget in i molnåldern. :)


EDIT: efter ytterligare studier i ämnet har jag förstått att det där med RAID får utelämnas då det inte är helt friktionsfritt vid dual boot (U16 + W10). Jag får lösa det med roterande snapshots i stället (om det inte trots allt finns en hanterbar lösning).

EDIT 2: insåg efter postning av "edit" ovan att det är på klientnivå som RAID-komplikationer kan uppstå vid dual boot. Servern har ju endast 1 OS. :-[
Oortodox generalist
1 x 20.04 Desktop, 2 x 18.04 Desktop, 2 x 18.04 Server
stelu
Inlägg: 51
Blev medlem: 20 mar 2009, 13:17
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Ort: Uppsala

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av stelu »

Ursäkta sent svar!

Jag kör speglade diskar för att minimera risken för allvarlig dataförlust i min huvudserver och för att förenkla om en disk går sönder. Vid händelse av en trasig disk kan jag enkelt byta den och synka om raiden.

2x4TB är vad jag har i servern och det är ju egentligen ruskigt enkelt att köra raid med ZFS. ZFS är inget måste utan bara enklare om man vill ha raid (enligt min mening).

I backupservern kör jag btrfs som fs och det går ju lika bra. Även där har jag speglade diskar.
viper
Inlägg: 394
Blev medlem: 22 nov 2009, 16:41
OS: Ubuntu
Utgåva: 20.04 Focal Fossa LTS
Ort: Torslanda

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av viper »

Inga problem alls :)


Server och moln fungerar alldeles utmärkt. Skall komplettera med back-up.

Men det som jag förgäves försöker få ordning på nu är hur jag lämpligen sätter upp molnservern för åtkomst även "utifrån".

Har botaniserat och provat Open VPN, FreeCert (eller vad de nu kallas), FreeDNS mm mm men kommer ingenstans då det inte finns manualer/instruktioner för användare som inte har gått de alla de olika kurser som behövs för att källkritiskt kunna komplettera och rätta till vad som skulle stått mellan raderna, eller på andra nödvändiga sätt kompensera för brister i informationen.

Jag har inte fått något att fungera när det gäller att få till en säker och funktionell lösning för att LAN-medlemmarna skall kunna ta del av vår/sin data även när man är på språng.

Next cloud helt OK att installera. Men sedan runtomkringet som skall till ... Det är nästan så att jag ger upp.

Hur har du löst det?

:'( :evil: ???
Oortodox generalist
1 x 20.04 Desktop, 2 x 18.04 Desktop, 2 x 18.04 Server
stelu
Inlägg: 51
Blev medlem: 20 mar 2009, 13:17
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Ort: Uppsala

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av stelu »

Egen domän eller dynDNS för att komma åt din server utifrån ifall du inte har fast IP-adress (vilket du förmodligen inte har).

När du fått ordning på ovanstående fixar du ssh-servern. Du måste öppna portar i ev brandvägg och förmodligen har du en router som gör att du måste mappa en port för ssh på routern mot din server, annars vet inte routern var den ska göra av inkommande trafik. Du måste också mappa en port för https som du bör använda för klienter att ansluta mot din server. Ssh-servern är till för att låta din backup-server ansluta till den ordinarie servern ifall backup-servern befinner sig på annan plats.

Du måste fixa en lösenordsfri anslutning från backup-servern till den ordinarie. Det gör du med certifikat.

Allt ovanstående kan du googla i tur och ordning. Digital ocean brukar ha bra guider.

Lycka till!

Skickat från min E5823 via Tapatalk
viper
Inlägg: 394
Blev medlem: 22 nov 2009, 16:41
OS: Ubuntu
Utgåva: 20.04 Focal Fossa LTS
Ort: Torslanda

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av viper »

Hej igen!

Har redan idag ssh till servern från "master"-klienten. Inga problem med det.

Lösningen blir en "back-upp-på-annan-plats", med:
  • schemalagd (cron) över ssh med rättighet att hämta backup i servern
  • rättigheterna för cronjobbet begränsas till körning av det aktuella backupskriptet
  • hårddiskarna i är normalt avmonterade och monteras innan backup och monteras av efter.
  • naturligtvis skicka email-logg till admin om nåt går fel
Därmed är backupstrukturen bekräftad och jag flyttar övriga delar av vår kommunikation i denna tråd till min egentliga tråd på ämnet "extern åtkomst".
Oortodox generalist
1 x 20.04 Desktop, 2 x 18.04 Desktop, 2 x 18.04 Server
viper
Inlägg: 394
Blev medlem: 22 nov 2009, 16:41
OS: Ubuntu
Utgåva: 20.04 Focal Fossa LTS
Ort: Torslanda

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av viper »

Tillägg till backupfrågorna:

Ponera nu att jag tar en backup på min "molnserver" (Nextcloud) med ett rsync-kommando tex:

Kod: Markera allt

sudo rsync -Aax nextcloud/ /mnt/raid6/backup/nextcloud/nextcloud-dirbkp_`date +"%Y%m%d"`/
Har prövat ett antal körningar och tror att det skapas en full kopia varje gång. Dvs det skapas en fil med tidstämpeln som en del av filnamnet.
Det tar nämligen väldigt lång tid trots att ändringarna varit få.
Går det inte göra detta som en inkrementell variant där man roterar kopiorna och tidstämplar med touch?

Eller är det så enkelt att det är jag som är förblindad av allt som måste förstås?

Mv? :)
Oortodox generalist
1 x 20.04 Desktop, 2 x 18.04 Desktop, 2 x 18.04 Server
stelu
Inlägg: 51
Blev medlem: 20 mar 2009, 13:17
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Ort: Uppsala

Re: Paranoid hemnätverkare söker förslag på lämplig backupst

Inlägg av stelu »

viper skrev:Tillägg till backupfrågorna:

Ponera nu att jag tar en backup på min "molnserver" (Nextcloud) med ett rsync-kommando tex:

Kod: Markera allt

sudo rsync -Aax nextcloud/ /mnt/raid6/backup/nextcloud/nextcloud-dirbkp_`date +"%Y%m%d"`/
Har prövat ett antal körningar och tror att det skapas en full kopia varje gång. Dvs det skapas en fil med tidstämpeln som en del av filnamnet.
Det tar nämligen väldigt lång tid trots att ändringarna varit få.
Går det inte göra detta som en inkrementell variant där man roterar kopiorna och tidstämplar med touch?

Eller är det så enkelt att det är jag som är förblindad av allt som måste förstås?

Mv? :)
Kika på rsnapshot så får du den funktionalitet jag tror du är ute efter.

Skickat från min E5823 via Tapatalk
Skriv svar

Återgå till "Nätverk, säkerhet och servrar"