Visa obesvarade inlägg | Visa aktiva trådar Aktuellt datum och tid: 15 okt 2018, 18:50



Svara på tråd  [ 9 inlägg ] 
 Paranoid hemnätverkare söker förslag på lämplig backupstrukt 
Författare Meddelande

Blev medlem: 22 nov 2009, 16:41
Inlägg: 377
Ort: Torslanda
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Paranoid hemnätverkare söker förslag på lämplig backupstrukt
Hej,


Det var ett tag sedan jag rotade i dessa frågor senast så jag är lite ringrostig. Jag är sedan tidigare bekant med rsync-skript för roterande backup via ssh och annat så den delen är inte heller nödvändig att beskriva i detalj. Det jag är ute efter är struktur för en säker lösning för lagring backup etc för vårt hemnätverk.

Nätverket består av:
  • 1 stationär en-användardator med Ubuntu/W10 dual boot. Fn ingen backup i klienten
  • 1 stationär fler-användardator med Ubuntu/W10 dual boot som inkluderar separata användare för administration av familjens foto/film/musik.
  • 1 "hemmaserver" med Ubuntu Server som innehåller: delade mediafiler och familjemedlemmarnas egna mappar i SMB, + utrymme avsett för backup av klienterna i nätverket

Jag kommer även utöka nätverket med ett "datavalv" i friggeboden för "backup på annan plats", då det börjar bli väldigt mycket data som riskerar att "försvinna" i händelse av missöde.

Mina egna funderingar "so far" är:
  • klient: backup lokalt i de stationära datorerna, på partition som endast monteras "write" när backup görs
  • hemmaserver: nätverksåtkomst till mediafiler och backup av de stationära datorerna på partitioner som endast monteras "write" när backup görs
  • datavalv: säker backup av framför allt mediafiler

Förutom synpunkter på ovan skulle jag även behöva hjälp med att reda ut nedan:
  • Hur bör flödet av backupdatan konfigureras över klient/mediaserver/backupserver? vilken enhet bör ansvara för "push" resp "pull" med cronjobb.
  • Skall jag på hemma servern köra vidare på Ubuntu Server eller överväga migrera till en FreeNAS?
  • Det tillkommande "Datavalvet" byggs från en utrangerad dator, Ubuntu Server eller typ FreeNAS på denna?
  • Antar också att någon typ av RAID-x kan komma in i bilden, men vilken typ? Skaffa diskar är ingen issue eftersom det är dags att börja byta ut dem ändå.


Tack på förhand!

_________________
Oortodox generalist
2 x 16.04 Desktop, 1 x 17.10 Desktop, 2 x 16.04 Server


09 nov 2017, 12:05
Profil

Blev medlem: 20 mar 2009, 13:17
Inlägg: 51
Ort: Uppsala
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst  Tråden är löst
viper skrev:
Hej,


Det var ett tag sedan jag rotade i dessa frågor senast så jag är lite ringrostig. Jag är sedan tidigare bekant med rsync-skript för roterande backup via ssh och annat så den delen är inte heller nödvändig att beskriva i detalj. Det jag är ute efter är struktur för en säker lösning för lagring backup etc för vårt hemnätverk.

Nätverket består av:
  • 1 stationär en-användardator med Ubuntu/W10 dual boot. Fn ingen backup i klienten
  • 1 stationär fler-användardator med Ubuntu/W10 dual boot som inkluderar separata användare för administration av familjens foto/film/musik.
  • 1 "hemmaserver" med Ubuntu Server som innehåller: delade mediafiler och familjemedlemmarnas egna mappar i SMB, + utrymme avsett för backup av klienterna i nätverket

Jag kommer även utöka nätverket med ett "datavalv" i friggeboden för "backup på annan plats", då det börjar bli väldigt mycket data som riskerar att "försvinna" i händelse av missöde.

Mina egna funderingar "so far" är:
  • klient: backup lokalt i de stationära datorerna, på partition som endast monteras "write" när backup görs
  • hemmaserver: nätverksåtkomst till mediafiler och backup av de stationära datorerna på partitioner som endast monteras "write" när backup görs
  • datavalv: säker backup av framför allt mediafiler

Förutom synpunkter på ovan skulle jag även behöva hjälp med att reda ut nedan:
  • Hur bör flödet av backupdatan konfigureras över klient/mediaserver/backupserver? vilken enhet bör ansvara för "push" resp "pull" med cronjobb.
  • Skall jag på hemma servern köra vidare på Ubuntu Server eller överväga migrera till en FreeNAS?
  • Det tillkommande "Datavalvet" byggs från en utrangerad dator, Ubuntu Server eller typ FreeNAS på denna?
  • Antar också att någon typ av RAID-x kan komma in i bilden, men vilken typ? Skaffa diskar är ingen issue eftersom det är dags att börja byta ut dem ändå.


Tack på förhand!
Jag kör Owncloud men ska migrera till Nextcloud på min server. Servern har Zfs som filsystem med speglade diskar. Jag skapar i nuläget snapshots manuellt men det ska automatiseras. Vidare kör jag Owncloud / Nextcloud på telefoner och datorer som synkar mot servern. Det är ett smidigt sätt att få bilder tagna i mobilen automatiskt uppsynkade. På min backup-server som står fysiskt på annan plats kör jag Zfs med speglade diskar samt rsnapshot som kopplar upp sig mot den andra servern, tar en backup och sedan kopplar ner. Detta sker en gång per dag. Lösningen ger enligt mig ett mycket bra skydd mot dataförlust och Zfs med spegling skyddar bra mot "bit rot", dvs att en bit byter tillstånd på ena disken.

Skickat från min E5823 via Tapatalk


09 nov 2017, 17:41
Profil

Blev medlem: 22 nov 2009, 16:41
Inlägg: 377
Ort: Torslanda
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Hej stelu

Jag har nu kollat in Nextcloud ett par gånger och tycker det verkar vara i linje med hur jag tänker när det gäller integritet och säkerhet. Känner att jag nog kommer pröva på det. :)

För mig är tänket helt nytt och jag kommer behöva reda ut ett eller annat på vägen.

Tolkar det som att du kör speglade diskar på servern för att motverka effekt av diskkrasch samt att snapshots görs manuellt till backup på annan plats.

Hur har du tänkt när det gäller diskstorlekar? Är det typ 2 x 4TB speglat som snurrar i servern (förutom diskar för system och andra eventuella tillämpningar)? Eller finns det något man måste tänka på med detta?

Samma då för "annan plats" givetvis.

Att använda zfs som FS, är väl inget måste, bara en stark rekommendation från din sida antar jag. :)

Tack för all hjälp med att reda begreppen så här i steget in i molnåldern. :)


EDIT: efter ytterligare studier i ämnet har jag förstått att det där med RAID får utelämnas då det inte är helt friktionsfritt vid dual boot (U16 + W10). Jag får lösa det med roterande snapshots i stället (om det inte trots allt finns en hanterbar lösning).

EDIT 2: insåg efter postning av "edit" ovan att det är på klientnivå som RAID-komplikationer kan uppstå vid dual boot. Servern har ju endast 1 OS. :-[

_________________
Oortodox generalist
2 x 16.04 Desktop, 1 x 17.10 Desktop, 2 x 16.04 Server


18 jan 2018, 10:19
Profil

Blev medlem: 20 mar 2009, 13:17
Inlägg: 51
Ort: Uppsala
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Ursäkta sent svar!

Jag kör speglade diskar för att minimera risken för allvarlig dataförlust i min huvudserver och för att förenkla om en disk går sönder. Vid händelse av en trasig disk kan jag enkelt byta den och synka om raiden.

2x4TB är vad jag har i servern och det är ju egentligen ruskigt enkelt att köra raid med ZFS. ZFS är inget måste utan bara enklare om man vill ha raid (enligt min mening).

I backupservern kör jag btrfs som fs och det går ju lika bra. Även där har jag speglade diskar.


05 feb 2018, 18:43
Profil

Blev medlem: 22 nov 2009, 16:41
Inlägg: 377
Ort: Torslanda
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Inga problem alls :)


Server och moln fungerar alldeles utmärkt. Skall komplettera med back-up.

Men det som jag förgäves försöker få ordning på nu är hur jag lämpligen sätter upp molnservern för åtkomst även "utifrån".

Har botaniserat och provat Open VPN, FreeCert (eller vad de nu kallas), FreeDNS mm mm men kommer ingenstans då det inte finns manualer/instruktioner för användare som inte har gått de alla de olika kurser som behövs för att källkritiskt kunna komplettera och rätta till vad som skulle stått mellan raderna, eller på andra nödvändiga sätt kompensera för brister i informationen.

Jag har inte fått något att fungera när det gäller att få till en säker och funktionell lösning för att LAN-medlemmarna skall kunna ta del av vår/sin data även när man är på språng.

Next cloud helt OK att installera. Men sedan runtomkringet som skall till ... Det är nästan så att jag ger upp.

Hur har du löst det?

:'( :evil: ???

_________________
Oortodox generalist
2 x 16.04 Desktop, 1 x 17.10 Desktop, 2 x 16.04 Server


05 feb 2018, 19:20
Profil

Blev medlem: 20 mar 2009, 13:17
Inlägg: 51
Ort: Uppsala
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Egen domän eller dynDNS för att komma åt din server utifrån ifall du inte har fast IP-adress (vilket du förmodligen inte har).

När du fått ordning på ovanstående fixar du ssh-servern. Du måste öppna portar i ev brandvägg och förmodligen har du en router som gör att du måste mappa en port för ssh på routern mot din server, annars vet inte routern var den ska göra av inkommande trafik. Du måste också mappa en port för https som du bör använda för klienter att ansluta mot din server. Ssh-servern är till för att låta din backup-server ansluta till den ordinarie servern ifall backup-servern befinner sig på annan plats.

Du måste fixa en lösenordsfri anslutning från backup-servern till den ordinarie. Det gör du med certifikat.

Allt ovanstående kan du googla i tur och ordning. Digital ocean brukar ha bra guider.

Lycka till!

Skickat från min E5823 via Tapatalk


05 feb 2018, 20:14
Profil

Blev medlem: 22 nov 2009, 16:41
Inlägg: 377
Ort: Torslanda
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Hej igen!

Har redan idag ssh till servern från "master"-klienten. Inga problem med det.

Lösningen blir en "back-upp-på-annan-plats", med:
  • schemalagd (cron) över ssh med rättighet att hämta backup i servern
  • rättigheterna för cronjobbet begränsas till körning av det aktuella backupskriptet
  • hårddiskarna i är normalt avmonterade och monteras innan backup och monteras av efter.
  • naturligtvis skicka email-logg till admin om nåt går fel

Därmed är backupstrukturen bekräftad och jag flyttar övriga delar av vår kommunikation i denna tråd till min egentliga tråd på ämnet "extern åtkomst".

_________________
Oortodox generalist
2 x 16.04 Desktop, 1 x 17.10 Desktop, 2 x 16.04 Server


05 feb 2018, 22:20
Profil

Blev medlem: 22 nov 2009, 16:41
Inlägg: 377
Ort: Torslanda
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
Tillägg till backupfrågorna:

Ponera nu att jag tar en backup på min "molnserver" (Nextcloud) med ett rsync-kommando tex:

Kod:
sudo rsync -Aax nextcloud/ /mnt/raid6/backup/nextcloud/nextcloud-dirbkp_`date +"%Y%m%d"`/


Har prövat ett antal körningar och tror att det skapas en full kopia varje gång. Dvs det skapas en fil med tidstämpeln som en del av filnamnet.
Det tar nämligen väldigt lång tid trots att ändringarna varit få.
Går det inte göra detta som en inkrementell variant där man roterar kopiorna och tidstämplar med touch?

Eller är det så enkelt att det är jag som är förblindad av allt som måste förstås?

Mv? :)

_________________
Oortodox generalist
2 x 16.04 Desktop, 1 x 17.10 Desktop, 2 x 16.04 Server


12 feb 2018, 20:41
Profil

Blev medlem: 20 mar 2009, 13:17
Inlägg: 51
Ort: Uppsala
OS: Ubuntu
Utgåva: 16.04 Xenial Xerus LTS
Svara med citat
Inlägg Re: Paranoid hemnätverkare söker förslag på lämplig backupst
viper skrev:
Tillägg till backupfrågorna:

Ponera nu att jag tar en backup på min "molnserver" (Nextcloud) med ett rsync-kommando tex:

Kod:
sudo rsync -Aax nextcloud/ /mnt/raid6/backup/nextcloud/nextcloud-dirbkp_`date +"%Y%m%d"`/


Har prövat ett antal körningar och tror att det skapas en full kopia varje gång. Dvs det skapas en fil med tidstämpeln som en del av filnamnet.
Det tar nämligen väldigt lång tid trots att ändringarna varit få.
Går det inte göra detta som en inkrementell variant där man roterar kopiorna och tidstämplar med touch?

Eller är det så enkelt att det är jag som är förblindad av allt som måste förstås?

Mv? :)
Kika på rsnapshot så får du den funktionalitet jag tror du är ute efter.

Skickat från min E5823 via Tapatalk


12 feb 2018, 20:48
Profil
Visa inlägg nyare än:  Sortera efter  
Svara på tråd   [ 9 inlägg ] 

Vilka är online

Användare som besöker denna kategori: Inga registrerade användare och 6 gäster


Du kan inte skapa nya trådar i denna kategori
Du kan inte svara på trådar i denna kategori
Du kan inte redigera dina inlägg i denna kategori
Du kan inte ta bort dina inlägg i denna kategori
Du kan inte bifoga filer i denna kategori

Sök efter:
Hoppa till:  
Main Engineer for phpBB3: Bertie at phpBB.com © 2000 - 2002, 2005 - 2007, the Group behind the Open Source code of phpBB.
Designed by STSoftware, modified by Katt, Konservburk & Peetra. Swedish translation by Peetra & phpBB Sweden © 2006-2011