<div dir="ltr"><div>I need read/write access to the new folder.</div><div>Mucking around with OverlayFS I can effectively have a "Template" folder and then a "Working" folder (plus a couple of others for reasons) and that works well. Except for the fact that full file copies still happen and some of these files are big.</div><div>So the situation is definitely better, but far from ideal.</div><div><br></div><div>I am going to see if I can grok XFS enough to do the similar thing, but do some block-level magics.</div><div></div>LVM snapshots might also do it, but not sure if they would allow for multiple, concurrent "Working" folders and AIUI that would mean mucking around with how the system is deployed, not something I have control over.<br><div><br>
<div>The other wrinkle is that this needs t be done ad hoc.</div><div>But first things first...<br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 7 Jun 2019 at 17:35, Martin via Nottingham <<a href="mailto:nottingham@mailman.lug.org.uk">nottingham@mailman.lug.org.uk</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I similarly use btrfs with rsync for making deduplicated backups.<br>
<br>
The btrfs read-only snapshot feature also is ideal for backing up an<br>
active live system and being able to do a read-back check of the backup<br>
against the snapshot... All seamlessly.<br>
<br>
Note that the deduplication with rsync is at the file level. The<br>
copy-on-write for btrfs itself is at filesystem block level (16kBytes at<br>
the moment I believe for x86 systems).<br>
<br>
(For the sake of my paranoia, on the versioned backups themselves I use<br>
the rsync reflink to make a new snapshot rather than take a btrfs<br>
snapshot and then use resync --delete to update and clean up...)<br>
<br>
There are also experimental block level deduplicators for btrfs, both<br>
real time or offline. Not had the need to try those...<br>
<br>
<br>
I've also used LVM snapshots in the past and they work very well.<br>
However, my view is that LVM has now been long superseded by the<br>
features and operation of btrfs.<br>
<br>
<br>
All good fun.<br>
<br>
Good luck!<br>
<br>
Cheers,<br>
Martin<br>
<br>
<br>
<br>
On 07/06/2019 17:13, VM via Nottingham wrote:<br>
> well, a simple lvm snapshot would work that way, but you'd have to create a new volume group etc. and make sure its size is sufficient for syoring all changed blocks.<br>
> <br>
> <br>
> On June 7, 2019 3:47:19 PM UTC, J J via Nottingham <<a href="mailto:nottingham@mailman.lug.org.uk" target="_blank">nottingham@mailman.lug.org.uk</a>> wrote:<br>
>> Thanks for the tips. Overlay is deffo an improvement as it will only<br>
>> take a<br>
>> copy of a file if there is a change but it's still a full copy of the<br>
>> entire file.<br>
>> I am wondering if there's a way that XFS, ZFS or whatever can do<br>
>> something<br>
>> even deeper and maintain partial/block differences or something.<br>
>><br>
>> On Fri, 7 Jun 2019 at 16:25, Andy Smith via Nottingham <<br>
>> <a href="mailto:nottingham@mailman.lug.org.uk" target="_blank">nottingham@mailman.lug.org.uk</a>> wrote:<br>
>><br>
>>> Hello,<br>
>>><br>
>>> On Fri, Jun 07, 2019 at 03:12:21PM +0100, J J via Nottingham wrote:<br>
>>>> With Ext4, is there some magic way I can create and ad hoc<br>
>> "differencing<br>
<br>
<br>
-- <br>
Nottingham mailing list<br>
<a href="mailto:Nottingham@mailman.lug.org.uk" target="_blank">Nottingham@mailman.lug.org.uk</a><br>
<a href="https://mailman.lug.org.uk/mailman/listinfo/nottingham" rel="noreferrer" target="_blank">https://mailman.lug.org.uk/mailman/listinfo/nottingham</a></blockquote></div>