Unionfs: core cache-coherency code

This represents the core of the cache-coherency code, the code which
maintains time-based invariants; the lower objects should never be newer
than the upper Unionfs objects.  If they are newer, then it means that a
user has modified the lower Unionfs branches directly.  If so, then we have
to revalidate our objects by rebuilding them, and possibly discard any stale
data or meta-data.  See Documentation/filesystems/unionfs/concepts.txt under
the "Cache Coherency" section for more details of this design and
implementation.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: introduce two functions to maintain time invariants

A new function unionfs_copy_attr_times to maintain the inode time invariants
as per the Unionfs design (i.e., lower times should never be newer than our
times), as documented in Documentation/filesystems/unionfs/concepts.txt.
The second function, unionfs_copy_attr_all, is the unionfs-specific function
to copy all attributes: it uses the special Unionfs handling of hard-links
(via unionfs_get_nlinks) and it uses the special a/c/mtime handling (via
unionfs_copy_attr_times).  This second function is the special
fanout-version of fsstack_copy_attr_all, which was simplified for
linear-stack stackable file systems.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: prototype and location change for unionfs_get_nlinks

Change prototype of unionfs_get_nlinks to take a const inode.  Also move
extern for unionfs_get_nlinks so it can be refereed to in other Unionfs
header files.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

ecryptfs: update to new API of fsstack_copy_attr_all

Remove obsolete third argument to fsstack_copy_attr_all which was always
NULL for ecryptfs.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

fs_stack: simplify generic attribute-copying function

Remove special get_nlinks callback from fsstack_copy_attr_all, because the
callback was only used by Unionfs (and always used by Unionfs).  Unionfs now
needs a more complex version of fsstack_copy_attr_all, with two callbacks:
therefore it's easier to simplify this method for simple linear-stacking
stackable file system, and introduce a more complex fan-out version of it
for Unionfs.

This is an API change which requires that every stackable file system in the
kernel be updated to reflect that (currently only eCryptfs).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: m/c/atime invariant checking debugging code

Add checks to verify that lower inode times are not newer than our own inode
times.  Introduce two useful utility debugging functions to print inode
times.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix in debugging infrastructure

Off-by-one bug fixed in range checking for lower directories.
Ensure that we PRINT_CALLER before an additional debug message.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Cache coherency: resync unionfs data/meta-data when lower files change

Whenever we revalidate a file or dentry, we check to see if any of the lower
inodes have changed (new mtime/ctime).  If so, we revalidate the upper
unionfs objects.  This method "works" in that as long as a user process will
have caused unionfs to be called, directly or indirectly, even to just do
->d_revalidate, then we will have purged the current unionfs data and the
process will see the new data.  For example, a process that continually
re-reads the same file's data will see the NEW data as soon as the lower
file had changed, upon the next read(2) syscall.  This also works for
meta-data changes which change the ctime (chmod, chown, chgrp, etc).

However, this doesn't work when the process re-reads the file's data via
mmap and the data was already read before via mmap: once we respond to
->readpage(s), then the kernel maps the page into the process's address
space and there doesn't appear to be a way to force the kernel to invalidate
those pages/mappings, and force the process to re-issue ->readpage.  Note:
only pages that have already been readpage'ed are not updated; any other
pages which unionfs's ->readpage would be called on, WILL get the updated
data.  If there's a way to invalidate active mappings and force a
->readpage, let us know please (invalidate_inode_pages2 doesn't do the
trick).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: expand comment to explain precise semantics of new_dentry_private_data

Revert "cleanup: rewrite new_dentry_private data more simply"

This reverts commit db78098f66e2465195e33001788f0981ef788f3a.

cleanup: convert all instances of "hidden" to "lower".

The unionfs code contained many references to symbols whose name had the
string "hidden" in it, referring to, for example, a "hidden inode" below the
unionfs inode.  The term "hidden" was there for historical reasons and was a
misnomer, implying that the objects at unionfs's lower branches were somehow
hidden or unavailable.  This was not just incorrect, but confusing.  The
lower objects are just that: lower.  They are not hidden from users.  In
fact, users can 'cd' to lower branches and manipulate files directly there.
This long patch renames all such mis-named symbols, and re-indents the code
as needed to comply with coding standards.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Fix section marker in header file:

WARNING: fs/unionfs/unionfs.o(.init.text+0x56): Section mismatch: reference to .exit.text:stop_sioq (between 'init_module' and 'init_sioq')

Signed-off-by: Randy Dunlap <randy.dunlap@oracle.com>
Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: rewrite new_dentry_private data more simply

Also remove unnecessary variables and statements.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

bugfix: properly reset lower inode start/end range

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: remove extra superblock rwsem unlock call

This also makes the code more symmetric: the same code which locks also
unlocks the rwsem.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

lower-case text after "unionfs:" in printk's

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

place '}' of previous code block together with "else {"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

put '}' of code block on same line as "else {"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

place two spaces after a sentence-ending period in long comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

properly format multi-line comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure that all comment markers have spaces inside

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

reformat all lines longer than 80 characters

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

debugging: indent code properly and cleanups

Also make PRINT_CALLER look like a function.
Fix one small bug in __show_branch_counts.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

properly indent all code

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: reformat all lines longer than 80 characters

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

spell check all strings and comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure every file has up-to-date copyright

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure proper comment on every "#endif"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: change "char* foo" declarations to "char *foo" consistently.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure that all #endif/#else have an appropriate comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

extern all functions in odf.h

bugfix: ensure dentry/inode/mnt validity after a successful ioctl

We call unionfs_partial_lookup in our queryfile ioctl method, so we can find
all instances of a lower object to report back to a suer.  This can violate
the fanout invariants (e.g., a regular file should have only one lower
object active at a time).  So we have to re-establish the invariants on the
lower dentries, inodes, and mnts.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: release superblock lock at end of ioctl method

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fixes: revalidate dentries passed to all inode/super operations

Be sure to properly revalidate all dentry chains passed to all inode and
super_block operations.  Remove the older BUG_ON test is_valid_dentry().
This should help improve cache-coherency.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/inode.c
fs/unionfs/union.h
fs/unionfs/unlink.c

code consistency: ensure that every #endif has a matching comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: removed trailing whitespace

added missing copyrights

export: bugfix, oopsing in d_revalidate when client gets ESTALE

with nfs exporting, when the cache is dropped on the server decode_fh will
most likely return ESTALE to the client. On such cases the server can get
a disconnected dentry in unionfs_open and a connected dentry in d_revalidate
but with ibstart to -1. This fix just detects those cases and returns an err
in order to stop the oopsing. However the file becomes unusable in the client,
any attempt to read it will return ESTALE. The best way to fix this will
be to implement decode_fh and make sure invariants are kept when an inode
becomes stale

bugfix: nullify kfreed pointer so it doesn't get double freed

only free odf in unionfs_read_super after odf_put_super succeeds

call inherint_mnt on parent after calls to create_parent, since

the newly created dentry might have a lower mnt on the leftmost
branch so inherint_mnt on that dentry will not inherit the mnt to
its parents

Revert "Unionfs: Cleanup locking in new_dentry_private_data"

This reverts commit a48f757714d7e70878461c5393de787e1497a612.

Conflicts:

fs/unionfs/lookup.c

removed super_block * from odf_get_opaque args

Documentation: replace "odfforce" with "odf_keepcache"

lookup only up to opaque branch if looking up an opaque dir

bugfix: dont move to /odf/sr if same inode number is already there

odf_remove bug, check if unionfs dentry is not negative before trying to

read its i_count

changed the format string of inode nums to filenames to %lx

split odf.h into two .h files, odf.h and odf_internals.h

renamed dentry stack functions

added comment for odf_dentry_info struct

added a few FIXME comments

lock odf inode when calling the odf fs's get_parent

use snprintf when printing help in configfs

use 2 bytes for namelen in odf cache dir dirents

changed odf options length to PAGE_SIZE

filenames in odf/sr and odf/reclaim to be in hex, not decimal

removed duplicate odf_get_opaque and odf_set_opaque functions

removed opaque_branch_id field from unionfs_sb_info

cleanup thread to clean until both blocks and inodes are below threshhold

added new cleanup flags

cleaned up partial_lookup

Documentation: updated odf.txt to say that when a dentry is released from /odf/sr it is

unlinked

modified odf_release_sr to unlink instead of renaming to /odf/reclaim

dget odf root dentry on odf_read_super

use '\0' to null terminate a string

coding-style: aligned struct decl to span over multiple lines

removed unneeded functions for allocating/freeing odf_dentry_info's

cleanup: removed unecessary check at a return value

added KERN_WARNING to cleanup thread's print messages

coding-style: removed unecesary cast

coding_style: reformatted lines over 80 chars

fixed odf_parse_options to use strdup and strsep

look for odf_keepcache instead of odfforce option
fail if dirs specified with old odf

invariants: don't complain if no lower dentry of a deleted dentry

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

more (forgotten) cleanups to partial_lookup.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

invariants: don't complain about directories with some NULL lower objects

Directories can have NULL lower objects in between start/end, but NOT if at
the start/end range.  We cannot verify that this dentry is a type=DIR,
because it may already be a negative dentry.  But if dbstart is greater than
dbend, we know that this couldn't have been a regular file: it had to have
been a directory.  In that case, don't complain about NULL lower objects in
in between start/end.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: update of last modification date to odf.txt document

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: rewrite unionfs_partial_lookup more cleanly

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: prevent null mntget warning messages in unionfs_lookup_backend

Don't try to mntget a lower mnt at a point where the lower mnts don't yet
exist (the callers will have them later on).  Instead, get the lower mnt of
the sb->s_root.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: expand comments to unionfs_lookup_backend

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

cleanup: remove unnecessary call to inherit_mnt

Our unionfs_lookup doesn't need to call inherit_mnt: the lower mnts will be
correct here (but not if other methods such as unionfs_rename call our
lookup_backend helper function directly).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: don't warn if trying to mntput a "negative" union object

In unionfs_d_release, we may get negative dentries which don't have a lower
mnt.  In that case, don't print a warning message from unionfs_mntput about
trying to put a NULL mnt.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: get lower mnt from root dentry instead of lower dentry

While copying-up a file, the union object hasn't been fully formed yet, so
we don't have all the lower dentries/mnts to use (the caller will have them
later on).  Therefore, we should use the sb->s_root's lower mnt here.  This
fixes a "NULL mnt" warning message that came from unionfs_mntget.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

coding-style: removed space before ')'

comment on why we cannot create entries in the odf (assign inode nums)

when creating the odf cached dir

one more comment on the odf_lookup code

comments for odf_lookup functions

removed ODF_LOOKUP_LINK flag and moved ODF_RMV_WH to the top of the flags

changed odf lookup flags values to hex and removed ODF_LOOKUP_LOCKED

changed unionfs_dentry_info to contain an odf_dentry_info instead of a pointer to one

modified odf_lookup functions to return a dentry instead of an

odf_dentry_info

Unionfs: allow users to override Makefile options in fs/unionfs/local.mk

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

remove trailing ':' when building dirs= options from odf sb file

removed warning when branch_id_to_idx fails to match requested id, and added a

comment for why this can be legal in the odf

bug fix: catch bad use of dirs= options (extra ':' separators)

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

unionfs: merge find_new_branch_index and branch_id_to_idx into one function

Useful code cleanup and consolidation between the ODF code and non-ODF code.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/commonfops.c
fs/unionfs/fanout.h

dont put ic dentry in odf_get_ic_dentry

modified odf_ic_cache_dentry not to use odf_lookup and to return a dentry instead of

an odf_dentry_info

unionfs: minor cleanup and better commenting in new_dentry_private_data

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

Unionfs: Cleanup locking in new_dentry_private_data

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

bugfix: prevent null-deref oops if lower f/s is NFS (mmap writes)

This is a workaround fora deficiency of the linux MM layer, which doesn't
allow clean coordination between upper and lower pages in stackable layers.
We prevent an oops, but the cost is that we're not able to implement
writepages cleanly, not can we call the lower file system's writepages.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>