Unionfs: rewrite cleanup_file more cleanly

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: improved printk upon copyup

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: xattr copyup fixes

Rewrote xattr copyup code more cleanly; documented it better; eliminate one
possible leak in error path; and ignore another impossible copyup-time error
which caused fanout invariant violations under memory-pressure conditions.

Don't use vmalloc when allocating xattr buffers, as the VFS no longer does
so (just use kmalloc).  Eliminate unionfs_xattr_free which is now just plain
kfree.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: fixes to cache-coherency checking code

Under memory pressure, in_newer_lower could be called on uninitialized
dentries or inodes.  So return 0 safely in that case (rather than oops).
This is OK because is_newer_lower will be called again on the same object(s)
and cache-coherency will be validated and maintained then.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: mmap fixes to unionfs_writepage

This patch fixes hangs when calling sync(2) on memory-pressured systems.

Call find_lock_page instead of grab_cache_page.  We used to call
grab_cache_page(), but that was unnecessary as it would have tried to create
a new lower page if it didn't exist, leading to deadlocks (esp. under
memory-pressure conditions, when it is really a bad idea to *consume* more
memory).  Instead, we assume the lower page exists, and if we can find it,
then we ->writepage on it; if we can't find it, then it couldn't have
disappeared unless the kernel already flushed it, in which case we're still
OK.  This is especially correct if wbc->sync_mode is WB_SYNC_NONE (as per
Documentation/filesystems/vfs.txt).  If we can't flush our page because we
can't find a lower page, then at least we re-mark our page as dirty, and
return AOP_WRITEPAGE_ACTIVATE as the VFS expects us to.  (Note, if in the
future it'd turn out that we have to find a lower page no matter what, then
we'd have to resort to RAIF's page pointer flipping trick.)

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix when mounting readonly exported NFS volumes (was: nfsro)

When stacking on top of readonly exported NFS volumes, which are mounted
locally read-write, attempting to create a new file yields the proper EROFS.
But attempting to modify an existing file returns an EACCES, which
interferes with unionfs's copyup policy: only EROFS triggers a copyup,
whereas EACCES does not (and shouldn't -- that'd be a security hole).  The
old unionfs 1.x attempted to workaround this EACCES condition by supporting
a special unionfs mount option called 'nfsro'; support for this option was
left in the latest unionfs 2.0, but the mount option was not made available
until we could properly investigate this issue with the latest NFS code.

This patch removes all remnants of this 'nfsro' support.  It is no longer
needed.  Instead, users can use the existing per-branch 'ro' unionfs mount
option, which would properly return the appropriate status conditions back
from unionfs_permission.  These return conditions result in a copyup if and
only if needed, even for readonly exported NFS volumes.  In effect, unionfs
per-branch 'ro' option now simulates a true readonly localhost mount.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

[PATCH] unionfs: make functions static

This patch makes some needlessly global functions static.

Signed-off-by: Adrian Bunk <bunk@stusta.de>
Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>

Unionfs: pass nameidata intent information to lower level file systems

As of 2.6.23-rc1, nfs2 and nfs3, like nfs4 before them, begin relying on the
struct nameidata and especially the intent information, which is passed to
vfs_create() and others.  So, as of now, unionfs properly creates and passes
that intent data to the lower level file system.  Currently supported are
LOOKUP_CREATE open intents.  Others can be supported in the future
incrementally.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: kmem_cache_create doesn't take a dtor argument any longer

Porting unionfs to 2.6.23-rc1

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: ensure cache coherency in unionfs_fsync/fasync

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: implement native unionfs_fsync/unionfs_fasync methods

Unionfs is not a block-based file system, but it has to work with both
block-based file systems and non-block-based ones (i.e., when
CONFIG_BLOCK=n).  We used to define our ->fsync method to file_fsync, but
that's wrong because file_fsync partially depends on CONFIG_BLOCK=y.  And we
didn't define an fasync method: now we have both.  Moreover, at best,
file_fsync would have caused unionfs to sync up one lower branch---but as a
fanout file system, we need to sync up all valid lower branches.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/file.c

Unionfs: small documentation fix to usage.txt

Reported by Daniel Farrugia.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: mmap fixes to ->writepage/readpage/sync_page

unionfs_writepage: handle true errors differently from
AOP_WRITEPAGE_ACTIVATE conditions returned by lower file systems (such as
tmpfs).

unionfs_readpage: call flush_dcache_page as required.

unionfs_sync_page: don't call grab_cache_page to get the lower page, because
that function does too much and could lead to deadlocks.  Instead, call the
lighter-weight find_lock_page.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: branch-management bugfix to unionfs_file_revalidate

If we re-opened the file on a different branch than the original one, and
only if this was due to a new branch inserted, then update the mnt counts of
the old and new branches accordingly.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: cleanup: break line longer than 80 chars

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: fix minor typo in revalidate_chain comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix: don't call branchget() until dentry_open succeeded

If dentry_open fails, we incorrectly have incremented our branch counts
which would prevent unionfs from being unmounted (EBUSY).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: branch-management bug-fix to lower mnt counts

When we revalidate opened files, the files may point to a different set of
files on the lower branches: this could happen especially if we insert a new
leftmost branch which happens to have duplicate file names of already-open
files in lower-priority branches.  In this case, update the mnt counts of
the old and new branches which hold the file accordingly.  Without this fix,
the mntcnt of one branch is going to be one too high; and another will be
one too low.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: use igrab instead of atomic_inc inode refcnt

In branch management code, use igrab() which is better than directly
incrementing the lower inode reference count.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: cache-coherency: update times of root inode after branch management

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: debugging: don't oops if sb->s_root is NULL

If we're calling show_branch_counts very early during mount or late during
unmount, don't oops if the s_root is already NULL.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: debugging: show inode reference counts for all branches

Another useful utility function for debugging, to show the inode refcnt's
of all lower inodes.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: fix small typo in comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix -- set copied up open file mode to read and write

When we copyup a file, we used to set the new file's open mode to write
only.  But we need read permission too.  We need write permission because
we're creating a new file; and we need read permission because the original
file had to have been readable.  If we don't set the new files permission to
BOTH read and write, we get -EBADF when trying calling vfs_read/vfs_write on
a copied up file.  (This fix is somewhat related to unionfs_readpage fixes
that use vfs_read instead of calling the lower readpage.)

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: rewrite do_unionfs_readpage to use vfs_read (bugfix)

In do_unionfs_readpage, we used to call the lower file system's ->readpage.
However, some file systems (e.g., tmpfs) don't implement ->readpage, causing
a NULL pointer dereference under certain conditions, especially under severe
memory pressure.  This patch reimplements do_unionfs_readpage using
vfs_read, which makes the code simpler and more reliable, as we depend on
the VFS to do most of the hard work (even if this implementation might be a
bit slower).

This fix also makes sense because it makes the mmap code in unionfs more
symmetric with unionfs_commit_write --- which uses vfs_write().

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: fix minor typo in a comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: use the splice_read file method instead of sendfile

In 2.6.23 (prior to rc1), sendfile was obsoleted in favor of splice_read.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

unionfs: better handling when copying up permissions

When we copyup a file, directory, or symlink, we may be copying up from one
file system type to another.  The destination file system may not support
all of the features of the source file system, and the differences in
support may be minor.  For example jffs2 doesn't allow one to chmod a
symlink (and it returns a -EOPNOTSUPP).  So we ignore such harmless errors,
rather than propagating them up, which results in copyup errors and errors
returned back to users.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix when renaming symlinks on readonly branches

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: prevent deadlock with branch-management code.

Don't grab the superblock read-lock in unionfs_permission, which prevents a
deadlock with the branch-management "add branch" code (which grabbed the
write lock).  It is safe to not grab the read lock here, because even with
branch management taking place, there is no chance that unionfs_permission,
or anything it calls, will use stale branch information.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: rename file->f_dentry references to file->f_path.dentry

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: improved comment above unionfs_follow_link

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: Change the semantics of sb info's rwsem

This rw semaphore is used to make sure that a branch management
operation...

1) will not begin before all currently in-flight operations complete

2) any new operations do not execute until the currently running branch
management operation completes

Reworked the patch a bit, added comments, and fixed some bugs, from the
version originally committed into the master branch.

TODO: rename the functions unionfs_{read,write}_{,un}lock() to something
more descriptive.

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: Remove superfluous check for NULL pointer

Since we use containers and the struct inode is _inside_ the
unionfs_inode_info structure, UNIONFS_I will always (given a non-NULL inode
pointer), return a valid non-NULL pointer.

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Conflicts:

fs/unionfs/super.c

Unionfs: Change free_dentry_private_info to take a struct dentry

This makes it more symmetric with new_dentry_private_info.

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>

Unionfs: Cleanup new_dentry_private_data

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

Unionfs: document cache-coherency design and implementation

Document our cache-coherency design, implementation; also mention alternate
designs and a couple of limitations which might be overcome by special
kernel support at the VFS/MM levels.  Now that cache-coherency is working,
remove the now-obsolete older discussion of temporary workarounds.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: cache-coherency calls to maintain the time invariants

This patch represents several types of related changes.  First, we invoke
functions to synchronize the upper and lower times as and when needed.  Many
of these were bug fixes which were discovered during the development of the
cache-coherency code.  That is, Unionfs itself wasn't maintaining
appropriate
times in some places, which if not fixed would have been detected by the
invariant-checking code as a false positive (incorrectly considered as if a
user modified the lower objects directly).

Second, we do not call invariant-validation functions (unionfs_check_file,
unionfs_check_dentry, etc.) until *after* we've revalidated them.  Otherwise
we produced false positives.

Third, we pass a flag "willwrite" to __unionfs_d_revalidate_chain to tell it
to purge data pages if the inode lower times appear to be newer.

See Documentation/filesystems/unionfs/concepts.txt under the "Cache
Coherency" section for more details of this design and implementation.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: core cache-coherency code

This represents the core of the cache-coherency code, the code which
maintains time-based invariants; the lower objects should never be newer
than the upper Unionfs objects.  If they are newer, then it means that a
user has modified the lower Unionfs branches directly.  If so, then we have
to revalidate our objects by rebuilding them, and possibly discard any stale
data or meta-data.  See Documentation/filesystems/unionfs/concepts.txt under
the "Cache Coherency" section for more details of this design and
implementation.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: introduce two functions to maintain time invariants

A new function unionfs_copy_attr_times to maintain the inode time invariants
as per the Unionfs design (i.e., lower times should never be newer than our
times), as documented in Documentation/filesystems/unionfs/concepts.txt.
The second function, unionfs_copy_attr_all, is the unionfs-specific function
to copy all attributes: it uses the special Unionfs handling of hard-links
(via unionfs_get_nlinks) and it uses the special a/c/mtime handling (via
unionfs_copy_attr_times).  This second function is the special
fanout-version of fsstack_copy_attr_all, which was simplified for
linear-stack stackable file systems.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: prototype and location change for unionfs_get_nlinks

Change prototype of unionfs_get_nlinks to take a const inode.  Also move
extern for unionfs_get_nlinks so it can be refereed to in other Unionfs
header files.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

ecryptfs: update to new API of fsstack_copy_attr_all

Remove obsolete third argument to fsstack_copy_attr_all which was always
NULL for ecryptfs.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

fs_stack: simplify generic attribute-copying function

Remove special get_nlinks callback from fsstack_copy_attr_all, because the
callback was only used by Unionfs (and always used by Unionfs).  Unionfs now
needs a more complex version of fsstack_copy_attr_all, with two callbacks:
therefore it's easier to simplify this method for simple linear-stacking
stackable file system, and introduce a more complex fan-out version of it
for Unionfs.

This is an API change which requires that every stackable file system in the
kernel be updated to reflect that (currently only eCryptfs).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: m/c/atime invariant checking debugging code

Add checks to verify that lower inode times are not newer than our own inode
times.  Introduce two useful utility debugging functions to print inode
times.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: bugfix in debugging infrastructure

Off-by-one bug fixed in range checking for lower directories.
Ensure that we PRINT_CALLER before an additional debug message.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Cache coherency: resync unionfs data/meta-data when lower files change

Whenever we revalidate a file or dentry, we check to see if any of the lower
inodes have changed (new mtime/ctime).  If so, we revalidate the upper
unionfs objects.  This method "works" in that as long as a user process will
have caused unionfs to be called, directly or indirectly, even to just do
->d_revalidate, then we will have purged the current unionfs data and the
process will see the new data.  For example, a process that continually
re-reads the same file's data will see the NEW data as soon as the lower
file had changed, upon the next read(2) syscall.  This also works for
meta-data changes which change the ctime (chmod, chown, chgrp, etc).

However, this doesn't work when the process re-reads the file's data via
mmap and the data was already read before via mmap: once we respond to
->readpage(s), then the kernel maps the page into the process's address
space and there doesn't appear to be a way to force the kernel to invalidate
those pages/mappings, and force the process to re-issue ->readpage.  Note:
only pages that have already been readpage'ed are not updated; any other
pages which unionfs's ->readpage would be called on, WILL get the updated
data.  If there's a way to invalidate active mappings and force a
->readpage, let us know please (invalidate_inode_pages2 doesn't do the
trick).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: expand comment to explain precise semantics of new_dentry_private_data

Revert "cleanup: rewrite new_dentry_private data more simply"

This reverts commit db78098f66e2465195e33001788f0981ef788f3a.

cleanup: convert all instances of "hidden" to "lower".

The unionfs code contained many references to symbols whose name had the
string "hidden" in it, referring to, for example, a "hidden inode" below the
unionfs inode.  The term "hidden" was there for historical reasons and was a
misnomer, implying that the objects at unionfs's lower branches were somehow
hidden or unavailable.  This was not just incorrect, but confusing.  The
lower objects are just that: lower.  They are not hidden from users.  In
fact, users can 'cd' to lower branches and manipulate files directly there.
This long patch renames all such mis-named symbols, and re-indents the code
as needed to comply with coding standards.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Fix section marker in header file:

WARNING: fs/unionfs/unionfs.o(.init.text+0x56): Section mismatch: reference to .exit.text:stop_sioq (between 'init_module' and 'init_sioq')

Signed-off-by: Randy Dunlap <randy.dunlap@oracle.com>
Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: rewrite new_dentry_private data more simply

Also remove unnecessary variables and statements.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

bugfix: properly reset lower inode start/end range

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: remove extra superblock rwsem unlock call

This also makes the code more symmetric: the same code which locks also
unlocks the rwsem.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

lower-case text after "unionfs:" in printk's

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

place '}' of previous code block together with "else {"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

put '}' of code block on same line as "else {"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

place two spaces after a sentence-ending period in long comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

properly format multi-line comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure that all comment markers have spaces inside

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

reformat all lines longer than 80 characters

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

debugging: indent code properly and cleanups

Also make PRINT_CALLER look like a function.
Fix one small bug in __show_branch_counts.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

properly indent all code

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: reformat all lines longer than 80 characters

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

spell check all strings and comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure every file has up-to-date copyright

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure proper comment on every "#endif"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: change "char* foo" declarations to "char *foo" consistently.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: ensure that all #endif/#else have an appropriate comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

extern all functions in odf.h

bugfix: ensure dentry/inode/mnt validity after a successful ioctl

We call unionfs_partial_lookup in our queryfile ioctl method, so we can find
all instances of a lower object to report back to a suer.  This can violate
the fanout invariants (e.g., a regular file should have only one lower
object active at a time).  So we have to re-establish the invariants on the
lower dentries, inodes, and mnts.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: release superblock lock at end of ioctl method

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fixes: revalidate dentries passed to all inode/super operations

Be sure to properly revalidate all dentry chains passed to all inode and
super_block operations.  Remove the older BUG_ON test is_valid_dentry().
This should help improve cache-coherency.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/inode.c
fs/unionfs/union.h
fs/unionfs/unlink.c

code consistency: ensure that every #endif has a matching comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: removed trailing whitespace

added missing copyrights

export: bugfix, oopsing in d_revalidate when client gets ESTALE

with nfs exporting, when the cache is dropped on the server decode_fh will
most likely return ESTALE to the client. On such cases the server can get
a disconnected dentry in unionfs_open and a connected dentry in d_revalidate
but with ibstart to -1. This fix just detects those cases and returns an err
in order to stop the oopsing. However the file becomes unusable in the client,
any attempt to read it will return ESTALE. The best way to fix this will
be to implement decode_fh and make sure invariants are kept when an inode
becomes stale

bugfix: nullify kfreed pointer so it doesn't get double freed

only free odf in unionfs_read_super after odf_put_super succeeds

call inherint_mnt on parent after calls to create_parent, since

the newly created dentry might have a lower mnt on the leftmost
branch so inherint_mnt on that dentry will not inherit the mnt to
its parents

Revert "Unionfs: Cleanup locking in new_dentry_private_data"

This reverts commit a48f757714d7e70878461c5393de787e1497a612.

Conflicts:

fs/unionfs/lookup.c

removed super_block * from odf_get_opaque args

Documentation: replace "odfforce" with "odf_keepcache"

lookup only up to opaque branch if looking up an opaque dir

bugfix: dont move to /odf/sr if same inode number is already there

odf_remove bug, check if unionfs dentry is not negative before trying to

read its i_count

changed the format string of inode nums to filenames to %lx

split odf.h into two .h files, odf.h and odf_internals.h

renamed dentry stack functions

added comment for odf_dentry_info struct

added a few FIXME comments

lock odf inode when calling the odf fs's get_parent

use snprintf when printing help in configfs

use 2 bytes for namelen in odf cache dir dirents

changed odf options length to PAGE_SIZE

filenames in odf/sr and odf/reclaim to be in hex, not decimal

removed duplicate odf_get_opaque and odf_set_opaque functions

removed opaque_branch_id field from unionfs_sb_info

cleanup thread to clean until both blocks and inodes are below threshhold

added new cleanup flags

cleaned up partial_lookup

Documentation: updated odf.txt to say that when a dentry is released from /odf/sr it is

unlinked