cleanup: ensure proper comment on every "#endif"

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Revert "Unionfs: Cleanup locking in new_dentry_private_data"

This reverts commit ad2d6a5f5e0501ecf704bf2c748e9818ee8e019b.

Conflicts:

fs/unionfs/lookup.c

bugfix: ensure dentry/inode/mnt validity after a successful ioctl

We call unionfs_partial_lookup in our queryfile ioctl method, so we can find
all instances of a lower object to report back to a suer.  This can violate
the fanout invariants (e.g., a regular file should have only one lower
object active at a time).  So we have to re-establish the invariants on the
lower dentries, inodes, and mnts.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: release superblock lock at end of ioctl method

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fixes: revalidate dentries passed to all inode/super operations

Be sure to properly revalidate all dentry chains passed to all inode and
super_block operations.  Remove the older BUG_ON test is_valid_dentry().
This should help improve cache-coherency.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

code consistency: ensure that every #endif has a matching comment

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

invariants: don't complain if no lower dentry of a deleted dentry

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

invariants: don't complain about directories with some NULL lower objects

Directories can have NULL lower objects in between start/end, but NOT if at
the start/end range.  We cannot verify that this dentry is a type=DIR,
because it may already be a negative dentry.  But if dbstart is greater than
dbend, we know that this couldn't have been a regular file: it had to have
been a directory.  In that case, don't complain about NULL lower objects in
in between start/end.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Revert "invariants: don't complain about directories with some NULL lower objects"

This reverts commit 9d8ee83d478be30faf351af7628066ec6658efb5.

invariants: don't complain about directories with some NULL lower objects

Directories can have NULL lower objects in between start/end, but NOT if at
the start/end range.  We cannot verify that this dentry is a type=DIR,
because it may already be a negative dentry.  But if dbstart is greater than
dbend, we know that this couldn't have been a regular file: it had to have
been a directory.  In that case, don't complain about NULL lower objects in
in between start/end.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: rewrite unionfs_partial_lookup more cleanly and add comments

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: prevent null mntget warning messages in unionfs_lookup_backend

Don't try to mntget a lower mnt at a point where the lower mnts don't yet
exist (the callers will have them later on).  Instead, get the lower mnt of
the sb->s_root.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: expand comments to unionfs_lookup_backend

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: remove unnecessary call to inherit_mnt

Our unionfs_lookup doesn't need to call inherit_mnt: the lower mnts will be
correct here (but not if other methods such as unionfs_rename call our
lookup_backend helper function directly).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: don't warn if trying to mntput a "negative" union object

In unionfs_d_release, we may get negative dentries which don't have a lower
mnt.  In that case, don't print a warning message from unionfs_mntput about
trying to put a NULL mnt.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: get lower mnt from root dentry instead of lower dentry

While copying-up a file, the union object hasn't been fully formed yet, so
we don't have all the lower dentries/mnts to use (the caller will have them
later on).  Therefore, we should use the sb->s_root's lower mnt here.  This
fixes a "NULL mnt" warning message that came from unionfs_mntget.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: allow users to override Makefile options in fs/unionfs/local.mk

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: better comment in branch_id_to_idx

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: catch bad use of dirs= options (extra ':' separators)

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

unionfs: merge find_new_branch_index and branch_id_to_idx into one function

Useful code cleanup and consolidation between the ODF code and non-ODF code.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

unionfs: minor cleanup and better commenting in new_dentry_private_data

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Unionfs: Cleanup locking in new_dentry_private_data

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

bugfix: prevent null-deref oops if lower f/s is NFS (mmap writes)

This is a workaround fora deficiency of the linux MM layer, which doesn't
allow clean coordination between upper and lower pages in stackable layers.
We prevent an oops, but the cost is that we're not able to implement
writepages cleanly, not can we call the lower file system's writepages.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: use krealloc instead of open-coding it with kmalloc/kfree/memcpy

bugfix: prevent a NULL ptr deref if branch is nfs and using mmap writes

By some strange condition, the VFS can pass our unionfs_writepage a
writeback_control structure which, if passed as is to the lower ->writepage
-- here nfs_writepage, triggers a NULL ptr deref in NFS.  This fix works
around this issue, and results in a successfully written mmaped file.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: handle lower file systems that do not support writeable mappings

File systems such as jffs2 (tested in 2.6.22-rc22) do not have a
->writepage.  Make sure unionfs detects that conditions and returns EINVAL
when a user tries to mmap such a file with VM_WRITE.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: comment to ODF developers to address

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: set lower inodes correctly after branch management succeeds

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: prevent self deadlock with remount code in pivot_root scenarios

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

debugging: test for freed (0x5a) inodes

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: statfs lower file system properly

Get the correct lower dentry to use to statfs the first branch (always), now
works with disk-based as well as network file systems.  Also document the
code better.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

Add Erez Zadok to maintainers list

add standard copyright comment to linux/union_fs.h

d_splice bugfix: update dentry in our lookup if needed.

mmap: file revalidation and fanout invariant validation

Added the newer checks to file revalidation and fanout invariants to the
newly merged mmap code.  Also minor mmap related comments added.

mmap: sync_page bug, call sync_page on lower page, not unionfs page

mmap: also revalidate file passed to unionfs_release

Conflicts:

fs/unionfs/commonfops.c

mmap: update atime upon successful file reading (via mmap or otherwise)

mmap: proper locking to interoperate with branch-management code

Include proper read un/lock calls as in file.c.  Make unionfs_do_readpage
static as no one else should call this helper function.

mmap: remove unnecessary unionfs_bmap method

Unionfs is not a block-based file system, so it should not define ->bmap.

mmap: trivial sendfile support

mmap: minor code and comment reformatting

Conflicts:

fs/unionfs/file.c

mmap: #if 0 unneeded code instead of commenting it out

mmap: read upper file instead of lower file

dont touch atimes on reads

mmap: coding style: reformated a line longer than 80 chars

mmap: remove defunct comments

mmap: file revalidation

mmap: applied main mmap patch

Resolved the following conflicts:

Conflicts:

fs/unionfs/Makefile
fs/unionfs/file.c

bugfix: fixed interpose to check if d_splice_alias returns a dentry

Also in unionfs_interpose, ensure that this new dentry's private data is
correct.  unionfs_interpose now returns a dentry if d_splice_alias has
returned a dentry.  (This is a reimplementation of the same fix from the ODF
code base.)

debug: remove unnecessarily verbose debugging printk's

cleanup: consistent printk messages

cleanup: eliminate wrapper function create_parents

Eliminate simple wrapper function create_parents which trivially called
create_parents_named with one more arg derived from the caller.  Instead,
remove the wrapper, rename create_parents_named to create_parents, and make
everyone call create_parents directly.  This clarifies the code a bit more
and saves a bit on stack space.

cleanup: eliminate wrapper function copyup_dentry

Eliminate simple wrapper function copyup_dentry which trivially called
copyup_named_dentry with 2 more args derived from the caller.  Instead,
remove the wrapper, rename copyup_named_dentry to copyup_dentry, and make
everyone call copyup_dentry directly.  This clarifies the code a bit more
and saves a bit on stack space.

cleanup: rewrite do_delayed_copyup more cleanly and clearly

debugging: small fix to Makefile to correct #define typo

cleanup: remove unnecessary macro used in only one place

Remove the UNIONFS_TMPNAM_LEN macro and just use the actual length of the
string file name in question, which is more efficient (and correct).

bug fix: don't revalidate dropped dentries

This fixes a harmless but annoying message that unionfs prints if a dropped
dentry is being revalidated, which could happen if you unlink open files.

bug fix: retry lookup for different silly-renamed files

When we have to copyup an open-but-unlinked file, we have to give it a
temporary name, similar to NFS's silly-renamed files.  So we generate
temporary file names until we find one that doesn't exist, and use it.  The
code had a bug where if the silly-renamed file name already existed, Unionfs
would oops upon copyup to that temp name.

Documentation: better comments for copyup-related code

Verify and maintain fanout invariants.

This somewhat long patch calls various invariant-checking (debugging)
functions in all places where the fanout invariants should hold.  The three
invariant-checking functions, __unionfs_check_{inode,dentry,file}, perform
exhaustive sanity checking on the fan-out of various Unionfs objects.  We
check that no lower objects exist outside the start/end branch range; that
all objects within are non-NULL (with some allowed exceptions); that for
every lower file there's a lower dentry+inode; that the start/end ranges
match for all corresponding lower objects; that open files/symlinks have
only one lower objects, but directories can have several; and more.

The rest of this patch actually fixes many places where these invariants did
not hold, which could lead to bugs or corruptions under heavy loads,
multi-threaded workloads, dynamic branch-management, and mmap operations.
Most of the bugs related to actions involving copyups and whiteouts.  With
these fixes, the entire Unionfs regression suite passes without a single
invariant violated.

Post-copyup helper functions

Two functions which are very useful to execute common actions needed after a
copy-up had taken place.

Introduce compile-time debugging support to Unionfs

Similar to other file systems, to turn on debugging, one is asked to change
the Makefile slightly.  The vast majority of the debugging utility functions
are in debug.c.  They are useful for developers and users to report to
developers.  The main code has some very useful hooks left behind that are
non-intrusive and cleaner (i.e., no "ifdef DEBUG" clutter).

bugfixes: correctly decrement refcounts of mnt's upon branch management

The old logic was broken in one place, which another place tried to "fix"
incorrectly.  Also added detailed comments to explain the new/correct logic.

bugfix in BUG_ON use: actually catch bad use of unionfs_mntput

cleanup: removed a trailing whitespace

bugfix: remove defunct unionfs_put_inode method

Removed old workaround code that was needed to get mmap working, is no
longer needed with recent kernels.

optimize branch overlapping test a bit

Documentation update regarding overlapping branches and new lookup code.

Added detailed comment and updated documentation (issues.txt) to explain why
overlapping branches are disallowed, better explain cache coherency issues,
and mention upcoming do_lookup_lookup changes.

branch management: disallow setting leftmost branch to readonly

Unionfs requires the leftmost branch to be writeable for copyup to work
properly and simply.  If, through branch-management commands (add, delete,
or mode change), the leftmost branch will becomes readonly, then return an
error (and tell the user to use "remount,ro" if they want a readonly union).

fsstack: 4th case to do_path_lookup

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>

Revert "Unionfs: Check remount options for being NULL"

This reverts commit 49491b290f0f791a531316c6197437547985537b.

bugfix: don't leak resources when copyup fails partially

cleanup: call our unionfs_{unlock,lock}_dentry instead of mutex ops.

This is for consistency with the rest of the code, which helps us place
debugging code when un/locking our special "info" mutex in our dentries.

cleanup: rename our "do_rename" to __unionfs_rename.

To avoid confusion with the VFS-named function do_rename, and to help ctags,
rename our utility (static) function "do_rename" to "__unionfs_rename".

cleanup: rename prefix our version of double_lock_dentry with "unionfs_"

To avoid potential confusion with the VFS function of the same name (and
also confusion with ctags), rename our special version of double_lock_dentry
to unionfs_double_lock_dentry.

Cleanup: ensure space between every comma-delimited function argument list

cleanup: rewrite long while(1) loop more cleanly

Move one function off of branchman.c and remove source file.

After branch-management support was added, branchman.c became obsolete: it
used to hold the old ioctl-based branch-management commands, but now we do
those commands via remount (in super.c).  So move the only remaining small
query-file ioctl from branchman.c to commonfops.c, close to unionfs_ioctl;
and remove any leftover extern's which referred to old code in branchman.c

cleanup: consistent pointer declaration spacing.

Change instances of "foo * var" to "foo *var" for consistency.

Merge unionfs_write with __unionfs_write.

Merge the two functions because unionfs_write was a small function and the
only one which called the __unionfs_write.  This saves on stack space and
clarifies code a bit.

cleanup: fix one odd indentation and long line breakup.

Commenting the code.

Audited entire code for documentation.  Added comments at top of functions
where it felt necessary (i.e., function's name and size don't make it clear
what it may be doing precisely).  Reformatted some long comments.  Fixed a
few comment typos and spelling errors.

cleanup: prefix external functions with 'extern' properly

cleanup: one more trailing whitespace removed.

cleanup: spell check all strings and comments

cleanup: use consistent style for multi-line comments

cleanup: keep all top-of-function automatic variables clustered together

coding-style: remove one more {braces} around one-statement code block

cleanup: remove unnecessary blank lines in short code blocks

cleanup: add missing copyright notices

coding-style: reformat lines longer than 80 chars (accounting for TABs)

cleanup: every printk should prefix with "unionfs: " consistently

coding-style: remove unnecessary {braces} around one-line code blocks

coding-style: no lines over 80 chars

coding-style: indent every line properly

cleanup: remove trailing spaces

Documentation: fix spelling error

Documentation: minor typo fixed in incgen remount option

Unionfs: SLAB_CTOR_CONSTRUCTOR has been removed from vanilla

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>

[PATCH] unionfs: fix slab abuses with krealloc

This changes unionfs to use krealloc() for reallocating memory so that we
don't need to play tricks with slab internals.

Cc: Josef Sipek <jsipek@fsl.cs.sunysb.edu>
Signed-off-by: Pekka Enberg <penberg@cs.helsinki.fi>
Signed-off-by: Andrew Morton <akpm@linux-foundation.org>
Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>