more (forgotten) cleanups to partial_lookup.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

invariants: don't complain about directories with some NULL lower objects

Directories can have NULL lower objects in between start/end, but NOT if at
the start/end range.  We cannot verify that this dentry is a type=DIR,
because it may already be a negative dentry.  But if dbstart is greater than
dbend, we know that this couldn't have been a regular file: it had to have
been a directory.  In that case, don't complain about NULL lower objects in
in between start/end.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: update of last modification date to odf.txt document

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup: rewrite unionfs_partial_lookup more cleanly

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: prevent null mntget warning messages in unionfs_lookup_backend

Don't try to mntget a lower mnt at a point where the lower mnts don't yet
exist (the callers will have them later on).  Instead, get the lower mnt of
the sb->s_root.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

documentation: expand comments to unionfs_lookup_backend

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

cleanup: remove unnecessary call to inherit_mnt

Our unionfs_lookup doesn't need to call inherit_mnt: the lower mnts will be
correct here (but not if other methods such as unionfs_rename call our
lookup_backend helper function directly).

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: don't warn if trying to mntput a "negative" union object

In unionfs_d_release, we may get negative dentries which don't have a lower
mnt.  In that case, don't print a warning message from unionfs_mntput about
trying to put a NULL mnt.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bug fix: get lower mnt from root dentry instead of lower dentry

While copying-up a file, the union object hasn't been fully formed yet, so
we don't have all the lower dentries/mnts to use (the caller will have them
later on).  Therefore, we should use the sb->s_root's lower mnt here.  This
fixes a "NULL mnt" warning message that came from unionfs_mntget.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

coding-style: removed space before ')'

comment on why we cannot create entries in the odf (assign inode nums)

when creating the odf cached dir

one more comment on the odf_lookup code

comments for odf_lookup functions

removed ODF_LOOKUP_LINK flag and moved ODF_RMV_WH to the top of the flags

changed odf lookup flags values to hex and removed ODF_LOOKUP_LOCKED

changed unionfs_dentry_info to contain an odf_dentry_info instead of a pointer to one

modified odf_lookup functions to return a dentry instead of an

odf_dentry_info

Unionfs: allow users to override Makefile options in fs/unionfs/local.mk

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

remove trailing ':' when building dirs= options from odf sb file

removed warning when branch_id_to_idx fails to match requested id, and added a

comment for why this can be legal in the odf

bug fix: catch bad use of dirs= options (extra ':' separators)

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

unionfs: merge find_new_branch_index and branch_id_to_idx into one function

Useful code cleanup and consolidation between the ODF code and non-ODF code.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/commonfops.c
fs/unionfs/fanout.h

dont put ic dentry in odf_get_ic_dentry

modified odf_ic_cache_dentry not to use odf_lookup and to return a dentry instead of

an odf_dentry_info

unionfs: minor cleanup and better commenting in new_dentry_private_data

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

Unionfs: Cleanup locking in new_dentry_private_data

Signed-off-by: Josef 'Jeff' Sipek <jsipek@cs.sunysb.edu>
Conflicts:

fs/unionfs/lookup.c

bugfix: prevent null-deref oops if lower f/s is NFS (mmap writes)

This is a workaround fora deficiency of the linux MM layer, which doesn't
allow clean coordination between upper and lower pages in stackable layers.
We prevent an oops, but the cost is that we're not able to implement
writepages cleanly, not can we call the lower file system's writepages.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

changed unionfs_sb_info to contain a unionfs_sb_info instead of a pointer to one

removed the odf_sb_info field from the odf_dentry_info struct

removed the inum field from odf_dentry_info struct

changed the odf_sb_info structure to hold dentry pointers to the odf special dirs

instead of odf_dentry_info pointers

removed odf locks, added LOCK comments where we might still want to

lock something, ie when operating in odf/ic /sr and /reclaim

cleaner odf_is_new function

proper capitalization of unionfs

use sizeof() instead of strlen

print KERN_ERR is odf_read_super fails

remove the BUG_ON in odf_is_wh, for now because odf lookup is

called in odf_put_super before the whiteout file is created.

use LOOKUP_DIRECTORY instead of LOOKUP_FOLLOW

return EEXIST if a dir exists when constructing the odf hierarchy

removed unused function

added comments for odf special filenames constants and grouped them together

use only one version number for odf.

set version number to 2, since format has changed
since last release

cleanup: removed unneeded declarations

coding style: use branch_id function instead of accessing sb private

data directly

added BUG_ON to make sure dentry passed to get_parent is a dir

removed unnecessary call to unreg_configfs if init fails

coding style: align function arguments

coding style: use switch statement to avoid ugly if/else nesting

coding style: use void in a function taking no args

small fix: initialize 'res' to 0 to avoid gcc warning

cleanup: use krealloc instead of open-coding it with kmalloc/kfree/memcpy

Conflicts:

fs/unionfs/lookup.c

bugfix: prevent a NULL ptr deref if branch is nfs and using mmap writes

By some strange condition, the VFS can pass our unionfs_writepage a
writeback_control structure which, if passed as is to the lower ->writepage
-- here nfs_writepage, triggers a NULL ptr deref in NFS.  This fix works
around this issue, and results in a successfully written mmaped file.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: handle lower file systems that do not support writeable mappings

File systems such as jffs2 (tested in 2.6.22-rc22) do not have a
->writepage.  Make sure unionfs detects that conditions and returns EINVAL
when a user tries to mmap such a file with VM_WRITE.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

cleanup thread to clean odf/sr as well on mount if odfforce is not set

set gid/uid to 0 in ofd_release_sr

cleanup: removed unnecesary braces

moved call of odf_release_sr from drop_inode to clear_inode

added undeclared variables to unionfs_remount

bug fix: set lower inodes correctly after branch management succeeds

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/super.c

bug fix: prevent self deadlock with remount code in pivot_root scenarios

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

debugging: test for freed (0x5a) inodes

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>

bugfix: statfs lower file system properly

Get the correct lower dentry to use to statfs the first branch (always), now
works with disk-based as well as network file systems.  Also document the
code better.

Signed-off-by: Erez Zadok <ezk@cs.sunysb.edu>
Conflicts:

fs/unionfs/super.c

Add Erez Zadok to maintainers list

add standard copyright comment to linux/union_fs.h

readdir bug: must pass the file position at the start of the dirent to filldir

documentation: added info about /odf/sr in odf.txt

when an inode is dropped, check if it has an entry in /odf/sr and move it to /odf/reclaim

silly rename (move to /odf/sr) files to be removed that have i_count > 1

added odf/sr to odf structure, that will contain odf silly renamed files

rename bug:

if the dst dentry exists at the start of the rename, then at the end
we need to purge its inode's lower inode pointers if it is not used
by anyone else, since it might remain in the cache and the odf might
give this inode number to a new inode, resulting in the new inode
having the old inode's pointers.

rename bug: return EXDEV when destinations parent is opaque at a branch to the left of

source's start branch

link and rename invariants when new_dentry is negative and link/rename happens on

a branch other than leftmost

smaller odf cached dir dirents, and also rearranged dirent contents

to more closely resemble the ext2 dirent structure

looukup bug: moved check if nameidata is null before check for odf whiteout

readdir bug, set fpos back to previous dirent if buffer overflows

fixed opaque dirs invariancy issue

removed unneeded inodeinfo that got left over from last cherry-pick

mmap: file revalidation and fanout invariant validation

Added the newer checks to file revalidation and fanout invariants to the
newly merged mmap code.  Also minor mmap related comments added.

Conflicts:

fs/unionfs/commonfops.c
fs/unionfs/file.c

applied ezk changes to d_splice fix so both branches are synced

rename invariant issues fix

documentaion: say in odf.txt where file came from

debug: left out a line from the previous fix

debug: remove unnecessarily verbose debugging printk's

cleanup: consistent printk messages

bugfix: check if dentry is returned by lookup_backend

fixed some minor issues after applying erez's patches

whitespace cleanup

cleanup: eliminate wrapper function create_parents

Eliminate simple wrapper function create_parents which trivially called
create_parents_named with one more arg derived from the caller.  Instead,
remove the wrapper, rename create_parents_named to create_parents, and make
everyone call create_parents directly.  This clarifies the code a bit more
and saves a bit on stack space.

Conflicts:

fs/unionfs/inode.c
fs/unionfs/subr.c

cleanup: eliminate wrapper function copyup_dentry

Eliminate simple wrapper function copyup_dentry which trivially called
copyup_named_dentry with 2 more args derived from the caller.  Instead,
remove the wrapper, rename copyup_named_dentry to copyup_dentry, and make
everyone call copyup_dentry directly.  This clarifies the code a bit more
and saves a bit on stack space.

Conflicts:

fs/unionfs/inode.c
fs/unionfs/rename.c

cleanup: rewrite do_delayed_copyup more cleanly and clearly

debugging: small fix to Makefile to correct #define typo

cleanup: remove unnecessary macro used in only one place

Remove the UNIONFS_TMPNAM_LEN macro and just use the actual length of the
string file name in question, which is more efficient (and correct).

bug fix: don't revalidate dropped dentries

This fixes a harmless but annoying message that unionfs prints if a dropped
dentry is being revalidated, which could happen if you unlink open files.

bug fix: retry lookup for different silly-renamed files

When we have to copyup an open-but-unlinked file, we have to give it a
temporary name, similar to NFS's silly-renamed files.  So we generate
temporary file names until we find one that doesn't exist, and use it.  The
code had a bug where if the silly-renamed file name already existed, Unionfs
would oops upon copyup to that temp name.

Documentation: better comments for copyup-related code

Verify and maintain fanout invariants.

This somewhat long patch calls various invariant-checking (debugging)
functions in all places where the fanout invariants should hold.  The three
invariant-checking functions, __unionfs_check_{inode,dentry,file}, perform
exhaustive sanity checking on the fan-out of various Unionfs objects.  We
check that no lower objects exist outside the start/end branch range; that
all objects within are non-NULL (with some allowed exceptions); that for
every lower file there's a lower dentry+inode; that the start/end ranges
match for all corresponding lower objects; that open files/symlinks have
only one lower objects, but directories can have several; and more.

The rest of this patch actually fixes many places where these invariants did
not hold, which could lead to bugs or corruptions under heavy loads,
multi-threaded workloads, dynamic branch-management, and mmap operations.
Most of the bugs related to actions involving copyups and whiteouts.  With
these fixes, the entire Unionfs regression suite passes without a single
invariant violated.

Conflicts:

fs/unionfs/commonfops.c
fs/unionfs/file.c
fs/unionfs/inode.c
fs/unionfs/unlink.c

Post-copyup helper functions

Two functions which are very useful to execute common actions needed after a
copy-up had taken place.

Introduce compile-time debugging support to Unionfs

Similar to other file systems, to turn on debugging, one is asked to change
the Makefile slightly.  The vast majority of the debugging utility functions
are in debug.c.  They are useful for developers and users to report to
developers.  The main code has some very useful hooks left behind that are
non-intrusive and cleaner (i.e., no "ifdef DEBUG" clutter).

Conflicts:

fs/unionfs/union.h

fixed some rebase conflicts

mmap: sync_page bug, call sync_page on lower page, not unionfs page