先算几个特殊点处的值.
$f(f(1))=(1-1)^2=0$, $f(f(2))=(2-1)^2=1$, $f(f(3))=(3-1)^2=4$, $f(f(0))=f(0)$, $f(f(1+\sqrt{2}))=2$.
于是, $f(0)=f[f(f(1))]$, 记 $a=f(1)$, 则 $f(f(a))=f(0)=f(f(0))$.
令 $g(x)=f(f(x))$, 则
\[
g(x)=\begin{cases}
(x-1)^2, & x\geqslant 1,\\
f(x), & x < 1.
\end{cases}
\]
$g(x)$ 在 $[1,+\infty)$ 上是严格单调递增的. 且 $g(a)=g(0)=f(0)$.
\[
f(1)=f[f(f(2))]=\begin{cases}
(f(2)-1)^2, & \text{若}\ f(2)\geqslant 1,\\
f(f(2)), & \text{若}\ f(2) < 1.
\end{cases}
\]
Claim 1. $f(2)\geqslant 1$.
Pf. 假设 $f(2) < 1$, 则 $a=f(1)=f[f(f(2))]=f(f(2))=1$, 而 $f(1)=f(a)=f(f(1))=0$, 矛盾.
因此, $f(2)\geqslant 1$. 于是 $a=f(1)=(f(2)-1)^2\geqslant 0$.
Claim 2. 对 $x < 1$, 若 $f(x)=\alpha\geqslant 1$, 则 $\alpha=\frac{3+\sqrt{5}}{2}$;
Pf. 设 $x_0 < 1$, 且记 $\alpha=f(x_0)$. 则
\[
f(f(x_0))=f(x_0)=\alpha,
\]
即有 $f(\alpha)=\alpha$. 由假设 $\alpha\geqslant 1$, 则 $f(f(\alpha))=(\alpha-1)^2$, 从而 $\alpha=f(\alpha)=f(f(\alpha))=(\alpha-1)^2$. 此时解得
\[
\alpha=\frac{3+\sqrt{5}}{2}.
\]
Q.E.D.
由 $g(a)=f(0)=\alpha=\frac{3+\sqrt{5}}{2}$, 可解出 $a$.
\[
(a-1)^2=\frac{3+\sqrt{5}}{2}=\frac{6+2\sqrt{5}}{4}=(\frac{\sqrt{5}+1}{2})^2
\]
推出 $a=\frac{3+\sqrt{5}}{2}$, 即 $f(1)=\frac{3+\sqrt{5}}{2}$.
如果 $\alpha < 1$, 则 $f(f(x_0))=f(x_0)=\alpha$, 因此 $f(\alpha)=\alpha$.
$a=f(1)=\bigl(f(2)-1\bigr)^2\geqslant 0$.
(1) 若 $a\geqslant 1$, 则 $f(f(a))=(a-1)^2$, 又 $f(a)=f(f(1))$, 故 $f(f(f(1)))=f(0)=f(f(0))$, 由此推出
\[
f(0)=(a-1)^2
\]
(i) 若 $f(0)\geqslant 1$, 则
\[f(0)=f(f(0))=f(f(f(0)))=(f(0)-1)^2=\bigl((a-1)^2-1\bigr)^2.\]
综合这两式, 得
\[(a-1)^2=\bigl((a-1)^2-1\bigr)^2\]
这推出
\[
a-1=\Bigl|(a-1)^2-1\Bigr|
\]
注意到 $(a-1)^2=f(0)\geqslant 1$ , 得 $a-1=(a-1)^2-1$. 解得 $a=\frac{3+\sqrt{5}}{2}$.
(ii) 若 $f(0)=(a-1)^2 < 1$ 时, 即 $0 < a < 2$, 而 $a\geqslant 1$, 故 $1\leqslant a < 2$.
\[
1\leqslant a=f(1)=(f(2)-1)^2 <2
\]
加上 $f(2)\geqslant 1$, 推出 $2\leqslant f(2) < 1+\sqrt{2}$. 又易见 $f(2)\neq 2$, 这是因为 $f(f(2))=1$. 故
\[
2 < f(2) < 1+\sqrt{2}
\]
且 $f(2)\neq 2$ 推出 $a\neq 1$, 故 $1 < a$. $0 < f(0) < 1$.
由于 $f(f(1+\sqrt{2}))=2$, 若令 $c=f(1+\sqrt{2})$, 则 $f(c)=2$.
假若 $c < 1$, 则根据定义 $f(f(c))=f(c)=2$, 于是 $f(2)=2$. 与上面的 $f(2)\neq 2$ 矛盾.
因此 $c\geqslant 1$. 于是 $f(f(c))=(c-1)^2$, 即
\[
f(2)=(c-1)^2
\]
由 $f(2)$ 的范围可求出 $c$ 的范围
\[
1+\sqrt{2} < c <\sqrt{1+\sqrt{2}}+1.
\]
因此, $f(f(f(c)))=f(f(2))=1$,
\[
a=f(1)=f(f(f(f(c))))=f^{\{4\}}(1+\sqrt{2}).
\]
(2) $a\in [0,1)$.
$f(a)=f(f(1))=0 < 1$, 则 $f(a)=f(f(a))=f(0)$, 故 $f(0)=0$.
\[
f(f(\sqrt{a}+1))=a
\]
\[
f(f(f(\sqrt{a}+1)))=f(a)=0
\]
若 $f(\sqrt{a}+1) < 1$, 则 $f(f(f(\sqrt{a}+1)))=f(f(\sqrt{a}+1))=a$, 这推出 $a=0$, 矛盾.
因此 $f(\sqrt{a}+1)\geqslant 1$. 于是
\[
0=f(f(f(\sqrt{a}+1)))=(f(\sqrt{a}+1)-1)^2
\]
这推出 $f(\sqrt{a}+1)=1$.
由此求出 $a$.