Solución. En la figura hemos representado el triángulo $ABC$ inscrito en el cuadrado $AXYZ$. Como el triángulo es rectángulo en $C$, se tiene que $\angle YBC=90^\circ-\angle YCB=\angle ACZ$, luego los triángulos $BCY$ y $ACZ$ son semejantes. Si llamamos $\ell$ al lado del cuadrado, tendremos que $CZ=\sqrt{b^2-\ell^2}$ y $CY=\ell-CX$, luego la semejanza nos dice que
\begin{align*}
\frac{CY}{AZ}=\frac{BC}{AC}&\ \Leftrightarrow\ \frac{\ell-\sqrt{b^2-\ell^2}}{\ell}=\frac{a}{b}\ \Leftrightarrow\ 1-\sqrt{\frac{b^2}{\ell^2}-1}=\frac{a}{b}\\
&\ \Leftrightarrow\ \sqrt{\frac{b^2}{\ell^2}-1}=1-\frac{a}{b}\ \Leftrightarrow\ \frac{b^2}{\ell^2}=1+\left(1-\frac{a}{b}\right)^2\\
&\ \Leftrightarrow\ \frac{1}{\ell^2}=\frac{b^2+(b-a)^2}{b^4}\ \Leftrightarrow\ \ell=\frac{b^2}{\sqrt{2b^2-2ab+a^2}}.
\end{align*}
Para construir el cuadrado observamos que al rotar el triángulo $90^\circ$ en sentido horario y antihorario (como se muestra en la figura) con centro en $A$, obtenemos triángulos congruentes $AB'C'$ y $AB''C''$. El cuadrado $AXYZ$ se convierte en sendos cuadrados con un lado en común con él, luego las rectas $BC'$ y $CB''$ contienen a los lados del cuadrado. Ahora basta tomar $Y$ como su intersección y $X$ y $Z$ como los pies de las perpendiculares desde $A$.
