Solución. Cada pareja de vértices determina una recta, lo que hace un total de $\binom{n}{2}=\frac{n(n-1)}{2}$ rectas. Aquí también estamos contando las $n$ rectas que contienen a los lados (que no son diagonales) por lo que el número de rectas diagonales es $\frac{n(n-1)}{2}-n=\frac{n(n-3)}{2}$. Ahora bien, cada par de estas rectas determina un punto de intersección (no hay dos paralelas), lo que hace un total de $\binom{n(n-3)/2}{2}$ puntos de intersección. Sin embargo, en cada vértice se unen $n-3$ diagonales, lo que nos dice que en el cómputo anterior estábamos contando cada vértice $\binom{n-3}{2}$ veces, por lo que la solución al primer apartado es
\[\binom{\frac{n(n-3)}{2}}{2}-n\binom{n-3}{2}=\frac{n(n-3)(n^2-7n+14)}{8}.\]
Para resolver el segundo apartado, observemos que cada punto interior del polígono está determinado por la intersección de dos rectas diagonales, cada una de las cuales viene determinada por dos vértices, por lo que a cada uno de tales puntos se le pueden asignar cuatro de los vértices. Lo importante ahora es darse cuenta de que dados cuatro vértices, estos determinan un único punto interior al polígono. En efecto, dado que el polígono es convexo, estos cuatro vértices determinan un cuadrilátero convexo (llamémoslo $ABCD$, con los vértices ordenados en sentido contrario a las agujas del reloj) y tres puntos de intersección que no son vértices ($AB\cap CD$, $AC\cap BD$ y $AD\cap BC$), de los cuales sólo uno es interior ($AC\cap BD$) y es la intersección de diagonales, no de lados del polígono. Deducimos que hay un punto de intersección de diagonales interior al polígono por cada subconjunto de cuatro vértices y, en consecuencia, el número buscado de puntos interiores es
\[\binom{n}{4}=\frac{n(n-1)(n-2)(n-3)}{24},\]
mientras que el de puntos exteriores viene dado por
\[\frac{n(n-3)(n^2-7n+14)}{8}-\frac{n(n-1)(n-2)(n-3)}{24}=\frac{n(n-3)(n^2-9n+20)}{12}\]
Nota. Las fórmulas anteriores son válidas para un triángulo (los puntos de intersección interiores y exteriores son cero), aunque el razonamiento no es riguroso en este caso ya que estamos considerando números combinatorios que no están definidos como $\binom{0}{2}$ ó $\binom{3}{4}$.