Тупой угол между...

Когда угол между сторонами тупой, его косинус отрицателен, поэтому слагаемое $-2\cdot a\cdot b\cdot \cos\left(C\right)$ увеличивает длину, а не уменьшает её. Третья сторона получается длиннее, чем по теореме Пифагора.

Стороны 5 и 8, угол между ними — 120°: $\cos\left(120^{\circ}\right) = \frac{-1}{2}$, поэтому последний член равен $-2\cdot 5\cdot 8\cdot \frac{-1}{2}$, то есть +40. Тогда c² = 25 + 64 + 40 = 129, а c = √129, приблизительно 11.36. По одной только теореме Пифагора получилось бы √89, приблизительно 9.43: слишком мало для такого большого угла.

Обычная ошибка — принять cos 120° за +1/2, что вычитает 40 и даёт √49 = 7 — сторону короче прилегающей к ней стороны длиной 8. Напротив тупого угла лежит самая длинная сторона, поэтому такой ответ не может быть верным.