x^3-11x^2+38x-40=0 la ecuación

Tenemos la ecuación:
$$\left(38 x + \left(x^{3} - 11 x^{2}\right)\right) - 40 = 0$$
cambiamos
$$\left(38 x + \left(\left(- 11 x^{2} + \left(x^{3} - 8\right)\right) + 44\right)\right) - 76 = 0$$
o
$$\left(38 x + \left(\left(- 11 x^{2} + \left(x^{3} - 2^{3}\right)\right) + 11 \cdot 2^{2}\right)\right) + \left(-38\right) 2 = 0$$
$$38 \left(x - 2\right) + \left(- 11 \left(x^{2} - 2^{2}\right) + \left(x^{3} - 2^{3}\right)\right) = 0$$
$$38 \left(x - 2\right) + \left(- 11 \left(x - 2\right) \left(x + 2\right) + \left(x - 2\right) \left(\left(x^{2} + 2 x\right) + 2^{2}\right)\right) = 0$$
Saquemos el factor común -2 + x fuera de paréntesis
obtendremos:
$$\left(x - 2\right) \left(\left(- 11 \left(x + 2\right) + \left(\left(x^{2} + 2 x\right) + 2^{2}\right)\right) + 38\right) = 0$$
o
$$\left(x - 2\right) \left(x^{2} - 9 x + 20\right) = 0$$
entonces:
$$x_{1} = 2$$
y además
obtenemos la ecuación
$$x^{2} - 9 x + 20 = 0$$
Es la ecuación de la forma

a*x^2 + b*x + c = 0

La ecuación cuadrática puede ser resuelta
con la ayuda del discriminante.
Las raíces de la ecuación cuadrática:
$$x_{2} = \frac{\sqrt{D} - b}{2 a}$$
$$x_{3} = \frac{- \sqrt{D} - b}{2 a}$$
donde D = b^2 - 4*a*c es el discriminante.
Como
$$a = 1$$
$$b = -9$$
$$c = 20$$
, entonces

D = b^2 - 4 * a * c = 

(-9)^2 - 4 * (1) * (20) = 1

Como D > 0 la ecuación tiene dos raíces.

x2 = (-b + sqrt(D)) / (2*a)

x3 = (-b - sqrt(D)) / (2*a)

o
$$x_{2} = 5$$
$$x_{3} = 4$$
Entonces la respuesta definitiva es para x^3 - 11*x^2 + 38*x - 40 = 0:
$$x_{1} = 2$$
$$x_{2} = 5$$
$$x_{3} = 4$$