(2x-8)(x+5)=(2x-8)² la ecuación

Transportemos el miembro derecho de la ecuación al
miembro izquierdo de la ecuación con el signo negativo.

La ecuación se convierte de
$$\left(x + 5\right) \left(2 x - 8\right) = \left(2 x - 8\right)^{2}$$
en
$$\left(x + 5\right) \left(2 x - 8\right) - \left(2 x - 8\right)^{2} = 0$$
Abramos la expresión en la ecuación
$$\left(x + 5\right) \left(2 x - 8\right) - \left(2 x - 8\right)^{2} = 0$$
Obtenemos la ecuación cuadrática
$$- 2 x^{2} + 34 x - 104 = 0$$
Es la ecuación de la forma

a*x^2 + b*x + c = 0

La ecuación cuadrática puede ser resuelta
con la ayuda del discriminante.
Las raíces de la ecuación cuadrática:
$$x_{1} = \frac{\sqrt{D} - b}{2 a}$$
$$x_{2} = \frac{- \sqrt{D} - b}{2 a}$$
donde D = b^2 - 4*a*c es el discriminante.
Como
$$a = -2$$
$$b = 34$$
$$c = -104$$
, entonces

D = b^2 - 4 * a * c = 

(34)^2 - 4 * (-2) * (-104) = 324

Como D > 0 la ecuación tiene dos raíces.

x1 = (-b + sqrt(D)) / (2*a)

x2 = (-b - sqrt(D)) / (2*a)

o
$$x_{1} = 4$$
$$x_{2} = 13$$