5x-8(x-3)=3x^2-9x la ecuación

Transportemos el miembro derecho de la ecuación al
miembro izquierdo de la ecuación con el signo negativo.

La ecuación se convierte de
$$5 x - 8 \left(x - 3\right) = 3 x^{2} - 9 x$$
en
$$\left(5 x - 8 \left(x - 3\right)\right) + \left(- 3 x^{2} + 9 x\right) = 0$$
Abramos la expresión en la ecuación
$$\left(5 x - 8 \left(x - 3\right)\right) + \left(- 3 x^{2} + 9 x\right) = 0$$
Obtenemos la ecuación cuadrática
$$- 3 x^{2} + 6 x + 24 = 0$$
Es la ecuación de la forma

a*x^2 + b*x + c = 0

La ecuación cuadrática puede ser resuelta
con la ayuda del discriminante.
Las raíces de la ecuación cuadrática:
$$x_{1} = \frac{\sqrt{D} - b}{2 a}$$
$$x_{2} = \frac{- \sqrt{D} - b}{2 a}$$
donde D = b^2 - 4*a*c es el discriminante.
Como
$$a = -3$$
$$b = 6$$
$$c = 24$$
, entonces

D = b^2 - 4 * a * c = 

(6)^2 - 4 * (-3) * (24) = 324

Como D > 0 la ecuación tiene dos raíces.

x1 = (-b + sqrt(D)) / (2*a)

x2 = (-b - sqrt(D)) / (2*a)

o
$$x_{1} = -2$$
$$x_{2} = 4$$