Cuando escribes 5 / 3x² debo entender que en realidad has querido escribir (5 / 3)x² (cinco tercios de equis al cuadrado) pero al no poner paréntesis queda confuso.
Para evitar confusiones, deberías escribir (5x² / 3)
Resuelvo.
<img src="https://tex.z-dn.net/?f=2%20x%5E%7B2%7D%20%2B9x-%20%5Cfrac%7B5x%5E2%7D%7B3%7D%20%2B17x%2B10" />
Para simplificar sólo hay que reducir los términos semejantes, lo hago por partes.
Primero los términos con x².
<img src="https://tex.z-dn.net/?f=2%20x%5E%7B2%7D%20-%20%5Cfrac%7B5%20x%5E%7B2%7D%20%7D%7B3%7D%20%3D%20%5Cfrac%7B6%20x%5E%7B2%7D-5%20x%5E%7B2%7D%20%20%7D%7B3%7D%20%3D%20%20%5Cfrac%7B%20x%5E%7B2%7D%20%7D%7B3%7D%20" />
Ahora los términos con x.
9x + 17x = 26x
Finalmente queda :
<img src="https://tex.z-dn.net/?f=%5Cfrac%7B%20x%5E%7B2%7D%20%7D%7B3%7D%20%2B26x%2B10" />
De ahí podría sacarse factor común de "x" en los dos términos que la llevan pero no sé si vale la pena.
Saludos.