5. Si quieres que esa ecuación siempre sea igual a cero sin importar el valor de la variable, entonces los coeficientes deben ser igual a cero :
<img src="https://tex.z-dn.net/?f=3%20-%20a%20%3D%200%20%5C%5C%20%0A3%20%3D%20a%20%5C%5C%20%20%0Ab%20%3D%200%20%5C%5C%20%0Aa%20-%20b%20%3D%203%20-%200%20%3D%203%20%5C%5C%20%5Cboxed%7Ba-b%3D3%7D" />
13.
<img src="https://tex.z-dn.net/?f=2ax%5E7y%5E%7Ba%2B3%7D%2B3x%5E%7B18%7Dy%5E%7B12%7D-5ay%5E%7Ba%2B10%7D" />
Como es homogéneo, entonces la suma de los exponentes de los términos del polinomio deben sumar lo mismo :
<img src="https://tex.z-dn.net/?f=18%2B12%3D30%20%5C%5C%20a%2B10%3D30%20%5C%5C%20a%3D30-10%5C%5C%5Cboxed%7Ba%3D20%7D" />
Ahora sólo sumas los coeficientes :
<img src="https://tex.z-dn.net/?f=%282a%29%2B3-%285a%29%3D%282%5Ctimes20%29%2B3-%285%5Ctimes20%29%3D43-100%3D%5Cboxed%7B-57%7D" />
Opción e
Saludos!