Establecido en 1880 en Bruselas hizo amistad con el pintor neerlandés Anthon van Rappard. Se inscribió en la Academia de Bellas Artes donde estudió dibujo y perspectiva. En esta época realizó esbozos y dibujos basados en las pinturas de Jean-François Millet, representando personajes de campesinos y mineros, modelos de la vida cotidiana, y pintándolos muy realistas y con tonalidades oscuras.
El 12 de abril de 1881 Vincent llegó a Etten a visitar a su hermano. Durante este período va a casa de su primo, el pintor Anton Mauve, y donde vuelve a enamorarse, esta vez de una de sus primas Cornelia Adriana Vos-Stricker (Kee), que acababa de enviudar, a la que propuso rápidamente matrimonio, la respuesta de Kee fue: «No, jamás, jamás».18 A pesar de esta negativa, insistió mediante cartas que la viuda no contestaba, además de negarse a verlo. Vincent insistió con los padres de ella, fue a su casa a intentar verla de nuevo, los familiares le llegaron a decir que su insistencia era «asquerosa». En diciembre de 1881, escribió a su hermano, le contó la historia y las disputas con su padre: «Pero como puedes ver, estoy nuevamente en La Haya; por Navidad tuve una disputa bastante grave con nuestro padre, que llegó al extremo de decirme que sería mejor que abandonase la casa. Lo dijo tan enérgico que me fui aquel mismo día».
En La Haya, su primo Antón, pintor de acuarelas, le aconsejó e insistió en la importancia de que aprendiese perspectiva y dibujo. Vincent hizo entonces sus primeras acuarelas y naturalezas muertas, utilizando tonos apagados, como se ve en las acuarelas: Los pobres y el dinero (1882) y Naturaleza muerta con col y zuecos (1881).
Mientras, su vida amorosa tomó un nuevo rumbo. Desesperado tras el rechazo de su prima Kee, o quizá por compasión, Vincent recogió de la calle a Sien Hoornik, una prostituta alcohólica, embarazada y con una hija, con la que vivió durante un año; tanto la madre como la hija le sirvieron de modelo. En el dibujo Dolor, en el margen inferior, citó las palabras de Jules Michelet del tratado La Femme (1860): Cómo es que hay en la tierra una sola mujer?. Sien, por la falta de recursos económicos, había vuelto a ejercer la prostitución y esto, unido a la gran presión que padecía Van Gogh por parte de su padre, de su hermano Theo y su primo Mauve (con quien llegaría a discutir y romper su amistad), hizo que este intento de vida familiar también fracasara.
Concluida esta relación con Clasina María Hoornik (Sien), se trasladó a Drente, al norte de los Países Bajos, donde permaneció durante tres meses y pintó temas paisajistas en pintura al óleo, en los que se puede apreciar la diferencia con los dibujos realizados anteriormente. Como quería plasmar todos los detalles, realizó los óleos con trazos gruesos y pinceladas espesas. Esta temporada sintió más que nunca la soledad; en las cartas dirigidas a su hermano, le insistía en que abandonara su trabajo de marchante y siguiese el camino de la pintura. En diciembre de 1883 regresó nuevamente a la casa paterna, esta vez en Nuenen, donde el padre había sido trasladado.
En Nuenen, fue bien recibido por su familia que le acondicionó una habitación como taller. En este periodo se dedicó a dibujar y pintar el trabajo en los telares. Coincidió con un amigo suyo Anthon van Rappard al que había conocido en Bruselas y que había venido a pasar unos días en Nuenen, los dos juntos estudiaron y pintaron a los tejedores rurales. En estas obras Van Gogh no consiguió la misma técnica que su amigo, pero éste le sirvió de ejemplo.
En noviembre de 1885 llegó a Amberes, donde ocupó un pequeño taller encima de una tienda de pinturas; el alquiler lo pagaba su hermano. Compró en unos anticuarios algunas xilografías japonesas, y se dedicó a copiar modelos de yeso de esculturas antiguas, expuestas en la entonces Real Academia de Amberes, a pesar de su desacuerdo con la enseñanza académica. Descubrió las pinturas de Rubens, que con su colorido y sus formas femeninas le abrieron la alternativa del uso de colores como el carmín y el verde esmeralda. En esta época contrajo sífilis, que aunque fue tratada médicamente, le hizo perder casi todos los dientes. En febrero de 1886, comentó en cartas dirigidas a Theo que sólo se había podido permitir seis o siete comidas calientes desde el mes de mayo anterior.
El año 1886 se mudó a París, a vivir junto a su hermano menor Theo, a quien avisó con esta simple nota: «Estaré en el Louvre desde el mediodía, o antes, si lo deseas». Theo, que trabaja en Boussod & Valadon, le descubrió a Vincent los trabajos del impresionismo; lo que produjo una paleta más luminosa, donde el color jugaría un rol fundamental en el resto de su obra. Durante los dos años siguientes, los dos hermanos tuvieron múltiples fricciones y siempre tuvo que ser Theo el que cediese y perdonase.