A lo largo de los siglos XVII y XVIII, tanto los colonizadores holandeses como los británicos utilizaron la propaganda para atraer a los colonos a la isla de Manhattan con la promesa de una vida mejor. Durante los primeros años de la ocupación holandesa, muchos ciudadanos holandeses tenían poco interés en abandonar una Holanda económicamente próspera por la Colonia de Nueva Holanda. Una vez establecidos, los colonos empezaron a explotar a las comunidades indígenas, a agotar los recursos fértiles de la isla y a desarrollar infraestructuras y sistemas para abastecerse y enriquecerse.
En 1626 llegaron a Nueva Ámsterdam los primeros africanos esclavizados, 11 en total, comprados a piratas que robaban barcos españoles. En 1644, los africanos eran traídos directamente a Nueva Ámsterdam desde África. En 1658, Peter Stuyvesant ordenó a los africanos esclavizados de la colonia que construyeran un camino de carros desde el asentamiento de Nueva Ámsterdam en el Bajo Manhattan hasta el recién incorporado asentamiento de Nuevo Harlem en el Alto Manhattan. Bajo la administración de la Compañía Holandesa de las Indias Occidentales, los africanos esclavizados y los sirvientes blancos se consideraban una sola clase social y estaban sujetos a las mismas restricciones en cuanto a libertad personal y límites de propiedad. A esta clase combinada se le permitía ir y venir libremente, y muchos acabaron adquiriendo su propia libertad y se les permitió comprar parcelas de tierra pantanosa en el bajo Manhattan para sus granjas. En 1664, cuando se cedió el dominio de la colonia holandesa a los ingleses, habían llegado 174 hombres y 132 mujeres esclavizados. Dos años después, había treinta propietarios negros documentados en la región, mientras que Nueva York contaba con el mayor mercado de esclavos de Norteamérica, situado en Wall Street.
Mientras que la mayor parte de los asentamientos holandeses en la isla se concentraron en la parte sur, el norte de Manhattan permaneció prácticamente intacto hasta 1637, cuando los hermanos Hendrick e Isaac de Forest y Johannes Mousnier de La Montagne se embarcaron en el Rensselaerswijckun barco procedente de los Países Bajos, para reclamar fértiles tierras de cultivo al norte del asentamiento de Nueva Ámsterdam. Las tres plantaciones resultantes empezaron a tomar el carácter de un asentamiento permanente, centrado en la agricultura, la ganadería, la iglesia y la familia. El 4 de marzo de 1658, el Consejo Común de la ciudad de Nueva Ámsterdam aprobó una ordenanza de ocho puntos que concedía privilegios a los colonos que quisieran ir hacia el norte, al nuevo asentamiento llamado Nieuw Haarlem. Decía que este asentamiento se establecería "para el fomento de la agricultura[,] para la seguridad de esta isla y del ganado que pastorea en ella [y para] mayor diversión y desarrollo de la ciudad de Nueva Ámsterdam". Dentro de esta nueva aldea de Haarlem, situada entre las actuales calles 111 y 125, en el lado este de la isla, cada colono podía comprar uno de los veinticinco lotes de la aldea, de entre 24 y 48 acres, y seis acres de praderas saladas, aunque no adyacentes a sus lotes de la aldea. La comunidad, que se encontraba a medio día de marcha del Bajo Manhattan, servía de amortiguador militar para Nueva Ámsterdam, y pronto incluyó un mercado de ganado y un servicio de ferry.
En 1664, cuando la isla se convirtió en una colonia británica, Harlem seguía siendo un puesto remoto con
negocios y servicios relativamente limitados, mientras que Nueva Ámsterdam, ahora llamada Nueva York, vivió un siglo de rápido crecimiento y urbanización. En 1666, se completó el primer estudio de la isla y los especuladores comenzaron a planificar la expansión de Harlem como una parada importante en el camino del correo a Boston. Tres años más tarde, el gobernador formó una comisión que obligó a los esclavizados a mejorar los caminos de la parte alta de la ciudad, concentrándose en nivelar y ampliar el sendero indígena que llevaba desde el extremo norte de la isla a Nueva York, que se creía "intransitable" para los colonos. Al cabo de tres años, el camino estaba en tal estado que las carretas podían circular con seguridad por la ruta. Sin embargo, la carretera seguía siendo remota, ya que en algunos lugares atravesaba una zona salvaje habitada por osos y panteras junto a los lenape que aún permanecían en la parte más septentrional de la isla. En 1685, los colonos habían diezmado la población de lobos y expulsado a la mayoría de los últimos nativos que quedaban. La zona que rodea a la actual mansión Morris-Jumel estaba cerca de la bifurcación en la que los viajeros podían elegir entre tomar la Post Road por el lado este de la isla o la Bloomingdale's Road, más tarde llamada Broadway, hacia el oeste.
Gran parte de la actividad económica del norte de Manhattan fue posible gracias al trabajo de los africanos esclavizados y de los indígenas. A finales del siglo XVII, más de un tercio de la población de la isla estaba formada por africanos libres y esclavizados. De los pocos africanos libres y esclavizados que vivían en Haarlem, las comunidades eran en su mayoría diminutas, autónomas y relativamente independientes, con mercados y establecimientos separados para comer, beber y divertirse. Según el autor Jonathan Gill en su libro Harlemla población negra holandesa de Harlem "vivía en sus propias casas y seguía trabajando con relativa libertad frente a la discriminación y la violencia que se producía en las colonias del sur, que también se hacía más común en el centro".
Las relaciones raciales siguieron siendo tensas durante la ocupación británica de la isla, y se aprobaron nuevas leyes y reglamentos para ejercer un mayor control sobre la gente de color. Los esclavizados tenían ahora que llevar pases para viajar y se les impedía participar en el comercio con los blancos, poseer armas o reunirse en público en gran número.
"Harlem", 1869, The New York Public Library Digital Collections. División de Arte, Impresiones y Fotografías Miriam e Ira D. Wallach: Colección de imágenes.
En 1669, uno de los esclavos propiedad de Daniel Tourneu, uno de los primeros colonos de Harlem, huyó hacia el norte, a los densos bosques de la isla. Los funcionarios británicos iniciaron una persecución policial a gran escala del individuo, y la fuga provocó una protesta pública. Uno de los hijos de Daniel Tourneu, Thomas, compraría más tarde los lotes dieciséis y diecisiete del municipio de Harlem, el terreno que hoy comprende la mansión Morris-Jumel.
En 1711, en el momento de la creación del Mercado de Esclavos de la ciudad, había ochenta y cuatro individuos esclavizados en Harlem (entonces denominado "Out Ward"), lo que suponía una cuarta parte de la población del barrio. Más de la mitad de las familias blancas de Harlem eran esclavistas de negros.
El año siguiente fue la primera vez que se inspeccionó adecuadamente todo el "barrio exterior". A pesar de la creciente población de la zona, la mayor parte del terreno permaneció densamente arbolado durante las décadas siguientes. A mediados del siglo XVIII, los neoyorquinos adinerados se hicieron construir casas de campo en el actual norte de Manhattan para huir de la delincuencia, la suciedad y las enfermedades que asolaban la ciudad en rápido crecimiento. Pronto, la región se dio a conocer como destino de ocio y entretenimiento para los viajeros. Sin embargo, los residentes permanentes de Harlem seguían profundamente influenciados por el estilo de vida holandés y eran partidarios de la independencia de la corona británica.