Musevilerin Romalılar tarafından Kudüs'ten ve civarından sürülmesinin ardından, bölge uzun süre boş kaldı. Ancak Roma İmparatorluğu'nun İmparator Konstantin döneminde Hıristiyanlığı kabul etmesinin üzerine, Kudüs yeniden ilgi odağı oldu. Hıristiyan Romalılar Kudüs'te kiliseler inşa ettiler, Musevilerin bölgede yerleşmesine yönelik yasakları da kaldırdılar. Filistin 7. yüzyıla dek Roma (Bizans) toprağı olarak kaldı. Kısa bir süre Persler bölgeyi ellerinde tuttular, ama sonra Bizans yeniden Filistin'in hakimi oldu.
Filistin tarihindeki en büyük dönüm noktası ise, 637 yılında bölgenin İslam orduları tarafından fethedilmesiydi. Bu fetih, asırlardır savaşlara, sürgünlere, yağma ve katliamlara sahne olan, farklı inançlar arasında sık sık el değiştiren ve değiştirdikçe de yeni vahşetler yaşayan Filistin'e, barış ve huzurun yerleşmesi anlamına geliyordu. İslam'ın hakimiyeti, Filistin'de farklı inançların birarada barış içinde yaşayabileceği bir çağın başlangıcı oldu.
Filistin, Peygamberimiz (sav)'den sonraki ikinci halife olan Hz. Ömer tarafından fethedildi. Hz. Ömer'in Kudüs'e girişi, ardından buradaki farklı inançlara karşı gösterdiği örnek şefkat, olgunluk ve nezaket, başlayan güzel dönemin habercisiydi. İngiliz tarihçi ve Ortadoğu uzmanı Karen Armstrong, Holy War (Kutsal Savaş) adlı kitabında, Hz. Ömer'in Kudüs fethini şöyle anlatır:
Halife Ömer Kudüs'e beyaz bir devenin üzerinde girdi, yanında ise kentin Yunan yöneticisi Başrahip Sophronius vardı. Halife kendisinin öncelikle Tapınak Tepesine (yıkık olan Hz. Süleyman mabedinin yerine) götürülmesini rica etti ve dostu Muhammed (as)'ın gece yolculuğunu (Mirac) yaptığı bu noktada eğildi ve dua etti. Başrahip bu sahneyi dehşet içinde izliyordu... "Son günler"in artık yaklaştığını sanmıştı. Daha sonra Halife Ömer Hıristiyan tapınaklarını görmek istedi ve tam Kutsal Mezar (Holy Sepulchre) Kilisesi'ne gittiğinde, namaz vakti geldi. Başrahip kendisini kibarca namazını bu kilisede kılmaya davet etti, ama Halife Ömer bu teklifi kibarca reddetti. Eğer bu kilisede namaz kılarsa, sonra bazı Müslümanların bu olayı anıtlaştırmak amacıyla buraya bir cami inşa etmek isteyebileceklerini, bunun ise Kutsal Mezar Kilisesi'nin yıkılması anlamına geleceğini izah etti. Bu nedenle Halife kiliseden çıkıp biraz daha ilerideki bir noktada namazını kıldı; nitekim bugün tam bu noktada, Kutsal Mezar Kilisesi'nin tam karşısında Halife Ömer'in adına inşa edilmiş küçük bir cami bulunmaktadır.
Halife Ömer'in diğer büyük camii ise, tam Tapınak Tepesi'nde yapıldı. Yıllardır Hıristiyanlar, yıkık Musevi Tapınağının yer aldığı bu alanı, şehrin çöp yığınağı olarak kullanıyorlardı. Halife, Müslümanların bu çöpleri temizlemelerine kendi elleriyle yardım etti ve burada Müslümanlar iki mabed inşa ederek İslam'ı, İslam'ın dünyadaki üçüncü kutsal şehrine yerleştirmiş oldular.
Kısacası Müslümanlarla birlikte Kudüs'e ve tüm Filistin'e "medeniyet" geldi. Birbirlerinin kutsal değerlerine saygı göstermeyen, birbirlerini sırf farklı inançlara sahip oldukları için katliamdan geçiren vahşi ve barbar inançların yerine, İslam'ın adil, sevecen ve mutedil kültürü hakim oldu. Hz. Ömer fethinden sonra Filistin'de Müslümanlar, Hıristiyanlar ve Museviler asırlar boyu barış ve huzur içinde yaşadılar. Müslümanlar hiç kimseyi zorla İslamlaştırmaya çalışmadılar, ancak İslam'ın hak din olduğunu gören bazı gayrimüslimler kendi rızalarıyla Müslüman oldular.
Filistin'deki bu barış ve huzur, bölge Müslümanların hakimiyetinde olduğu sürece devam etti.
