Le premier congrès se réunit à Bâle en 1897. C’est l’organisation sioniste qui entérine le choix de la Palestine pour l’état des Juifs. Le développement du sionisme combiné à la peur suscitée par les nouveaux pogroms à Kichinev, en 1903 et 1905, aboutissent à la deuxième vague d’immigration en terre d’Israël ou deuxième alya, qui amène quelques dizaines de milliers d’immigrants d’Europe orientale.

Ce succès relatif de l’immigration juive en Palestine ne doit pas faire oublier qu’à la même époque, ce sont des centaines de milliers de Juifs qui préfèrent émigrer vers les États-Unis. Les sionistes restent minoritaires au sein du peuple juif, où les orthodoxes, coalisés dans l’Agoudat Israel, s’opposent très vivement à eux. C’est aussi durant cette période qu’apparaissent les premiers signes d’opposition arabe au mouvement sioniste : en 1891, des notable hiérosolomytains protestent contre la vente de terre aux Juifs ; en 1908, sont fondés les premiers journaux nationalistes arabes Al-Karmel et Falistin.