我正在搜索它的檔案，但找不到任何相關文章。
我想知道我是否可以在 Apify 專案中定義多個爬蟲，就像您可以在 Scrapy 上擁有多個蜘蛛一樣，或者我是否必須為我喜歡爬取的每個新網站創建一個新專案。
如有任何回復，我將不勝感激，在此先感謝您！
uj5u.com熱心網友回復：
是的，您可以創建所需/想要的任意數量的爬蟲實體。
將站點地圖爬行之類的東西分開通常是一件好事，使用它自己的CheerioCrawler/BasicCrawler具有特定設定和特定佇列的實體，然后使用所需爬蟲的完整爬蟲，例如PuppeteerCrawler，如果需要也使用它自己的佇列。
您可以選擇并行運行它們
await Promise.all([
crawler1.run(),
crawler2.run(),
]);
或一次一個，使用
await crawler1.run();
await crawler2.run();
使用時需要注意的Promise.all是，如果它們正在讀取/寫入相同的鍵值存盤，您可能會遇到一些競爭條件。如果他們不共享任何狀態，那么您應該很高興。
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/468772.html