- 可以使用llms.txt Generator将任何网站的内容合并成一个文本文件 - 使用@firecrawl_dev爬取整个网站，并使用gpt-4o-mini提取数据 - 可以在https://t.co/YvULzHPApm上创建自己的llms.txt文件 Eric Ciarla宣布了一款可能改变游戏规则的新工具：llms.txt生成器。这一创新工具允许用户将整个网站转换为单个文本文件，简化了向LLM提供数据的过程。这个生成器的独特之处在于利用@firecrawl_dev进行高效的网络爬取，并集成了gpt-4o-mini进行精确的数据提取。这可能会显著简化LLM的训练数据准备过程，潜在地提高模型训练的效率。对于任何从事机器学习、自然语言处理或数据科学的人来说，这个工具代表了我们收集和准备LLM数据方式的显著进步。您可以访问提供的网站，探索这个新工具，并创建自己的llms.txt文件。