2024年成为AI工程师的3个路径和技能
2024年成为AI工程师的3个路径和技能
随着人工智能技术的迅速发展，AI工程师成为了当下和未来的重要技术角色之一。对于许多软件工程师来说，转型成为人工智能工程师是一个具有吸引力的选择。那么，如果你是一名软件工程师，想要成为一名AI工程师，应该如何规划自己的职业发展呢？
作为软件工程师，你已经具备了编程和软件开发的基础知识，这为你转型成为人工智能工程师打下了坚实的基础。接下来，你需要学习人工智能领域的相关知识和技能。这包括机器学习、深度学习、数据挖掘、自然语言处理等方面的知识。你可以通过在线课程、培训班或者自学来获得这些知识。另外，参与一些开源项目或者实际项目也是一个很好的学习途径，通过实际动手去做，可以更好地理解和掌握这些知识和技能。
除了技术知识之外，数学和统计学也是人工智能工程师必备的知识。因为在人工智能领域，数学和统计学被广泛应用于算法和模型的设计与优化。所以，建议你在学习技术知识的同时，也要加强数学和统计学的学习。
另外，要想成为一名优秀的人工智能工程师，不仅需要具备扎实的技术功底，还需要具备良好的问题解决能力和团队合作能力。因此，在职业发展过程中，你也可以多参与一些与团队合作相关的项目或者活动，提升自己的沟通协调能力和团队合作意识。
AI工程师技能要求
由于这是一项核心工程技能，因此先决条件如下：
- 对Python/JS编程有中级理解。
- 理想情况下，你必须具有使用Flask、Rails或Node.js编写至少2-3个中等复杂应用程序（例如博客Web应用程序）的经验。
- 你至少可以轻松地阅读要构建的文档。
- 你可以在VS Code等IDE中进行编码。
- 使用git和GitHub虽然很重要，但可以在开发项目时学习。
AI工程师路线图
我将整个AI工程师轨道分为3个阶段，如图所示，在这个路线图中从左到右，即从初级到中级到高级。每个阶段代表的内容如下：
- 初学者（<=1个月）-构建基本应用程序以学习使用LLM API，为你的应用程序仔细设计提示并使用开源LLM。
- 中级（约2个月）-使用检索增强生成（RAG）深入构建更多上下文感知的高级应用程序。了解矢量数据库以及如何使用矢量数据库。学习使用法学硕士和工具构建代理。
- 高级（约3个月）-掌握应用程序构建后，学习使用LLMOps在生产中部署、优化和管理由LLM支持的应用程序。学习微调预先训练的模型，以高效且低成本地适应下游应用程序。
初级技能
- 了解LLM的基础知识——你应该只知道ChatGPT在高层次上是如何工作的。
- 学习面向开发人员的快速工程。如何编写提示以提高法学硕士的反应。
- 学习使用API中的数据，学习使用JSON数据。
- 学习调用封闭和开源LLM模型、函数调用、传递提示和解析响应。
- 学习从对话中管理上下文空间。
- 学习创建和自动化一系列操作——使用langchain的链。
- 使用Gradio或Streamlit进行POC和演示的基本应用程序开发。
- 部署你的应用程序以使其可访问——HuggingFace Space或Streamlit云上的基本部署。
- 多模式生成——使用HuggingFace transformer库的代码、图像、音频。
中级项目
- 了解向量嵌入和向量数据库。
- 学习如何在你的应用程序中使用矢量数据库。
- 构建检索增强一代（RAG）——与你的知识库聊天。
- 开发高级RAG管道，例如子问题查询引擎，可以在遍历多个数据源后提供响应。
- 构建代理——迭代工作流程来完成一项大任务。
- 构建多代理应用程序，其中多个代理一起工作以提供更好的解决方案。
- 具有多个代理的自动化——Autogen和Crew AI
- 评估RAG——RAGA框架。
- 管理数据库、检索、部署完整的应用程序、版本控制、日志记录和监控模型行为。
高级项目
- 针对特定领域的知识和定制的响应（如医学研究、金融研究、法律分析）对预先培训的法学硕士进行微调。
- 整理数据集并设计（ETL管道）管道以进行模型微调。
- 评估和基准模型性能
- LLMOps——通过模型注册、可观察性和自动化测试构建完整的端到端管道。
- 构建多模态应用程序——文本和图像的混合语义搜索
- 构建SDK、软件包和自定义解决方案以支持其他开发人员
- 使用即时黑客攻击等技术，并通过检查漏洞和潜在风险，结合防御措施来保护你的AI应用程序。
如何培养这些技能
人工智能充满了学习资源和教程。有很多很好的资源可以学习所有这些概念，并且有很多优秀的人正在推出关于每个主题的非常深入和详细的材料。
最好的学习方式——构建！我们已经了解了应该做什么，让我们谈谈最好的方法。
从事项目工作。最好的方法不仅是学习，而且真正理解这些概念。它将进一步提高思考前沿用例的技能。你可以在同一存储库中找到项目想法。