文字内容
1. 新趋势下架构师的机遇与挑战 马艳军
3. 端到端AI计算对架构提出了更高要求 训练 预测 I/O密集 计算密集 通信密集 吞吐、延迟 更敏感
4. 无处不在的计算,无处不在的连接给架构设计带来新的挑战 Device Edge Cloud
5. 深度学习平台练就全栈架构师 行业应用 业务模型 操作系统 深度学习辅助工具 数 据 训练框架 模 型 芯片 预测框架
6. 以飞桨大规模稀疏参数服务器设计为例 全异步并发设计 解决的问题 Aggregate and send grad to server Push Gradients 超大规模数据 Push Gradients Async comm Async comm FF/BP OpS Execution Dense Model Parameter In Global Scope FF/BP OpS Execution Pu11 Sparse Parameter Pu11 Sparse Parameter Data Feeding Data Feeding Async comm Sparse Model Parameter In Thread Scope Async comm Data Shard Pul1 Dense Paraneter 海量特征&自膨胀 Baidu-rpc supported Key-Value Table on Each Node Auto Growwth Data Shard Training Threads 高并发异步训练Worker,Hogwild! 高性能KV参数服务器 高频率模型迭代
7. 新趋势下架构师的机遇和挑战 算法 架构 硬件