在线OJ项目核心思路
文章目录
- 在线OJ项目核心思路
- 1. 项目介绍
- 2.预备知识
- 理解多进程编程
- 为啥采用多进程而不使用多线程?
- 标准输入&标准输出&标准错误
- 3.项目实现
- 题目API实现
- 相关实体类定义
- 新增/修改题目
- 获取题目列表
- 编译运行
- 编译运行流程
- 4.统一功能处理
在线OJ项目核心思路
1. 项目介绍
该项目是一个类似于力扣的在线OJ平台，可以进行题目的编写和提交编译运行以及结果展示，使用的技术栈有：Java、MySQL、SpringBoot、MyBatis、Redis、Nginx、Docker
主要功能如下:
- 登录和注册(Session持久化+密码加盐)
- 图形验证码验证登录
- 题目管理(题目的添加和修改)
- 题目提交(编译+运行)
- 题目编译/运行结果展示
- Nginx+Docker实现负载均衡
2.预备知识
理解多进程编程
什么是进程?
进程可以看做操作系统中一个正在运行的程序的一个抽象，也可以把进程看做是程序的一次运行过程。在操作系统内部，进程是操作系统进行资源分配的基本单位
-
使用 PCB(进程控制块) 描述进程
-
组织：使用一定的数据结构来组织，常见做法就是使用双向链表
-
进程之间是相互独立的
什么是多进程?
一个CPU运行多个进程
由于CPU的运行速度极快，虽然CPU在一直进行切换，但是咱们坐在电脑前的用户，是感知不到这个切换过程的
进程和线程的关系
- 进程是包含线程的，一个进程里可以有一个线程，也可以有多个线程
- 每个进程都有独立的内存空间(虚拟地址空间)，同一个进程的多个线程之间，共用这个虚拟地址空间
- 进程是操作系统分配资源的基本单位，线程是操作系统调度执行的基本单位
- 如果一个进程挂了, 不会影响到其他进程. 如果一个线程挂了, 则整个进程都要异常终止.
- 进程更重量, 线程更轻量. 创建/销毁/调度线程比进程更高效.
Java中的多进程编程
Java中中对系统提供的进程创建、进程终止、进程程序替换、进程间通信进程了限制，最终只给用户提供了两个操作
进程的创建
创建出一个新的进程，让这个新的进程来执行一系列任务，被创建出来的进程，称为"子进程"，创建子进程的进程，称为"父进程",服务器的进程就相当于一个父进程
根据收到的用户发送过来的代码再 创建出一个子进程，一个父进程，可以有多个子进程，但是一个子进程，只能有一个父进程
为啥采用多进程而不使用多线程?
一个操作系统上是运行了很多进程的，因为进程之间是相互隔离的，一个进程挂了是不会影响到其它进程的。如果使用多线程，我们并不知道用户提交的会提交什么样的代码，很可能提交一些恶意代码导致线程崩溃，而线程挂了很有可能就影响到了我们的整个服务进程。所以一定要采用多进程而不是多线程。
标准输入&标准输出&标准错误
java和javac是一个控制台程序，它的输出，是输出到“标准输出”和"标准错误"这两个特殊的文件当中的，一个进程启动的时候，就会自动打开三个文件：
- 标准输入，对应到键盘
- 标准输出，对应到显示器
- 标椎错误，对应到显示器
Runtime是Java中内置的一个单例类
- 通过runtime.exec方法参数是一个字符串，表示一个可执行程序的路径，执行这个方法就会把指定路径的可执行程序，创建出一个子进程并执行。
- runtime.exec()方法返回的是一个Process类，表示的就是一个子进程，后续通过这个子进程来进行操作
- 获取标准输入：
process.getInputStream()：该方法能把process这个子进程的标准输出给读取出来 - 获取标准错误：
process.getErrorStream()：该方法能把process这个子进程的标准错误给读取出来 - 进程等待：
process.waitFor()：该方法能能让主进程进行阻塞等待，等待子进程process执行完毕。
- 获取标准输入：
3.项目实现
题目API实现
相关实体类定义
题目实体类
public class Problem {private Integer id;private String title;private String levels;private String description;private String templateCode;private String testCode;private Date createTime;private Date updateTime;
}
新增/修改题目
新增修改题目通过判断url中的querystr里是否存在题目Id,来判断是修改题目还是新增题目
约定请求：
post
{"id" : "","title" : "题目标题","levels" : "题目难度","description" : "题干","templateCode" : "题目代码模板","testCode" : "题目测试用例"
}
响应：
{code : 200,message : ""data:
}
@PostMapping("/add")
public Response add(@RequestBody Problem problem) {if (problem == null || problem.getTitle() == null || "".equals(problem.getTitle().trim()) || problem.getLevels() == null ||"".equals(problem.getLevels().trim()) || problem.getTestCode() == null || "".equals(problem.getTestCode().trim()) ||problem.getTemplateCode() == null || "".equals(problem.getTemplateCode().trim())) {return Response.fail("题目参数不完整");}int ret = problemService.add(problem);if (ret == 1) {return Response.success(200,"添加成功");}return Response.fail("添加失败");
}
获取题目列表
请求：
post
{/problem/all
}
响应：
{code : 200,message:"",data:[{id : 1,title: "两数之和",levels: "简单",description: "题干",template: "题目模板"}]
}
编译运行
通过Answer表示编译运行结果，约定：
- 错误码为0表示运行成功
- 错误码为1表示编译错误
- 错误码为2表示运行错误
- 错误码为1表示提交了违规代码
public class Answer {// 错误码 0表示运行成功,1表示编译错误,2表示运行错误,-1表示违规代码private Integer errorCode;// 标准输出private String stdout;// 错误信息private String errorInfo;
}
Task类描述的是每一次代码的提交：
通过UUID生成唯一的目录，保证每个用户提交的代码相互隔离
public class Task {// 存放临时文件目录private String workDir;// 运行文件路径private String className;// 编译文件路径private String classFile;// 存放编译错误信息文件private String compileErrorFile;// 标准输出文件private String stdoutFile;// 标准错误文件private String stderrFile;public Task() {this.workDir = "./tmp/"+UUID.randomUUID().toString()+"/";this.className = "Solution";this.classFile = workDir+ "Solution.java";this.compileErrorFile = workDir+"compileErrInfo.txt";this.stdoutFile = workDir+"stdout.txt";this.stderrFile = workDir+"stderr.txt";}
}
编译运行流程
请求：
{problemId : "题目id",code : "提交的代码"
}
响应：
{code : 200,message : "信息",data:{errorCode : "错误码",stdout: "标准输出",derrorInfo, "出错信息"}
}
编译运行流程：
- 对用户提交代码进行判空
- 从数据库中查询出测试用例进和提交代码进行拼接，形成完整代码。
- 对用户提交代码进行安全校验，判断其是否提交操作系统命令、文件网络等危险操作代码
- 把拼接好的代码写入到对应文件
- 进行编译和运行。
如下方法表示一次编译或者运行：
- 通过判断stdoutFile是否为空来判断是编译还是运行
- 从子进程process中的标准错误流中读取数据写入到task类的唯一的编译错误信息文件中，再判断文件内容是否为空
- 如果编译错误信息文件不为空，说明编译出错直接返回
- 如果编译错误信息文件为空，说明编译正确，再对编译后的字节码进行运行
- 运行后再进行判断标准错误信息文件是否为空，如果为空说明运行正常，读取到标准输入文件里的信息返回给用户
/*** 编译运行* @param cmd 执行的命令* @param stdoutFile* @param stderrFile* @return*/
public static int run(String cmd,String stdoutFile,String stderrFile) {Runtime runtime = Runtime.getRuntime();int exitCode = -1;try {// 执行命令获得子进程Process process = runtime.exec(cmd);// 编译if (stdoutFile == null) {try (InputStream stderrInoutStream = process.getErrorStream();OutputStream stderrOutputSteam = new FileOutputStream(stderrFile);){int ch;// 将错误信息读入到错误日志文件while ((ch = stderrInoutStream.read()) != -1) {stderrOutputSteam.write(ch);}}}// 说明是运行if (stdoutFile != null) {try (InputStream stderrInoutStream = process.getErrorStream();OutputStream stderrOutputSteam = new FileOutputStream(stderrFile);InputStream stdoutInputStream = process.getInputStream();OutputStream stdOutputStream = new FileOutputStream(stdoutFile)){// 获取标准错误输入流int ch;// 将错误信息读入到错误日志文件while ((ch = stderrInoutStream.read()) != -1) {stderrOutputSteam.write(ch);}// 将子进程标准输出写入到指定文件while ((ch = stdoutInputStream.read()) != -1) {stdOutputStream.write(ch);}}}// 进程等待exitCode = process.waitFor();} catch (IOException e) {e.printStackTrace();} catch (InterruptedException e) {e.printStackTrace();}return exitCode;
}
拼接编译命令时通过 -d指定编译后的文件存放到指定位置，不然找不到字节码文件位置。
// 2.拼接编译命令
String compileCmd = String.format("javac -encoding utf8 %s -d %s",classFile,workDir);
//4.运行代码
String runCmd = String.format("java -classpath %s %s",workDir,className);
4.统一功能处理
统一登录拦截
定义拦截器：
- 创建自定义拦截器，实现Handlerlnterceptor接口的preHandle(执行具体方法之前的预处理)方法
- 将自定义拦截器加入WebMvcConfigurer的addInterceptors
提供一个管理员页面来对题目进行添加和修改。管理员页面使用拦截器对普通用户进行拦截.
@Configuration
public class AppConfig implements WebMvcConfigurer {@Overridepublic void addInterceptors(InterceptorRegistry registry) {registry.addInterceptor(new LoginInterceptor()).addPathPatterns("/**").excludePathPatterns("/user/login").excludePathPatterns("/user/reg").excludePathPatterns("/user/verificationCode").excludePathPatterns("/login.html").excludePathPatterns("/reg.html").excludePathPatterns("/css/**").excludePathPatterns("/js/**").excludePathPatterns("/img/**");registry.addInterceptor(new AdminInterceptor()).addPathPatterns("/admin.html").addPathPatterns("/addProblem.html").addPathPatterns("/problem/update").addPathPatterns("/problem/add");}
}
统一格式返回
统一的数据返回格式使用@ControllerAdvice+ResponseBodyAdvice实现
@ControllerAdvice
public class ResponseAdvice implements ResponseBodyAdvice {@Resourceprivate ObjectMapper objectMapper;@Overridepublic boolean supports(MethodParameter returnType, Class converterType) {return true;}@Overridepublic Object beforeBodyWrite(Object body, MethodParameter returnType, MediaType selectedContentType, Class selectedConverterType, ServerHttpRequest request, ServerHttpResponse response) {if (body instanceof Response) {return body;}if (body instanceof String) {try {return objectMapper.writeValueAsString(body);} catch (JsonProcessingException e) {e.printStackTrace();}}return Response.success(body);}
}
统一异常处理
@ControllerAdvice
public class ExceptionAdvice {@ExceptionHandler(Exception.class)@ResponseBodypublic Response exceptionAdvice(Exception e) {return Response.fail("服务器异常");}
}