Trang web này tập trung các slide bài giảng và bài tập của môn tối ưu hóa nâng cao giảng dạy tại trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội.
Tài liệu tham khảo bắt buộc:
- J. Nocedal and S. Wright, Numerical Optimization (Springer).
- S. Boyd and L. Vandenberghe, Convex Optimization (Cambridge University Press)
Tài liệu tham khảo thêm
- D. Luenberger and Y. Ye, Linear and Nonlinear Programming (Springer)
- Chương 8 Optimization for Training Deep Models trong sách Deep learning https://www.deeplearningbook.org/
Một số bài giảng online:
- Convex Optimization, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236b/ee236b.html
- Optimization Methods for Large-Scale Systems, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236c.html
- Convex Optimization, Prof. R. Tibshirani (CMU): http://www.stat.cmu.edu/~ryantibs/convexopt/
- Machine learning refined, https://jermwatt.github.io/mlrefined/
Các điểm thành phần
- Điểm thường xuyên (20% – lấy từ điểm bài tập)
- Điểm giữa kì (20%)
- Điểm cuối kì (60%)
Bài tập về nhà
Mỗi nhóm có tối đa 2 thành viên, sẽ do trưởng nhóm đại diện nộp bài tập, code và slide thuyết trình lên google classroom trước deadline. Các nhóm nộp muộn sẽ không được tính điểm.
Slide bài giảng và bài tập
Phần 1: Giới thiệu chung
Tuần 1 (12.6)
- Tự giới thiệu và làm quen
- Giới thiệu chung
- Các kiến thức cơ sở
Tự đọc lại một số kiến thức cơ sở về đạo hàm
Tuần 2 (19.6)
Tự đọc
Bài tập 1. Hạn nộp bài 19:00 ngày 2.7.
Tuần 3 (26.6)
Bài tập 2: áp dụng thuật toán gradient descent, stochastic gradient descent và batch gradient descent cho bài toán logistic regression với tập dữ liệu voicegender. Hãy so sánh thời gian tính toán và kết quả của các thuật toán này với nhau. Hạn nộp bài 19:00 ngày 23.7 và thuyết trình 24.7.
Tuần 4 (3.7)
nghỉ học
Tuần 5 (10.7)
- Chữa bài tập 1
- Thuật toán Newton
- Một vài ví dụ áp dụng các thuật toán
- Thuật toán tựa Newton: nội dung đọc thêm, tự tham khảo chương 6 sách Numerical Optimization của J. Nocedal và S. Wright.
Tuần 6 (17.7)
- Subgradient
- Thuật toán subgradient
- Một số thuật toán bậc nhất khác: nội dung đọc thêm, tự tham khảo chương 11 sách https://d2l.ai/d2l-en.pdf
Bài tập 3: Áp dụng thuật toán gradient descent, accelerated gradient và Newton cho bài toán bên dưới (với stepsize cố định và dùng backtracking), so sánh các thuật toán (về thời gian chạy, số bước, chất lượng nghiệm …). Hãy dùng đồ thị biểu diễn kết quả so sánh tương tự như tại đây. Hạn nộp bài 19:00 ngày 6.8 và thuyết trình 7.8.
Bài toán: giải bài toán hồi quy tuyến tính sử dụng một trong hai gói dữ liệu data 1, data 2.
Tuần 7 (24.7)
- Thuyết trình kết quả bài tập 2 (mỗi nhóm có 15 phút thuyết trình, 5 phút trả lời câu hỏi)
Lưu ý cho các bài thuyết trình: Mọi thành viên của nhóm đều phải tham gia thuyết trình và trả lời câu hỏi, giảng viên có thể tùy ý đảo lại thứ tự thuyết trình của các thành viên trong nhóm (mỗi thành viên đều phải nắm rõ nội dung toàn bộ bài thuyết trình). Các thành viên không tham gia vào việc nhóm sẽ bị tách ra khỏi nhóm và phải tự làm trong tất cả các bài tiếp theo.
Tuần 8 (31.7)
Tuần 9 (7.8)
Thuyết trình bài tập 3 (mỗi nhóm có 15 phút thuyết trình, 5 phút trả lời câu hỏi)
Tuần 10 (14.8)
Bài tập 4. Hạn nộp bài 19:00 ngày 20.8
Tuần 11 (21.8)
- Chữa bài tập 4
- Hỏi đáp & Ôn tập
Lịch thi học kỳ sẽ thông báo sau