Trang web này tập trung các slide bài giảng và bài tập của môn tối ưu hóa nâng cao giảng dạy tại trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội.


Tài liệu tham khảo bắt buộc:

  1. J. Nocedal and S. Wright, Numerical Optimization (Springer).
  2. S. Boyd and L. Vandenberghe, Convex Optimization (Cambridge University Press)

Tài liệu tham khảo thêm

  1. D. Luenberger and Y. Ye, Linear and Nonlinear Programming (Springer)
  2. Chương 8 Optimization for Training Deep Models trong sách Deep learning https://www.deeplearningbook.org/

Một số bài giảng online:

  1. Convex Optimization, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236b/ee236b.html
  2. Optimization Methods for Large-Scale Systems, Prof. L. Vandenberghe, (UCLA): http://www.seas.ucla.edu/~vandenbe/ee236c.html
  3. Convex Optimization, Prof. R. Tibshirani (CMU): http://www.stat.cmu.edu/~ryantibs/convexopt/
  4. Machine learning refined, https://jermwatt.github.io/mlrefined/

Các điểm thành phần
  • Điểm thường xuyên (20% – lấy từ điểm bài tập)
  • Điểm giữa kì (20%)
  • Điểm cuối kì (60%)

Bài tập về nhà

Mỗi nhóm có tối đa 2 thành viên, sẽ do trưởng nhóm đại diện nộp bài tập, code và slide thuyết trình lên google classroom trước deadline. Các nhóm nộp muộn sẽ không được tính điểm.


Slide bài giảng và bài tập

Phần 1: Giới thiệu chung


Tuần 1 (22.5)

Tự đọc lại một số kiến thức cơ sở về đạo hàm


Tuần 2 (5.6)

Tự đọc

Bài tập 1. Hạn nộp bài 9:00 (sáng) ngày 19.6.


Tuần 3 (12.6)

Bài tập 2: áp dụng thuật toán gradient descent, stochastic gradient descent và batch gradient descent cho bài toán logistic regression với tập dữ liệu voicegender. Hãy so sánh thời gian tính toán và kết quả của các thuật toán này với nhau. Hạn nộp bài 2.7 và thuyết trình 3.7.


Tuần 4 (19.6)


Tuần 5 (26.6)


Tuần 6 (3.7)

  • Thuyết trình kết quả bài tập 2 (mỗi nhóm có 15 phút thuyết trình, 5 phút trả lời câu hỏi)

Lưu ý cho các bài thuyết trình: Mọi thành viên của nhóm đều phải tham gia thuyết trình và trả lời câu hỏi, giảng viên có thể tùy ý đảo lại thứ tự thuyết trình của các thành viên trong nhóm (mỗi thành viên đều phải nắm rõ nội dung toàn bộ bài thuyết trình). Các thành viên không tham gia vào việc nhóm sẽ bị tách ra khỏi nhóm và phải tự làm trong tất cả các bài tiếp theo.


Tuần 7 (10.7)

  • Thuật toán Newton
  • Một vài ví dụ áp dụng các thuật toán
  • Thuật toán tựa Newton: nội dung đọc thêm, tự tham khảo chương 6 sách Numerical Optimization của J. Nocedal và S. Wright.

Bài tập 3: Áp dụng thuật toán gradient descent, accelerated gradient và Newton cho bài toán bên dưới (với stepsize cố định và dùng backtracking), so sánh các thuật toán (về thời gian chạy, số bước, chất lượng nghiệm …). Hãy dùng đồ thị biểu diễn kết quả so sánh tương tự như tại đây. Hạn nộp bài 23.7 và thuyết trình 24.7.

Bài toán: giải bài toán hồi quy tuyến tính sử dụng một trong hai gói dữ liệu data 1, data 2.


Tuần 8 (17.7)

Kiểm tra giữa kì (90 phút)


Tuần 9 (24.7)

Thuyết trình bài tập 3 (mỗi nhóm có 15 phút thuyết trình, 5 phút trả lời câu hỏi)


Tuần 10 (31.7)

Bài tập 4. Hạn nộp bài 9:00 (sáng) ngày 7.8


Tuần 11 (7.8)

  • Chữa bài tập 4
  • Hỏi đáp & Ôn tập