Blog of science and life

Backup Sqlite3 with Litestream - Tutorial

2023-10-19T11:21:00+07:00

What is backup and restore?

Backup: Imagine on a Sunday morning, your hard drive dies. You can't access anything. Your bitcoin wallet's private key is the only copy, and it's on that hard drive. Sounds horrifying, right? That's when a backup comes in handy and saves the day (and maybe your life too).

Restore: Backups are amazing, but if done incorrectly, you're screwed. So every time you make a backup, make sure to try restoring it, even just once is more than enough. You'll thank yourself later. You'll feel like a god, being able to see the future and prevent disasters.

In this era of information, it's crucial to have a snapshot of your important data somewhere else. Having three copies will do the trick. More is even better.

What is Sqlite3?

Sqlite3 is an amazing database; you don't need to run any processes for your database anymore. Just write to a single database file db.sqlite3 and you will have more than enough for 90% of whatever you want to build. And if you only have one file, backing up and restoring it is very simple, if you use Litestream.

What is Litestream?

You can read more about Litestream here.

Litestream is a streaming replication tool for SQLite databases. It runs as a separate background process and continuously copies write-ahead log pages from disk to one or more replicas. This asynchronous replication provides disaster recovery similar to what is available with database servers like Postgres or MySQL.

Summary: it's a backup tool for Sqlite3. And it's only write the changes, so it's very fast and space-efficient.

Tutorial

Imagine you have a Django project, and you want to backup your Sqlite3 database. Here is how you do it.

Given that your database file is in ./db.sqlite3.

Install Litestream (For ubuntu users)

wget 'https://github.com/benbjohnson/litestream/releases/download/v0.3.11/litestream-v0.3.11-linux-amd64.deb'

sudo dpkg -i litestream-v0.3.11-linux-amd64.deb

rm litestream-v0.3.11-linux-amd64.deb

First you need to set some ENVs:

export AWS_SECRET_ACCESS_KEY=your-aws-secret AWS_ACCESS_KEY_ID=your-aws-key REPLICA_URL="s3://backup/your-project"

Backup

For example, you have a bucket on S3 named backup, and you want to backup your database to that bucket.

You can run this command to start backing up:

litestream replicate ./db.sqlite3 "${REPLICA_URL}"

That's it. You can run this command in a screen/tmux session, or use systemd to run it as a service. Now your database is backed up every time you write to it. The interval is 1 second.

Restore

To restore (on other location), all you need to do is

litestream restore -v -if-replica-exists -o ./db.sqlite3 "${REPLICA_URL}"

Awesome, right?

How to choose a good CPU?

2023-03-30T09:09:00+07:00

Tired of not understanding all of the jargon in CPUs name, in this post I will write down what I've researched.

There are 2 major players in this field (consumer view): Intel and AMD

Intel

Basic

So you’ll notice after the i5 it might have some thing like 9600 or 12600, for the i7 you’d see 12700 or 9700. The number before the hundredths digit is the generation. So a current gen (12th) i5 would be better than a much older i7 8700 (8th gen) for example. There’s a 4 generation difference in technology and everything else that goes into them

What’s the deal with 11th gen Intel? Are you saying it wasn’t much of an improvement over 10th gen?

That is exactly the case.

In some ways (10900K -> 11900K) it was even the opposite of improvement.

Every new generation of processors is faster than the previous, so you end up in a situation (for example) where an i3-10100 from 2020 is equal in performance to an i7-7700 from 2017

People recommending i5 over i7, what's the reason for this?

Price. And value, when comparing CPUs for gaming, if the i5 gets you 95% there compared to the i7, but the i7 costs 50% more, then the i7, while a better CPU, is a worse value.

i5, i3, i7, that name doesn't matter. You need the actual product name, 12900k, 10400, etc.

Can I tell anything about the threads etc. off of the 600, 600kf 900k 700k, etc. alone like the gen?

There is no formula, gotta look at the specs of each processor

Only constants are "k" and "f"

k = overclockable

f = no igpu

X = HEDT, usually has a different socket/mobo from the rest of the generation

KS = factory overclocked

There's also other letters that signify different things that are more common outside of the DIY desktop PC space, like "T" for low TDP, and the "U" and "H" variants for low/high power laptops.

Core? Thread?

Max processing power is:

Clock (in GHz) x IPC x Number of Cores/Threads.

Clock is readily advertised. Boost clocks are another matter but you may be able to ignore that for the moment.This is essentially how many "cycles" it does per second.
IPC = Instructions Per Clock. You can read up about this, but this is the LEAST exposed one. Generally it improves with newer generations, sometimes significantly. Also it is generally somewhat consistent within generation. This is why an older 4-core, 3.0 GHz chip can be significantly slower than a newer 4-core 2.7 GHz chip. This is how much work is done per cycle.
Number/threads. Easily checked via specs. However not all programs utilize core efficiently. On one end of the spectrum are programs that DO NOT utilize multiple cores well. So regardless of specs you might as well consider this =1. Ont he other side are programs that utilize all core well, for these going from a 4 core to an 8 core (even if it is the same clock and IPC) can double performance. A lot of simulation/math packages are tuned for many cores, so you will probably want more cores.

Family of Intel

XE - Highest end workstation unlocked for oc

X - Extreme edition / workstation unlocked for oc

K - Unlocked for overclocking

F - No igpu

T - Low power desktop

G - Highest preformance mobile with built in Vega M graphics with 2GB GDDR5 (equivilant to a GTX 1050)

Gx - Nothing to see here, this is just Intel's weird 10nm naming scheme, the number after the G indicates graphics preformance and power level. Basically the same as U and Y series.

M - Mobile Xeon / Old PGA socketed mobile Core series.

H - High preformance mobile (with desktop x30 graphics)

U - Low power mobile (with x20 graphics)

Y - Ultra low power mobile (x1x and x0x graphics)

Xeon - Server / Professional desktop and mobile workstation with ECC support

Core i9-x9xx - Prosumer / Desktop workstation with no ECC support / Highest end mobile.

Core i7-x7xx - High end desktop (not hedt) / Old HEDT workstation with no ECC support / High end mobile

Core i5-xxxx - Mid range desktop / potato HEDT / Mid range mobile

Core i3-xxxx - Low end desktop / mobile

Pentium - Slightly bellow Core i3

Celeron - Entry level potatoes for web browsing 20

Làm thế nào để giải quyết vấn đề?

2023-03-16T09:34:00+07:00

Trước mỗi khi bạn làm việc gì đó, thứ bạn nên làm đầu tiên là suy nghĩ. Nhưng suy nghĩ gì thì không ai hướng dẫn.

Vì thế mình sẽ chia sẻ một ít thứ mà mình nghĩ trước khi giải quyết một vấn đề gì đó.

1. Mong muốn/mục tiêu?

Câu hỏi chí mạng nhất mà các newbie chả bao giờ hỏi trước khi xông xáo vào vẽ ra phương án rồi mục tiêu abc xyz.

Con người ta bị một thói là hay nói bóng gió, ít khi để lộ ý định thực của mình. Hay còn gọi là vòng vo. Nên bạn cần phải tỉnh táo và cố tìm ra nguyên nhân ẩn sau những thứ mà họ (khách, sếp, bạn bè ...) nghĩ là họ muốn. Cứ thoải mái hỏi đến khi nào ra nhẽ thì thôi.

... Chúa tha thứ cho mày, vì chính mày cũng còn không biết mày đang muốn gì (DSK)

2. Phương án

Vì sau khi hỏi cho ra nhẽ, đôi lúc phương pháp giải quyết lại cực kì đơn giản và rất có khả năng là đã có người đi trước giải quyết xong rồi. Việc của bạn lúc này là tìm ra những người đi trước và học tập theo. Dừng cố tự mình giải quyết trước. Tìm hiểu đã.

3. Thử nghiệm

Thử nghiệm, nhưng theo thứ tự đơn giản nhất cho đến phức tạp nhất. Keep it simple stupid.

4. Vấn đề khó hơn bạn nghĩ?

Thì một là khả năng là bạn đang tìm sai phương hướng. Vì nếu đúng ra thì phương án giải quyết sẽ phải rất đơn giản.

Dao cạo Ockham (tiếng Anh: Ockham's Razor) là một lý thuyết triết học nổi tiếng của nhà triết học người Anh William xứ Ockham. Nó được ông đưa ra vào năm 1324. William đã viết rằng lời giải thích đơn giản nhất thường là lời giải thích xác đáng nhất, hoặc "Điều gì có thể được giải thích bằng ít giả thuyết hơn thì lại được giải thích một cách vô ích bằng nhiều giả định hơn"[1]. Tức là nếu một vấn đề khoa học được giải thích bằng ít giả thuyết nhất thì sẽ đúng đắn nhất.

Hoặc là vấn đề bạn đang giải quyết còn khá mới và yêu cầu sự sáng tạo. Sẽ cần nhiều thời gian hơn, để bạn có thể nghiên cứu các tài liệu liên quan và để cho Hệ thống 2 của bạn có thời gian suy nghĩ.

Note: cho ai chưa biết Hệ thống 2 là gì

Thinking, Fast and Slow is a 2011 book by psychologist Daniel Kahneman. The book's main thesis is a differentiation between two modes of thought: "System 1" is fast, instinctive and emotional; "System 2" is slower, more deliberative, and more logical

Freeup your diskspace with "dua"

2023-03-15T22:36:00+07:00

This evening I want to freeup my diskspace, since 50 GB left (1/10 of my diskspace) is a warning.

Before that I've tried with du and sort but it's so slow and hard to use.

Then I found dua (Disk Usage Analyzer) tool and it is a god send. So good.

To install, just run this command:

curl -LSfs https://raw.githubusercontent.com/Byron/dua-cli/master/ci/install.sh | \
    sh -s -- --git Byron/dua-cli --target x86_64-unknown-linux-musl --crate dua --tag v2.17.4

then dua any directory you want (with /* after path).

For example: dua ~/.cache/* and dua ~/.local/* may supprise you like it does to me.

Try and find out. Good luck.

Pywright - Render javascript websites

2022-11-19T22:36:00+07:00

Demo: pywright.fly.dev

What is Playwright?

Playwright is a browser automation library from Microsoft. It can be used to automate tasks in the browser, for testing purpose.

But we can use it to scrape data from websites that use javascript to render the content.

Think about Facebook, Twitter, Instagram, etc. They use javascript to render the content. So we can't scrape them with normal tools like requests or scrapy.

Selenium is a popular tool for scraping javascript websites. It's powerful, have a lot of features, but it's slow and hard to use.

Playwright is a newplayer in this field. It's fast, have excelent simple API.

What is Pywright?

Pywright is a API service writen in python that use Playwright to render javascript websites. You can easily deploy it to any cloud provider then use it as a service.

Install Pywright

I've created a docker image for Playwright. It's contain a simple Flask API server, so you can use it as a microservice.

I will create only 2 workers by default, you can change it by setting WORKERS environment variable.

How to use Pywright

Just use POST method to send a request to the server at endpoint /scrape.

The request body must be a JSON object with 1 field: url.

{
  "url": "https://ipinfo.io"
}

The response will be a HTML string of the website.

Example

Example with httpie:

http POST http://localhost:5000/scrape url=https://ipinfo.io

or with curl:

curl -X POST -H "Content-Type: application/json" -d '{"url": "https://ipinfo.io"}' http://localhost:5000/scrape

or with requests:

import requests

url = "http://localhost:5000/scrape"

html = requests.post(url, json={"url": "https://ipinfo.io"}).text

print(html)

Deploy "The Lounge" on Fly.io

2022-11-17T21:59:00+07:00

What is "The Lounge"?

"The Lounge" is a self-hosted web IRC client. It's a fork of Shout, which is no longer maintained. The Lounge is actively maintained and has a lot of features.

Screen shot:

Website:

https://thelounge.chat/

Deploy on Fly.io

Follow these steps to deploy "The Lounge" on Fly.io:

1. Create Dockerfile

FROM thelounge/thelounge:latest

EXPOSE 9000

2. Create new Fly.io app

Run fly launch and follow the instruction. You can choose any name and server region you want.

Or you can copy this fly.toml file (replace <app-name> with your app name):

# fly.toml file generated for iirc on 2022-11-17T21:46:27+07:00

app = "<app-name>"
kill_signal = "SIGINT"
kill_timeout = 5
processes = []

[env]

[experimental]
  allowed_public_ports = []
  auto_rollback = true

[mounts]
source="ircdata"
destination="/var/opt/thelounge"

[[services]]
  http_checks = []
  internal_port = 9000
  processes = ["app"]
  protocol = "tcp"
  script_checks = []
  [services.concurrency]
    hard_limit = 25
    soft_limit = 20
    type = "connections"

  [[services.ports]]
    force_https = true
    handlers = ["http"]
    port = 80

  [[services.ports]]
    handlers = ["tls", "http"]
    port = 443

  [[services.tcp_checks]]
    grace_period = "1s"
    interval = "15s"
    restart_limit = 0
    timeout = "2s"

3. Create new volume

You need to create a new volume to store data. The Lounge will store all data in /var/opt/thelounge folder.

fly volumes create ircdata --region sin --size 1

I've added [mount] section to my fly.toml file above.

[mounts]
source="ircdata"
destination="/var/opt/thelounge"

4. Deploy

fly deploy

5. Create new user

fly ssh console -C "su -s /bin/sh node"

Then run this command to create new user:

thelounge add <username>

6. Access

You can access your "The Lounge" at <app-name>.fly.dev. Or run fly open to open it in your browser.

Good luck and have fun.

Fly.io - perfect solution

2022-11-07T09:47:00+07:00

Fly.io - A review

After a month trying Fly.io, I must say that:

Fly.io is awesome!.

After a year using Hosthatch, I tired of their terrible uptime, sometime the servers is down for 2 days. I'm not sure why, but I'm sure that I'm not going back to them.

Luckily, I've found Fly.io. It's cheap, fast and reliable. I'm moving all my services to Fly.io. And to be honest, it's so easy that make me feel like I'm cheating.

Guide to migrate

If you have a Dockerfile for your service, you can migrate to Fly.io in 5 minutes.

Here are some examples.

Vaultwarden (No Postgres, No Redis)

Create Dockerfile

FROM vaultwarden/server:latest

Launch a new app

Run fly launch and follow the instruction. You can choose any name and server region you want.

After deployed, you can access at <app-name>.fly.dev.

Create new volume

Just need 1GB for now, you can scale later. Why 1GB? Because they give us 3GB storage for free every month. You can run 3 apps for free.

fly volumes create <vol-name> --region sin --size 1

After created, add [mount] section to your fly.toml file.

[mounts]
source="<vol-name>"
destination="/data"

Set ENVs

There are 3 ways to set ENVs (Secrets) for your app:

Using flyctl secrets set command
Using [env] section in fly.toml file
cat .env | flyctl secrets import

Deploy

Run flyctl deploy to deploy your app.

You can also use flyctl deploy --no-cache to skip cached build, or flyctl deploy --local-only to deploy using local docker.

Then run fly open to open <app-name>.fly.dev

Migrate data

You can use the Web UI of Vaultwarden to export/import data as JSON format.

Config domain

Root-domain

The documentation has excellent guide for this. You can follow it here.

But I still copy a version here for lazy people like me.

 Let's say we have example.com and a Fly app called custom-quartz.

 - Run `flyctl ips list -a custom-quartz` to get the IPv4 and IPv6 addresses.
 - Head over to your DNS provider and add A and AAAA records for example.com with the IPv4 and IPv6 values.
 - Run `flyctl certs create -a custom-quartz example.com`
 - Run `flyctl certs show -a custom-quartz` to watch your certificates being issued.
 - Connect to https://example.com and use your application with auto-renewing Let's Encrypt TLS certificates, edge TLS, HTTP/2 support and more.

Sub-domain

First, execute flyctl certs create <app-name>.<your-domain>.com. Then add a new CNAME record to your DNS provider, redirect to <app-name>.fly.dev.

If the result of flyctl certs check <app-name>.<your-domain>.com look like this, you are successfully deployed Vaultwarden.

The certificate for <app-name>.<your-domain>.com has been issued.
Hostname                  = <app-name>.<your-domain>.com

DNS Provider              = cloudflare

Certificate Authority     = Let's Encrypt

Issued                    = rsa,ecdsa

Added to App              = 27 minutes ago

Source                    = fly

Kudos to this awesome article

Tricks and tips

Copy file to app server

flyctl ssh sftp shell

Then you can use sftp command to copy file to app server. Example: put <local-file> <remote-file> or get <remote-file> <local-file>

Conclusion

I'll keep using it and write more review/guide later. If you have any question, feel free to ask me.

Django Signal + Celery

2022-07-20T10:31:00+07:00

Nếu bạn muốn dùng Celery task trong các Signals của Django, bạn cần làm như sau để tránh tình trạng bắn task quá nhanh, khiến bên trong task nếu query pk=id sẽ bị lỗi NotFound (do dữ liệu chưa kịp lưu vào database).

from django.db import transaction
from .models import MyModel
from .tasks import task

@receiver(post_save, sender=MyModel)
def my_model_post_save(sender, instance, **kwargs):
    transaction.on_commit(lambda: task.delay(args=(instance.id,)))

Ở đây ta đợi transaction commit xong mới chạy task. Problem solved.

Suy ngẫm về sự Ngẫu nhiên

2022-06-26T11:13:00+07:00

Ngẫu nhiên là gì?

Ngẫu nhiên (randomness), một ý tưởng nền móng cho sự phát triển của khoa học, được định nghĩa trên wiki như sau:

Và nó hoàn toàn đúng. Loài người đã từ chỗ không biết gì đến sự ngẫu nhiên, cho đến khi lợi dụng được nó để phát triển vượt bậc.

Đầu óc chúng ta không được thiết kế để có cái gọi là giác quan (intuition) về sự ngẫu nhiên, mặc dù nó xảy ra liên tục trong cuộc sống của mỗi người. Vì thực ra ý tưởng này mới được khái quát bằng toán gần đây (từ thế kỷ 16), nên điều này hoàn toàn có thể hiểu được.

Nếu toán là logic cho sự chắc chắn (certainty), thì xác xuất là logic cho sự bất định (uncertainty).

Nghĩa là sao?

So sánh

Toán được xây dựng trên cơ sở các số nguyên, ví dụ 1, 2, 3, 4 ... nghĩa là đếm được. Vì đấy là cách sớm nhất là nguyên thủy nhất con người được làm quen với toán.

Sau đó ta đặt các biến, ví dụ như

$x = 1 \\ y = 2 \\ z = x + y$

Toán dần dần tách biệt ra khỏi các con số. Nó bắt đầu dựa vào logic nhiều hơn. Vì nếu ta có thể chứng minh được một định lý là đúng theo logic, thì nó sẽ luôn đúng trong mọi trường hợp.

Với xác suất, ta cũng có thể đặt biến cho một sự việc ngẫu nhiên, gọi là biến ngẫu nhiên (random variable)

$X = \text{sáng ngày 27/6/2022 có mưa từ 9 đến 12 giờ} \\ Y = \text{quay xúc sắc ra được mặt 6} \\$

Với mỗi biến trên, thay vì có kết quả là số, ta sẽ có kết quả là một xác suất sự việc đấy xảy ra, có thể từ 0 (không thể xảy ra) đến 1 (chắc chắn xảy ra)

Với xác suất cổ điển, khi coi mọi thứ có khả năng xảy ra là như nhau, thì việc tính toán khá dễ dàng nhưng không thực tế.

Vì sao? Vì trên thực tế có quá nhiều yếu tố ảnh hưởng lẫn nhau, và khi có quá nhiều biến số, mỗi biến lại ảnh hưởng đến nhau theo một kiểu khác nhau thì tính toán được là điều không thể.

Bayes Theorem

Như đã nói trên, xác suất cổ điển là không thực tiễn. Những bộ óc vĩ đại như Newton cũng còn phạm sai lầm khi dính đến xác suất.

Vào thế kỷ 17, một nhà thống kê học tên Thomas Bayes đã tìm ra được một định lý, mà định lý đó hiện giờ là hòn đá nền móng cho xác suất thống kê hiện đại.

Nói đơn giản ra thì ông tìm được bản chất của xác suất. Nếu bạn muốn tìm hiểu thêm thì mua quyển How not to be wrong đọc nhé.

Khi chúng ta hiểu được về xác suất, khoa học đã tiến bộ nhanh không tưởng.

Vì khi chúng ta hi sinh một chút sự chính xác, thì sự thật bắt đầu dần được tiết lộ.

Quy luật và sự tương quan

Toán và xác suất giống nhau ở 1 chỗ, đó là nhằm tìm ra các quy luật và mối tương quan của vạn vật.

Các quy luật đó được viết lại dưới dạng các ký tự toán học, để có thể truyền đạt được ý tưởng nhanh nhất và chính xác nhất có thể.

Ví dụ như Euler Formula, một phương trình nhìn qua tưởng chừng đơn giản, nhưng đã hợp nhất được 4 lĩnh vực: đại số, lượng giác, số phức, và tích phân.

$e^{ix} = cos(x) + i sin(x)$

Với $x=\pi$ , ta có Euler Identity

$e^{i\pi} = -1$

Với $x=\tau=2\pi$

$e^{i\pi} = 1$

From Chapter 22 of The Feynman Lectures on Physics, Volume I:

"We summarize with this, the most remarkable formula in mathematics: $e^{i\theta} = cos(\theta) + i sin(\theta)$ .
This is our jewel.
We may relate the geometry to the algebra by representing complex numbers in a plane; the horizontal position of a point is $x$ , the vertical position of a point is $y$ .
We represent every complex number, $x + iy$ . Then if the radial distance to this point is called $r$ and the angle is called $\theta$ , the algebraic law is that $x + iy$ is written in the form $r e^{i\theta}$ , where the geometrical relationships between $\text{x, y, r, and }\theta$ are as shown. This, then, is the unification of algebra and geometry."

Còn xác suất thì sao?

Bayes Modeling và Model Inference

Xác suất khác với toán ở chỗ, nó ko có một con số cụ thể cho bạn, mà chỉ cho bạn biết được một thứ gọi là phân phối (distribution). Dùng phân phối này bạn có thể tìm ra được quy luật giữa các dữ liệu đầu vào.

Ví dụ như, hút thuốc lá có tăng tỷ lệ ung thư không? Bạn đi tìm ngẫu nhiên 100 người trên 18 tuổi, rồi tạo 1 bảng gồm 2 cột, 1 cột là có hút thuốc trên 1 năm hay ko, cột còn lại là có ung thư hay không. Sau khi tạo model và có kết quả, ta có thể xem được có mối tương quan hay không và có thể đưa ra hành động phù hợp.

Đây là bước khởi đầu cho khoa học đích thực, sự hỗn loạn được công thức hóa, và con người có thể kiểm chứng nhiều giả thuyết của mình chính xác hơn.

Kỷ nguyên mới

Vấn đề bắt đầu khi bạn có quá nhiều dữ liệu. Nhưng giỏi ứng biến, những người khai phá internet thời đầu đã bắt đầu manh nha biến đống dữ liệu đấy thành mỏ vàng.

May mắn theo định luật Moore, công nghệ phát triển theo cấp số nhân, các thuật toán dùng để phân tích và dự đoán được đưa vào sử dụng để tìm ra quy luật.

Và điều kỳ diệu bắt đầu xuất hiện. Những tác vụ đơn giản như nhận diện hình ảnh, tưởng chừng như không thể

thì giờ dùng điện thoại cũng có thể làm được.

Cả một kỷ nguyên mới được mở ra cho nhân loại, nhờ lợi dụng được sự ngẫu nhiên. Nhưng, họ đã làm như thế nào?

Machine Learning & Deep Learning

<Đón xem phần 2>

Contabo server review

2022-06-21T23:03:00+07:00

A review

After a month trying Contabo, I must say that:

Don't use their servers.

Their storage bandwith policy is good, I will keep continue using it. But no way I'm go back for their server.

It's always down!

I have no idea why.

Their supporter is nice, but did not help.

Solution

I'm going to use HostHatch for an experiment.

They have a lot of locations in Asia, like Hongkong, Singapore and Japan (with cheap price).

I'll comeback for more reviews.

You can register with my affiliate link here

Move Docker volumes to other server

2022-06-02T18:43:00+07:00

New home

I've been self-hosted a few services for my daily needs, and I choosed Hetzner because of their's pricing.

But now after I know Contabo, I will move my services to Contabo, because it's cheaper and more powerful.

I can reduce the server cost for about 30%. Neet.

But I don't want to lose my data. And I don't want to spent a lot of time migrate things either.

Luckily, all of my projects was deployed using Docker. If you don't know Docker, now is good time to start because it's awesome.

Moving data

Let's say I want to move from server A (Hetzner) to server B (Contabo)

And my jobs now are:

Generate ssh key (ssh-keygen -t ed25519) and add public key to server B ~/.ssh/authorized_keys file.
rsync -av my projects from A to B
Find the right directory where Docker bind volumes with docker inspect <container_name> | grep "Source"

If you want to archive database

tar cvf everything inside .../_data

rsync tar files to new server

tar xvf them to new ~/backup directory

Build and up docker services
Stop services
rsync backup directory to binded directory path from step 3
Repeat step 4 for other services

After that you can safely delete the extracted directories. Install nginx and copy config files from A -> B.

You might want to keep the tar file for a bit longer to prevent issues.

Trick for Python dev

2022-05-03T10:27:00+07:00

If you are a Python dev, I will share with you this trick to avoid future Python related problems.

After install a new, fresh OS, you should install those dependencies

Example, after installed a new Ubuntu for my PC, I will run this command

sudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \
libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \
libncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev

Then I will install pyenv, which I think is the best python version management system.

curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash

And I never have a problem with Python anymore.

Awesome Machine Learning Resource

2022-04-22T10:57:00+07:00

Articles

What is n-shot learning?

Meta AI State-of-the-art

UvA Deep Learning Tutorial

What is mask attention?

2022-04-15T15:50:00+07:00

Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention)

Under the hood, the model is composed of an encoder and a decoder.

The encoder processes each item in the input sequence, it compiles the information it captures into a vector (called the context). After processing the entire input sequence, the encoder sends the context over to the decoder, which begins producing the output sequence item by item.

A friendly introduction to Recurrent Neural Networks

Kaggle Bird Classification with sound

2022-04-08T16:36:00+07:00

Problem

Kaggle url

As the “extinction capital of the world,” Hawai'i has lost 68% of its bird species, the consequences of which can harm entire food chains. Researchers use population monitoring to understand how native birds react to changes in the environment and conservation efforts. But many of the remaining birds across the islands are isolated in difficult-to-access, high-elevation habitats. With physical monitoring difficult, scientists have turned to sound recordings. Known as bioacoustic monitoring, this approach could provide a passive, low labor, and cost-effective strategy for studying endangered bird populations.

Current methods for processing large bioacoustic datasets involve manual annotation of each recording. This requires specialized training and prohibitively large amounts of time. Thankfully, recent advances in machine learning have made it possible to automatically identify bird songs for common species with ample training data. However, it remains challenging to develop such tools for rare and endangered species, such as those in Hawai'i.

The Cornell Lab of Ornithology's K. Lisa Yang Center for Conservation Bioacoustics (KLY-CCB) develops and applies innovative conservation technologies across multiple ecological scales to inspire and inform the conservation of wildlife and habitats. KLY-CCB does this by collecting and interpreting sounds in nature and they've joined forces with Google Bioacoustics Group, LifeCLEF, Listening Observatory for Hawaiian Ecosystems (LOHE) Bioacoustics Lab at the University of Hawai'i at Hilo, and Xeno-Canto for this competition.

In this competition, you’ll use your machine learning skills to identify bird species by sound. Specifically, you'll develop a model that can process continuous audio data and then acoustically recognize the species. The best entries will be able to train reliable classifiers with limited training data.

If successful, you'll help advance the science of bioacoustics and support ongoing research to protect endangered Hawaiian birds. Thanks to your innovations, it will be easier for researchers and conservation practitioners to accurately survey population trends. They'll be able to regularly and more effectively evaluate threats and adjust their conservation actions.

Thinking

After reading, I have no clue what to do. Thus I have to learn from the others. I look up from the leaderboard, and almost all of them do not have any public code. Fair enough, since this is a competition with big reward.

But then I found someone interesting.

Do notice he has Code(6). And we see one of his old notebook:

https://www.kaggle.com/code/vlomme/surfin-bird-2nd-place

Seem like this guy understand bird sound and deep learning. And at the time of this writing, he is the second place of the leaderboard.

So now to have a place in this competition, we learn from him first. Then improve later.

Overcome the fear

2021-07-27T09:36:00+07:00

One day you don't know what to do anymore. The future is so unpredictable. Too much choices. You must make the decission.

Yes, the pain is real. The fear is real. You want to run away from it. Why should you suffer from those horrible feelings? You can find other thing to do, the "easier" things.

But don't.

Because each time you let them scare you aways, you learned nothing. You are not improved. You are not lived.

Change is hard. Makes you feel like everything you have done is wrong. You're failed. You must find a new way, a new approach, a new mindset to achieve your goal.

It sucks. But it's neccessery. It's the way nature works. Improvise, adapt, overcome.

And after all the hard works, the map of the real world will be updated. You know how things works now. It's awesome.

Scene from Billions S03E04

But it's a loop. Your believes may colapse again. The world changes. You must change, either.

I love this quote from Keynes. "When the facts change, I change my mind - what do you do, sir?"

And you sir, should do the same.

Django full text search (Postgres)

2021-05-24T11:18:00+07:00

Let's say we have a large database, few milions row, one-to-many relationship models with some text field, and we want to search some keywords.

Traditional way will be real pain and slow, I know. So let's do something smart and enjoy lightning-fast execution with Full Text Search.

Suppose we have an app named main and it's models look like this

from django.db import models

class Parent(models.Model):
   title = models.CharField(max_length=255)

class Child(models.Model):
   parent = models.ForeignKey(Parent, on_delete=models.CASCADE, related_name="children")
   content = models.TextField(null=True, blank=True)

For example, we want to search keyword in childs content, and we want to do it quick! You can do like this, but that not quick enough for me. Maybe because I have too damn much data. But there are other way. First we need to add this line to settings.py

settings = [
    # ...
    "django.contrib.postgres",
    # ...
 ]

Then we add SearchVectorField to the model

search_vector = SearchVectorField(null=True, blank=True)

Finally we can create index

from django.contrib.postgres.search import SearchVectorField
from django.contrib.postgres.indexes import GinIndex

class Child(models.Model):
   content = models.TextField(null=True, blank=True)
   search_vector = SearchVectorField(null=True, blank=True)

   class Meta:
      indexes = [GinIndex(fields=['search_vector'])]

Now for the old data, we need to run this line to update their search vector, you may run this as a script or run it in python manage.py shell

from django.contrib.postgres.search import SearchVector

Child.objects.update(search_vector=SearchVector('content'))

That will do the trick. Now you can search like a pro, high accuracy and high performance.

Child.objects.filter(search_vector=keywords)

Child.objects.filter(search_vector=keywords).values_list("parent", flat=True).distinct()  # To get all parent objects, for various purposes

You may think, "Oh, simple and elegant, like the way nature should be". But that's not it. We not done yet. We need to update search vector for new created objects too. And we'll using the power of Django Signal.

Let's create a file signals.py inside main directory, and fill it with

from django.db.models.signals import post_save
from django.dispatch import receiver
from django.contrib.postgres.search import SearchVector

from main.models import Child

@receiver(post_save, sender=Child)
def update_search_vector(sender, instance, **kwargs):
   Child.objects.filter(id=instance.id).update(search_vector=SearchVector('content'))

You may ask "Why not just assign instance.search_vector=SearchVector('content') then instance.save()?". Good question, but we can not do that. You may try and got this error

F() expressions can only be used to update, not to insert.

Search and read the reasons. Last thing, we need to register the signal to our app. Update the file main/apps.py to add this line:

def ready(self):
   import main.signals

Then main/__init__.py

default_app_config = "main.apps.MainConfig"

And we are officially done. Good luck.

PyMC3 install tips (Ubuntu 20.04)

2021-03-23T11:58:00+07:00

To install and use PyMC3 with pyenv without Theano error, when install python you need to add flag CONFIGURE_OPTS=--enable-shared

Example:

CONFIGURE_OPTS=--enable-shared pyenv install 3.8.5

Source: https://stackoverflow.com/questions/21342931/error-importing-theano

Move docker data to another location (Ubuntu)

2021-03-18T20:12:00+07:00

Goal: I want to move my existing Docker data to new location (/mnt/Data), for more free space.

Solution:

Stop Docker service
sudo systemctl stop docker
Edit /etc/docker/daemon.json and insert this

{
    "graph": "/mnt/Data/docker"
}

Move old data to new location
sudo rsync -aqxP /var/lib/docker /media/Data/
Temporary move old data to other directory
sudo mv /var/lib/docker /var/lib/docker.old
Start docker service
sudo systemctl start docker
Check new config work
docker info | grep -i root This should output new location
Remove old data
Profit

P/s: I'm using Docker version 20.10.6, build 370c289

Khiêm tốn mà học

2021-03-05T22:04:00+07:00

Càng lớn bạn sẽ càng mất kiên nhẫn khi học một thứ gì mới, nhất là những thứ căn bản. Nhưng càng căn bản càng phải chắc chắn, chớ có suy nghĩ mình biết hết rồi và hãy lắng nghe tập trung hơn.

DSK - Khuyên

2021-02-24T21:38:00+07:00

Đốt thêm điếu nữa ông êi

Đôi khi khi đối diện với tử thần thì cái mình cần là chữ nhẫn
Đời lắm lời khuyên nhưng bố mày đéo cần tư ... vấn (Oh)
Tao có một ước mơ, tao mong mấy thằng ra vẻ cử nhân chúng mày đi tự vẫn,
vì mấy thằng ngu thì chém gió như thần.

Lời khuyên: đôi lúc là vô giá đôi lúc lại đéo có ... giá trị,
đôi lúc là méo mó vẹo vọ và đéo có khả thi, cái lời khuyên
nghèo khó chỉ được mỗi cái hoa mĩ.

Khuyên đéo mất tiền (nên) bọn mày hát như là ca sĩ (oh)
Những cái mồm ung thư cần hóa trị
Những lời khuyên trọc lóc, lời khuyên rụng và lời khuyên không mọc tóc
Khuyên thì bọn mày là dân chuyên yo, khuyên chỉ vì nhân duyên,
khuyên như để nhân quyền
Tao cũng đéo ngờ người tốt giờ còn nhiều hơn là quân Nguyên
chứ khuyên thì dễ lắm, con đường mới truân truyên
Đừng nói nữa, giữ lại những cái lời không thuận miệng,
thích luyên thuyên thì khuyên đi, ai cũng có phần riêng, tao xem phim đéo cần tiếng, homie

Live like there's no tomorrow

2021-01-05T15:43:00+07:00

Bỏ mẹ tự nhiên nghĩ mai mà mình oẳng hay là tận thế thì sao?

Nghĩ xong thấy nhiều năng lượng hơn. Mình chợt nhận ra là lo làm gì nhiều, thích gì làm mẹ đi.

My math notes - Part 1

2020-09-07T23:36:00+07:00

Sequence

https://en.wikipedia.org/wiki/Sequence

Sequence is like list
Often write like this: $a_n, b_n, c_n$

Example: $\{(p_t, v_t)_{t=1,...,T}\}$ where $p_t$ is the price associated with tick t and $v_t$ is the volume associated with tick t. The so-called tick rule defines a sequence $\{b_t\}_{t=1,...,T}$ where

b_t= \begin{cases} b_{t-1} &\text{if \(\Delta{p_t}=0\)} \\ \frac{\Delta{p_t}}{\Delta{p_t}} &\text{if \(\Delta{p_t}\neq0\)} \end{cases}

Shynet - Website analytic thay thế cho Google

2020-08-26T22:36:00+07:00

I. Giới thiệu

Nếu các bạn chưa biết thì hiện nay đang có trend khá nổi trên cộng đồng mạng là từ bỏ các công cụ của các tập đoàn lớn như Google, Facebook, Apple, Amazon etc... nhằm mục đích lấy lại tự do cho các internet user, chặn sự xâm phạm quyền riêng tư và bảo mật của người dùng.

Nhưng cá nhân mình thì thấy chẳng có lý do gì để làm thế, trừ khi một dịch vụ bắt trả quá nhiều tiền để sử dụng hoặc có quá nhiều quảng cáo, thì mình mới ko dùng.

Còn lại thì thời đại vẫn cứ đổi thay, và như các công ty lớn đó làm vậy cũng nhằm mục đích chính là nâng cao trải nghiệm người dùng. Chứ mình thì ko tin vào mấy cái thuyết âm mưu cho lắm.

Dù sao thì mình cũng đã tìm hiểu 1 vài thứ thay thế cho các công cụ trên, không phải vì mình lo về privacy mà đơn giản là nhu cầu dùng của mình chỉ đến vầy.

Đơn cử như trang blog này, nhu cầu của mình chỉ là đếm xem có bao nhiêu lượng truy cập, bài nào đươc xem nhiều nhất, và ngày nào có lượt xem tăng cao.

Chấm hết. Không cần đến Google Analytic.

Nên mình đã tìm hiểu và quyết định chọn Shynet

II. Hướng dẫn

Mình chọn Shynet cũng 1 phần vì nó được viết bằng Django, mà mình thì dùng Django cũng được 4 - 5 năm rồi nên có vấn đề gì cũng sẽ dễ custom và fix.

Để deploy Shynet khá dễ vì giờ đã có Docker.

Đầu tiên là cần 1 server. Bạn có thể dùng Digital Ocean (Link affiliate, bạn sẽ có $100 dùng trong 60 ngày, còn mình sẽ được $25)

Nên chọn Ubuntu 18.04 cho stable. Sau đó là cài Docker và Docker compose

Sau đó chạy các command:

sudo apt install nginx
mkdir shynet
cd shynet
touch .env
touch docker-compose.yml

File docker-compose.yml

version: '3'
services:
  shynet:
    image: milesmcc/shynet:latest
    ports:
      - "8009:8080"
    depends_on:
      - db
    env_file:
      - .env

  db:
    image: postgres:latest
    expose:
      - "5432"
    environment:
      - POSTGRES_USER=shynet
      - POSTGRES_PASSWORD=secret_password
      - POSTGRES_DB=shynet_db
    volumes:
      - shynet-db:/var/lib/postgresql/data

volumes:
  shynet-db:

File .env:

# This file shows all of the environment variables you can
# set to configure Shynet, as well as information about their
# effects. Make a copy of this file to configure your deployment.

# Database settings (PostgreSQL)
DB_NAME=shynet_db
DB_USER=shynet
DB_PASSWORD=secret_password
DB_HOST=db
DB_PORT=5432

# General Django settings
DJANGO_SECRET_KEY=random_secret_key

# For better security, set this to your deployment's domain. Comma separated.
ALLOWED_HOSTS=*

# Set to True (capitalized) if you want people to be able to sign up for your Shynet instance (not recommended)
ACCOUNT_SIGNUPS_ENABLED=False

# Should user email addresses be verified? Only set this to `required` if you've setup the email settings and allow
# public sign-ups; otherwise, it's unnecessary.
ACCOUNT_EMAIL_VERIFICATION=none

# The timezone of the admin panel. Affects how dates are displayed.
TIME_ZONE=America/New_York

# Set to "False" if you will not be serving content over HTTPS
SCRIPT_USE_HTTPS=True

# How frequently should the monitoring script "phone home" (in ms)?
SCRIPT_HEARTBEAT_FREQUENCY=5000

# How much time can elapse between requests from the same user before a new
# session is created, in seconds?
SESSION_MEMORY_TIMEOUT=1800

# Should only superusers (admins) be able to create services? This is helpful
# when you'd like to invite others to your Shynet instance but don't want
# them to be able to create services of their own.
ONLY_SUPERUSERS_CREATE=True

# Whether to perform checks and setup at startup, including applying unapplied
# migrations. For most setups, the recommended value is True. Defaults to True.
# Will skip only if value is False.
PERFORM_CHECKS_AND_SETUP=True

# The port that Shynet should bind to. Don't set this if you're deploying on Heroku.
PORT=8080

Rồi chạy docker-compose up -d. Voila, bạn đã có shynet service chạy trên port 8009.

Để tạo superuser để quản lý và set hostname

III. Reverse proxy

Chúng ta sẽ dùng nginx làm reverse proxy

Tạo 1 file /etc/nginx/sites-available/shynet như sau:

server {
     listen 80;
     server_name example.com;  # Domain của bạn

     location / {
         proxy_pass http://localhost:8009;
         proxy_set_header X-Real-IP $remote_addr;
     }
 }

Rồi chạy

ln -s /etc/nginx/site-available/shynet /etc/nginx/site-enabled
nginx -t
systemctl restart nginx

Và thế là ta đã có 1 service chạy analytic cho bất cứ web nào ta muốn.

How to choose your pen

2020-08-12T20:18:00+07:00

Content source: https://www.reddit.com/r/pens/comments/3me6kx/i_write_a_lot_and_am_looking_for_a_good_pen_but_i/

What makes a good pen:

Ergonomics:

the weight and shape of the pen, plus the material it's made of, determine how the pen feels in your hand.

Some people prefer lighter pens, others prefer the feel of a hefty pen. If you're writing very quickly, a lighter pen won't tire your hand as quickly, but a heavier pen will give you more control.

Some pens taper from a thick barrel to the writing point (Parker jotter), while others have a straight barrel nearly all the way to the writing point (Cross century). Other pens will have a rubber grip above the writing point (pilot g2, uni ball signo 207, and most plastic ballpoints). The shape all comes down to personal preference, which is usually decided by the size of your hand and grip technique. However, I have heard people claim that a thicker pen takes less effort to hold, therefore it does not tire the hand as quickly.

Focusing on the grip, pen materials usually fall into one of 3 categories: rubber, plastic/resin, or metal. A rubber grip is lightweight and tactile, which makes the pen easy to hang on to. However, it does increase the thickness of the pen, which may deter people who prefer a thin pen. Plastic/resin is also lightweight, but doesn't offer as much friction as rubber. In my experience, resin doesn't get terribly slippery when sweated on compared to plastic. However, it's mainly used in high quality fountain pens. Metal pens typically have the least grip of the group, but can be finished with grooves or a good brush job to increase friction.

Ink and ink delivery system:

this is the type of ink and how the ink gets on the paper.

Ballpoint: ballpoint pens use an oil/alcohol-based ink. If you've ever cut open a ballpoint pen in elementary school, you'll notice that it's very gluey. ballpoint pens are the least likely to smudge/smear/bleed, and cheaper ballpoints will need a bit of encouragement to move across the paper. putting pressure on the pen to write is what tires out the hand

Rollerball: rollerball pens also use a ballpoint tip, but have a water-based ink. they move much more quickly across paper, and create a fairly clean line. as such, they require much less pressure to put ink on paper. however, they are prone to some smudging/smearing/bleeding.

Gel Rollerball: similar to the liquid ink rollerball, except the ink has a higher viscosity. This means it doesn't take much pressure to write, but is unlikely to smudge like the liquid ink rollerball. these pens can also create much thinner, cleaner lines due to the gel ink's higher viscosity.

Fountain: the fountain pen uses a free flowing ink cartridge, and a solid nib to deliver the ink. I believe ink flows into the paper through osmosis (the paper being porous and "sucking" the ink from the nib), but don't quote me on that. fountain pens take absolutely no pressure to draw ink, and move smoothly across paper. I think if you're getting a tired hand, a fountain pen would solve the problem. However, fountain pens do require you to refill the ink. pens like the twsbi eco or twsbi 580 have huge ink resevoirs and rarely need to be refilled, whereas the metropolitan or safari can take ink cartridges or be converted to use a piston resevoir.

Felt tip: felt tip pens use a spongy cartridge that is soaked in ink, and then delivered to the paper through the hard felt writing end. they require very little pressure to draw ink, but more effort to move the pen across the paper than a gel or rollerball. they are typically all plastic construction. a bold felt tip pen is often called a "sign pen".

All that being said...

The best pen is the one that fits your hand and writing style. It will take some time to find the right one, but it's possible. I think you'll also find that the best pens are usually capped, not retractable. I do have some recommendations for pens you can get for <$50.

Ballpoint: Parker jotter, cross century, zebra f701, uni ball jetstream, fisher space pen
Rollerball: uni-ball vision elite
Gel: pilot g2, pilot hi-tec
Fountain: pilot metropolitan M, lamy safari M, twsbi 580 F/M
Felt tip: papermate flair M, pilot fineliner, pilot sign pen, pentel color pen fine point

I think if you have one ballpoint, one felt tip, and one rollerball/gel/fountain, you will have all your bases covered. e.g. parker jotter, lamy safari and pilot fineliner. (and a pencil)

Các tài liệu hay về sức khỏe

2020-08-06T00:00:00+07:00

I. Sự thật

http://liamrosen.com/fitness.html

Đứa con của Thượng đế - Ramanujan

2020-08-05T19:06:00+07:00

I. Thuở sơ khai

Ngày xưa mình đọc được trong những quyển sách, bài báo, rằng có những người đạt được những năng lực tưởng như siêu nhiên, kiểu như thần đồng toán học không cần ai chỉ dạy cũng có thể hiểu và làm được những phép toán kỳ diệu.

Mình thì mình không tin đâu.

Elixir note

2020-02-28T00:00:00+07:00

Module

Bắt đầu bằng chữ in hoa và dạng CamelCase
Chứa các function, các function phải viết trong một module.
Có thể viết dạng Module.Part.One. Chỉ là syntactic sugar.

defmodule Bot.Chat do
  def hello do
    IO.puts "Hi there"
  end
end

Bot.Chat.hello()

Function

Phải viết trong một module
Giá trị return là dòng cuối, không giống như Python phải return something
Tên function viết thường, vi_du_nhu_the_nay
? trả về true hoặc false, ! ám chỉ function có thể raise runtime error
def và defmodule là các macro, ko phải keyword

defmodule MyTool.Math do
  def sum(a, b) do
    a + b
  end

  def multiply(a, b), do: a * b

  def sub(a, b \\ 0) do
    a - b
  end
end

Dùng |> (pipeline), kết quả trả về được đưa vào args đầu tiên của function đằng sau

prev() |> next(arg1, arg2) == next(prev(), arg1, arg2)

Arity là số args của một function. Rất quan trọng vì trong một module có thể def nhiều function tên giống nhau nhưng khác về args nhận vào.

defmodule Foo do
  def add(a) do
    a
  end

  def add(a, b) do
    a + b
  end
end

# Ở đây ta có 2 func: Foo.add/1 & Foo.add/2

defp để tạo private function
Xem thêm import và alias ở https://elixir-lang.org/getting-started/alias-require-and-import.html
Các func trong Elixir.Kernel tự động được import vì phải dùng nhiều
Nên có type cho các function để có thể dùng dialyzer phân tích về sau.

@spec func_name(number, number, list) :: float

# Anonymous function call with dot
sum = fn x, y -> x + y end
sum.(1, 2)

Atom

Các atom được giữ trong một atom table, có giá trị là chính nó và có lợi về mặt performance.

AtomOne == :"Elixir.AtomOne" # Tự được thêm Elixir vào trước

alias IO, as: MyIO

MyIO == :"Elixir.IO"
MyIO == Elixir.IO

Data types

#### Tuple
me = {"James", 2020}
name = elem(me, 0) # get item by index
new_me = put_elem(me, 1, 2021)  # Update item at index

#### List
numbs = [1, 1, 2, 3, 5]
Enum.at(numbs, 2) == 2  # Get item by index
7 in numbs  # Check item in list
hd(numbs) == 1  # Get head
tl(numbs) == [1, 2, 3, 5]  # Get tail
new_numbs = [7 | numbs]  # Cheaper to add head than tail

#### Map
langs = %{python: 1991, elixir: 2011}
Map.get(langs, 4, :not_found)  # Get with default value
{:ok, python_born} = Map.fetch(langs, :python)
Map.fetch!(langs, :golang)  # Raise error
langs.python  # If key is an atom

#### String
# Strings are binaries
~s("Ahihi " tai sao the)  # Sigil
~S(Not escaped \n)

'ABC'  # Character list
[65, 66, 67] == 'ABC'
~c(Character list sigil)
~C(Unescaped sigil #{3 + 0.14})
# Character lists aren’t compatible with binary strings.
# To convert a character list to a binary string, you can use List.to_string/1.

Format

Dùng mix format để tự format code cho đẹp.
Có thể tìm plugin cho editor đang dùng để tự format khi save.

Ý tưởng mới: Hôm nay tôi tiết kiệm được bao nhiêu?

2019-05-01T00:00:00+07:00

Ý tưởng mới: Hôm nay tôi tiết kiệm được bao nhiêu?

Chúng ta rất ngại việc phải ghi lại chi tiết từng đồng một họ tiêu pha, vì điều đó làm ta hối hận khi nhìn lại.

Nhưng nếu ta ghi lại những thứ mà ta tiết kiệm được thì sao?

Ví dụ:

Hôm nay tôi muốn ăn gà rán + hamberger, nhưng thay vì đó tôi đã đi ăn cơm ở gần nhà. Thay vì tốn 120k, thì tôi chỉ mất có 30k. Tiết kiệm được 90k và lại còn đỡ béo hơn nhiều.
Hôm nay tôi muốn mua một thứ rất ngầu trên mạng. Nhưng thay vì thế tôi ngồi suy nghĩ lại và thấy mình cũng ko có nhu cầu sử dụng nó. Vì thế tôi tiết kiệm được khoảng $50.
Hôm nay tôi muốn đi nhậu ghê gớm, nhưng thay vì thế tôi mua 1 chai bia và ít đồ khô về ăn, và tôi tiết kiệm được khoảng $80 cho những cuộc ăn chơi hát hò. Tôi lại còn có thêm thời gian để đọc sách và làm việc nữa.

Và cứ thế, dần rồi sẽ cộng lên, và có thêm cả bảng tính xem với những khoản tiết kiệm trên, nếu được đầu tư thì sau 5 năm, 10 năm, 20 năm sẽ thành một khoản khổng lồ như thế nào.

Chưa kể, nếu ta còn ghi lại cả những thành công khi tránh ko ăn những đồ junk food khi đang diet, ta cũng có thể tính ra được lượng calo ta giảm được. Và từ đó, sau 6 tháng, sau 1 năm, sau 5 năm cơ thể ta sẽ khoẻ hơn đến mức nào.

Ý tưởng này sẽ được thực hiện với website http://homnaytoi.com hoặc 1 domain nào đó mình nghĩ ra trong lúc làm :D

Stack:

Django
Bulma.io
VueJS (Maybe, cho Front-end và Mobile App)

Deadline: 1 tuần. Nghĩa là đến 8/5/2019 phải có bản demo để show và sử dụng được.

Dùng Raspberry Pi để gửi và nhận SMS với Sim900A

2018-10-10T00:00:00+07:00

Hướng dẫn kết nối module Sim900A với Raspberry Pi 3 B+, dùng để gửi và nhận tin nhắn SMS

Dạo này vì lý do công việc nên cần phải tìm cách kết nối và sử dụng module Sim900A với con Raspberry Pi 3, dùng để nhận SMS.

Tìm hiểu mấy hôm, rất là cực nên hôm nay mình viết lại bài này, cho những ai cần tới sau này đỡ tốn thời gian mày mò lại từ đầu.

Chuẩn bị

Để bắt đầu, bạn cần:

Một combo Raspberry Pi 3 B+ đầy đủ nguồn, thẻ nhớ, đã cài đặt Raspbian
Một module Sim900A

Dây chuyển đổi USB — UART PL2303 (Có thể không có)

Đầy đủ dây nối

Kết nối

Chỉ cần bạn kết nối đúng các cổng Tx, Rx, Gnd và nguồn 5v vào Pi là xong. Tham khảo ảnh dưới:

Ảnh thực tế (Nếu kết nối thẳng vào GPIO)

Còn nếu kết nối qua USB

Cài đặt

Đầu tiên ta cần mở cổng ttyS0

Bạn có thể dùng “raspi-config” để mở UART:

Trong “Interfacing Options”, chọn “Serial”
Chọn “No” khi được hỏi “You want a login shell over serial?”.
Chọn “Yes” khi được hỏi “You want the hardware enabled?”
Khởi động lại

Thực ra, bạn có thể sửa file /boot/config.txt và sửa enable_uart=1, và console=serial0,115200 (hoặc console=ttyS0,115200) ở trong /boot/cmdline.txt

Và bạn có thể bật terminal lên và test xem kết nối thành công chưa bằng cách gửi command AT\r\n đến khi nào trả về OK là thành công. (Nếu kết nối qua GPIO thì sẽ là /dev/ttyS0, còn qua USB thì sẽ là /dev/ttyUSB0)

Ví dụ:

Link asciinema:

Sử dụng thư viện sau để kết nối và làm việc với SMS Module:

http://smstools3.kekekasvi.com/

Ví dụ về kết quả nhận được bằng lệnh AT+CNMI=3,2,0,0,0

Về chi tiết cách sử dụng các lệnh AT và các khái niệm GPIO, UART mình sẽ để sang một bài khác.

Chúc các bạn thành công.

Tham khảo:

Liệu chất béo có làm ta béo?

2017-12-08T14:20:00+07:00

Fat is evil?

Trong quyển sách ‘The Big Fat Surprise’, tác giả Nina Teicholz đã viết

Fat is the most unfortunate homonymn in the English language
‘Mỡ’ là từ đồng âm tai hại nhất trong tiếng Anh (và cả tiếng Việt)

Nghĩa là, từ mà chúng ta dùng để chỉ mỡ bụng, cũng là từ mà chúng ta dùng để chỉ thứ dầu/mỡ mà ta dùng để nấu ăn, và cả để ăn nữa. Khoảng 60 năm về trước, có một lý thuyết cho rằng vì lượng chất béo ta ăn vào nhiều calo hơn là carbonhydrate (tinh bột), chúng hẳn là tác nhân gây ra bệnh đau tim và béo phì. Cũng chẳng lạ gì khi chúng ta tin ngay mà chẳng hề suy nghĩ nhiều.

Nhưng, điều đó là sai lầm và quá ư là ngây thơ về mặt khoa học. Các chất béo, cụ thể là chất béo bão hòa, đã trở thành một thứ không thể thiếu trong lịch sử tồn tại của con người. Và khi chúng ta bắt đầu sợ chất béo, đếm từng tí calo một cũng chính là lúc sức khỏe của chúng ta bắt đầu suy giảm không phanh.

Tôi ước gì chúng ta hãy suy nghĩ lại về đường, chứ không phải chất béo, thì chúng ta đã không phải khốn khổ như bây giờ. Dù sao thì, mọi thứ cũng đang bắt đầu thay đổi, và trong các chương trình ăn kiêng người ta đã bắt đầu đặt hạn chế đường lên làm ưu tiên.

What to eat?

Số lượng không giới hạn về rau và chất béo tốt. Cơ thể bạn sẽ không để bạn ăn quá nhiều những thứ đó đâu mà lo. Bạn có thể ngồi ăn hết hàng đống snack hay bỏng ngô mà không hề chán, nhưng không thể làm như thế với đống rau được. (Nhưng mà cần tránh ăn nhiềucác loại hạt, nhất là những loại có muối và đã chiên qua)
Thịt và các sản phẩm từ sữa, một cách điều độ. Thay vì coi chúng là món ăn chính, hãy coi như là những phần phụ để bạn ăn salad dễ dàng hơn.
Nếu ăn carb, chọn những loại carb tốt. Như rau và quả, gạo lứt, kê, yến mạch. Nhưng đừng có ăn nhiều, khoảng 100gram đổ lại mỗi ngày thôi.
Một vài thứ tốt cho cơ thể, như là sữa chua, dưa góp, kefir, đậu phụ, kimchi … Google “Probiotic-rich foods” để tìm hiểu thêm.
Chất lượng thì tốt hơn là số lượng. Hai thứ đó có sự tương quan với nhau. Chất lượng đồ ăn càng cao thì số lượng cần ăn càng ít.

What to avoid?

Đường. (Loại tinh luyện)
Carb. Nhiều carb quá sẽ đầu độc cơ thể bạn. Ăn nhiều hơn 200gram carb mỗi ngày cũng có hại tương tự như ăn nhiều đường tinh. Nó làm ta chóng đói, thèm ăn carb hơn, và càng ăn nhiều thì lại càng thèm hơn nữa.
Thức ăn nhanh. Những loại thức ăn chế biến sẵn được thiết kế để làm ta thèm ăn hơn. Chúng cực kỳ dễ hấp thụ, và không cần suy nghĩ để ăn. Như đã thấy, chúng ta ăn junk food cực kỳ nhanh, vì thế não chúng ta vẫn đòi ăn tiếp dù không cần.
Tránh xa những đồ ăn mà ta không nhận ra chúng, kể cả chúng được làm từ những thứ tươi sống. Hãy chọn táo thay vì nước táo.
Tránh dùng những thứ dầu được chế biến công nghiệp. Những thứ dầu ăn ôxy hóa cao như dầu hướng dương, dầu đậu nành, dầu ngô và dầu hạt cải sẽ làm hại đến tế bào của chúng ta, có khả năng gây viêm nhiễm cao hơn. Thay vào đó, hãy dùng dầu quả bơ, dầu olive, dầu dừa, hoặc mỡ động vật (loại bão hòa) từ các động vật ăn cỏ.

Pi

2017-11-24T23:11:00+07:00

Số pi¹ (ký hiệu: π) là một hằng số toán học có giá trị bằng tỷ số giữa chu vi của một đường tròn với đường kính của đường tròn đó. Hằng số này có giá trị xấp xỉ bằng 3,14159265358979. Nó được biểu diễn bằng chữ cái Hy Lạp π từ giữa thế kỉ 18.
π là một số vô tỉ, nghĩa là nó không thể được biểu diễn chính xác dưới dạng tỉ số của hai số nguyên. Nói cách khác, nó là một số thập phân vô hạn không tuần hoàn. Hơn nữa, π còn là một số siêu việt - tức là nó không phải là nghiệm của bất kì đa thức với hệ số hữu tỉ nào. Tính siêu việt của π kéo theo sự vô nghiệm của bài toán cầu phương. Các con số trong biểu diễn thập phân của π dường như xuất hiện theo một thứ tự ngẫu nhiên, mặc dù người ta chưa tìm được bằng chứng nào cho tính ngẫu nhiên này.

Trong hàng ngàn năm, các nhà toán học đã nỗ lực mở rộng hiểu biết của con người về số π, đôi khi bằng việc tính ra giá trị của nó với độ chính xác ngày càng cao. Trước thế kỉ 15, các nhà toán học như Archimedes và Lưu Huy đã sử dụng các kĩ thuật hình học, dựa trên đa giác, để ước lượng giá trị của π. Bắt đầu từ thế kỉ 15, những thuật toán mới dựa trên chuỗi vô hạn đã cách mạng hóa việc tính toán số π, và được những nhà toán học như Madhava của Sangamagrama, Isaac Newton, Leonhard Euler, Carl Friedrich Gauss, và Srinivasa Ramanujan sử dụng. Trong thế kỉ 21, các nhà toán học và các nhà khoa học máy tính đã khám phá ra những cách tiếp cận mới - kết hợp với sức mạnh tính toán ngày càng cao - để mở rộng khả năng biểu diễn thập phân của số π tới 1013 chữ số[1]. Tháng 10 năm 2014, kỷ lục này được nâng lên 13.300.000.000.000 chữ số bởi một nhóm nghiên cứu lấy tên là houkouonchi.[2] Các ứng dụng khoa học thông thường yêu cầu không quá 40 chữ số của π, do đó động lực của những tính toán này chủ yếu là tham vọng của con người muốn đạt tới những kỉ lục mới, nhưng những tính toán đó cũng được sử dụng để kiểm tra các siêu máy tính và các thuật toán tính nhân với độ chính xác cao.
Do định nghĩa của π liên hệ với đường tròn, ta có thể tìm thấy nó trong nhiều công thức lượng giác và hình học, đặc biệt là những công thức liên quan tới đường tròn, đường elip, hoặc hình cầu. Nó cũng xuất hiện trong các công thức của các ngành khoa học khác, như vũ trụ học, lý thuyết số, thống kê, phân dạng, nhiệt động lực học, cơ học và điện từ học. Sự có mặt rộng khắp của số π khiến nó trở thành một trong những hằng số toán học được biết đến nhiều nhất, cả bên trong lẫn bên ngoài giới khoa học: một số sách viết riêng về số π đã được xuất bản; có cả Ngày số pi; và báo chí thường đặt những tin về kỉ lục tính toán chữ số mới của π trên trang nhất. Một số người còn cố gắng ghi nhớ giá trị của π với độ chính xác ngày càng tăng, đạt tới kỉ lục trên 67.000 chữ số.

https://vi.wikipedia.org/wiki/Pi ↩